大數(shù)據(jù)的云存儲服務特征

　　首先，從目前多種云存儲的方案中可以明顯體會到，云存儲本身并非某一特定的技術路線，而是一種具有典型特質的存儲服務方式，即可以明確地指出云存儲是一種服務，而非某種單一的技術。云存儲的服務就屏蔽了大量的技術細節(jié)、功能特點等繁瑣的實現(xiàn)原理，做到無論其構成如何復雜、系統(tǒng)如何龐大，其服務方式始終是具有共性和可描述的。

　　那么云存儲的服務可以描述為是統(tǒng)一、靈活、安全的存儲服務。統(tǒng)一體現(xiàn)在對云存儲內部的多種存儲技術、多種存儲設備形態(tài)的屏蔽。通過軟件的統(tǒng)一整合向用戶提供唯一的服務獲取出口，具體可以體現(xiàn)為唯一訪問IP、唯一的管理界面、唯一的操作方式等等。

　　靈活則體現(xiàn)在從云存儲獲取服務時的自由度上。早期曾有業(yè)界人士將使用云存儲服務比作用水用電一樣，這種思想和方式即體現(xiàn)在對存儲容量獲取的靈活性上。用戶使用云存儲服務，將自己的數(shù)據(jù)寫入云存儲，可做到需要多少容量就獲取多少容量，不受限于底層存儲設備的規(guī)格限制。這個就需要云存儲系統(tǒng)在容量分配時能夠做到足夠的精準，同時對調整的要求也要足夠靈活。

　　安全體現(xiàn)的是云存儲提供可靠保障的能力，對不同的數(shù)據(jù)可以提供不同的安全級別保障，差異化服務。視頻監(jiān)控數(shù)據(jù)體量龐大，因此常有不同的存儲周期要求，不同的存儲周期對于數(shù)據(jù)的完整性要求也不盡相同。因此云存儲系統(tǒng)提供存儲安全保障的能力應該匹配實際項目的需求，在項目成本控制和安全級別要求上達到平衡和共識。

　　大數(shù)據(jù)的云存儲服務難點與挑戰(zhàn)

　　1、統(tǒng)一服務

　　上述云存儲的服務能力雖然容易達成一致，但是在技術路線選取、具體能力級別的實現(xiàn)上卻普遍出現(xiàn)較大差異。首先就統(tǒng)一的服務獲取出口這一功能就需要云存儲系統(tǒng)具有強大的橫向擴展能力，需要在系統(tǒng)容量擴展上不存在上限，同時性能也要與容量保持同等線性增長才能滿足在擴容的同時服務質量不至于下降。當前實現(xiàn)云存儲的架構一般多為分布式存儲架構，雖然云存儲系統(tǒng)是物理位置相對集中的中心存儲方案，但是在系統(tǒng)內部數(shù)據(jù)卻是被切片后存儲在不同的物理設備上的。在這種架構上元數(shù)據(jù)服務器起到對數(shù)據(jù)分布式的統(tǒng)一調度、靈活分配、動態(tài)調整的作用，其性能直接決定云存儲系統(tǒng)的規(guī)模。常規(guī)的元數(shù)據(jù)服務器主備工作模式采取的是一主一備兩臺元數(shù)據(jù)服務器，其中只有一臺服務器在工作，另一臺僅同步配置信息和元數(shù)據(jù)信息，并不響應業(yè)務的分布式調度需求，因此性能并未有任何提升。在此種工作模式下，云存儲系統(tǒng)也往往存在容量和性能瓶頸，我們常規(guī)看到的可管理存儲設備最大數(shù)量從16臺到30臺不等，各廠商實現(xiàn)也不盡相同。這種規(guī)模級別直接制約了云存儲系統(tǒng)的統(tǒng)一服務能力。

　　而最新興起的元數(shù)據(jù)服務器集群組建方式則有效地解決了這一問題。元數(shù)據(jù)服務器通過彼此間相互同步元數(shù)據(jù)信息，共同對整個系統(tǒng)提供分布式存儲策略調度和管理，有效地提升整個云存儲系統(tǒng)管理性能。通過元數(shù)據(jù)集群本身的線性增長，可以促使存儲設備數(shù)量的不斷增加，真正實現(xiàn)容量的無阻礙橫向擴展，在超大規(guī)模云存儲系統(tǒng)的統(tǒng)一服務提供上做出了有效的支撐。

　　2、靈活服務

　　在存儲容量靈活性要求下，需要云存儲系統(tǒng)能夠最大限度匹配視頻監(jiān)控的存儲需求。1路2Mbps的標清攝像頭，一天產生的數(shù)量約為21GB。若一天中只有工作時間錄像或者事件觸發(fā)錄像則產生的數(shù)據(jù)量更低。在民用視頻監(jiān)控行業(yè)中對于按需付費的思路則要求云存儲分配的存儲空間粒度至少是GB級別。這對于云存儲的空間分配策略、虛擬化容量整合能力提出了嚴峻的要求。傳統(tǒng)按照邏輯卷或者磁盤大小為單位的構建方式將直接導致分配容量時粒度過大，不能滿足這種靈活的容量分配需求。因此在云存儲技術實現(xiàn)中對磁盤容量進行更低粒度的切片，生成更低粒度的數(shù)據(jù)塊，以在容量的分配、調整上換取更大的靈活性成為一種可行的技術方向。以數(shù)據(jù)塊作為云存儲基礎的數(shù)據(jù)單元之后，可以實現(xiàn)數(shù)據(jù)的靈活分配、調整、以及對分布式存儲的支持和大數(shù)據(jù)并發(fā)吞吐性能的提升都帶來的意想不到的好處。但是隨之而來的問題則是對大量數(shù)據(jù)塊如何進行有效的管理，在這里業(yè)界主要有兩種不同的方向。

　　第一種方向的思路通過文件系統(tǒng)對數(shù)據(jù)塊資源進行組織和利用，這種思路的優(yōu)勢是可以支持多種數(shù)據(jù)的存儲，不限定數(shù)據(jù)類型。但同時也忽略了視頻錄像數(shù)據(jù)是流式數(shù)據(jù)的這一本質特點，在視頻錄像的存儲效率和應用擴展上做出了犧牲和讓步。要說清這個問題需要理解視頻流式數(shù)據(jù)與非流式的文件數(shù)據(jù)的差異。簡單來講流式數(shù)據(jù)在視頻監(jiān)控領域是由攝像機產生，以開始錄像為起點持續(xù)不斷的產生，在不做時間限定的前提下是沒有結束的，因此其數(shù)據(jù)量大小也會不斷增加沒有終點。而非流式的文件型數(shù)據(jù)則是有固定的文件大小、文件格式、文件名稱等文件屬性。如果以非流式的文件方式存儲流式的視頻數(shù)據(jù)則需要將視頻流人為截斷、按照文件名、按照數(shù)據(jù)量大小生成一個個單獨的視頻文件，這從本質上就破壞的流式數(shù)據(jù)的特征。再加上對視頻流檢索查找時，在文件系統(tǒng)中就只能通過文件名、目錄結構、文件屬性等進行檢索查找，無法深入精確的定位到每一秒或者每一毫秒的視頻數(shù)據(jù)，在視頻數(shù)據(jù)的使用和大數(shù)據(jù)分析上人為增加了技術壁壘。