數(shù)據(jù)存儲——是指數(shù)據(jù)以某種格式記錄在計算機內(nèi)部或外部存儲介質(zhì)上。數(shù)據(jù)存儲要命名,這種命名要反映信息特征的組成含義。
01
首先,學(xué)習(xí)數(shù)據(jù)存儲知識,需要了解數(shù)據(jù)的類型。整體上我們將數(shù)據(jù)類型分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)——能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示,如數(shù)字、文字、符號。結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù),是由二維表結(jié)構(gòu)來邏輯表達和實現(xiàn)的數(shù)據(jù),嚴格地遵循數(shù)據(jù)格式與長度規(guī)范,主要通過關(guān)系型數(shù)據(jù)庫進行存儲和管理。
半結(jié)構(gòu)化數(shù)據(jù)——是介于完全結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù))和完全無結(jié)構(gòu)的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù),XML、HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的,數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起,沒有明顯的區(qū)分。
非結(jié)構(gòu)化數(shù)據(jù)——非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整,沒有預(yù)定義的數(shù)據(jù)模型,不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括圖像和音頻/視頻信息等等。丟失的視頻數(shù)據(jù)就屬于非結(jié)構(gòu)化數(shù)據(jù)。
02
知道了這些數(shù)據(jù)結(jié)構(gòu),英方災(zāi)備覺得先要知道如何存儲這些數(shù)據(jù),就像我們要裝水,需要裝水的工具。對此,我們提到數(shù)據(jù)的存儲介質(zhì)。
數(shù)據(jù)的存儲介質(zhì)是指存儲數(shù)據(jù)的載體。比如軟盤、光盤、DVD、磁帶、硬盤、閃存、U盤、CF卡、SD卡、MMC卡、SM卡、記憶棒(MemoryStick)、xD卡等。
對于企業(yè)級存儲市場,一般的數(shù)據(jù)存儲介質(zhì)是磁帶與硬盤。
磁帶曾經(jīng)風(fēng)靡八十年代,但是隨著技術(shù)的進步和社會發(fā)展的需求,現(xiàn)在基本采用硬盤存儲數(shù)據(jù),一些長期存儲的歷史數(shù)據(jù)/冷數(shù)據(jù)才會用到磁帶(庫)進行存儲。
硬盤又分三大種類:SSD、HHD、HDD
SSD——固態(tài)硬盤,用固態(tài)電子存儲芯片陣列而制成的硬盤,由控制單元和存儲單元(FLASH芯片、DRAM芯片)組成。固態(tài)硬盤在接口的規(guī)范和定義、功能及使用方法上與普通硬盤的完全相同,在產(chǎn)品外形和尺寸上也完全與普通硬盤一致。被廣泛應(yīng)用于軍事、車載、工控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)終端、電力、醫(yī)療、航空、導(dǎo)航設(shè)備等領(lǐng)域。
HHD——混合硬盤,既包含傳統(tǒng)硬盤又有閃存模塊的大容量存儲設(shè)備。閃存處理存儲中寫入或恢復(fù)最頻繁的數(shù)據(jù)。很多公司開始提供這項技術(shù)的變體,他們期望它會在高端系統(tǒng)中受到追捧,尤其是在筆記本電腦和個人數(shù)字助理中。
HDD——傳統(tǒng)硬盤,即硬盤驅(qū)動器。最基本的電腦存儲器,我們電腦中常說的電腦C/D盤。目前硬盤一般常見的磁盤容量為80G——1TB、2TB等;硬盤按體積大小可分為3.5寸、2.5寸、1.8寸等;按轉(zhuǎn)數(shù)可分為5400rpm/7200rpm/10000rpm等。噪音大,怕摔,強制斷電易燒盤是HDD缺點。
簡單地說,SSD采用閃存顆粒來存儲,HDD采用磁性碟片來存儲,HHD是把磁性硬盤和閃存集成到一起的一種硬盤。
其中,根據(jù)硬盤接口不同,又可分為IDE、SATA、SCSI和光纖通道四種,IDE接口硬盤多用于家用產(chǎn)品中,也部分應(yīng)用于服務(wù)器,SCSI接口的硬盤則主要應(yīng)用于服務(wù)器市場,光纖通道只在高端服務(wù)器上。
03
普通的企業(yè)級視頻監(jiān)控,一般采用傳統(tǒng)的HDD硬盤進行視頻錄像的存儲,所以噪音大、怕摔、易燒不可避免。根據(jù)企業(yè)級監(jiān)控存儲方式的發(fā)展規(guī)律,我們又可以分為:VCR→ DVR→NVR→CVR。
VCR——模擬式磁帶錄放機,使用空白錄像帶并加載錄像機進行影像的錄制及存儲的監(jiān)控系統(tǒng)設(shè)備。VCR 信號易受外界燥聲干擾,每次的錄像與播放后均會有些品質(zhì)損失。且磁帶不易保存,是最大的缺點。
DVR——模擬機和同軸纜信號的硬盤錄像機,不需要配置IP,它是一種使用數(shù)字方式進行影像的錄制及存儲的監(jiān)控系統(tǒng)設(shè)備;功能齊全,影像錄制效果好、畫面清晰,并可重復(fù)多次錄制,能對存放影像進行回放檢索。DVR布線比較繁瑣,要視頻線、音頻線等。
NVR——網(wǎng)絡(luò)型錄像機,必須配置IP,布線簡單,一條網(wǎng)線基本解決。主要的功能是通過網(wǎng)絡(luò)接收IPC(網(wǎng)絡(luò)攝像機)設(shè)備傳輸?shù)臄?shù)字視頻碼流, 并進行存儲、管理,從而實現(xiàn)網(wǎng)絡(luò)化帶來的分布式架構(gòu)優(yōu)勢??梢酝瑫r觀看、瀏覽、回放、管理、存儲多個網(wǎng)絡(luò)攝像機的視頻數(shù)據(jù)。
NVR——DVR的終結(jié)者
CVR——視頻云存儲,是集編碼設(shè)備管理、錄像管理、存儲、轉(zhuǎn)發(fā)功能為一體的視頻專用存儲技術(shù)。CVR由標準的IPSAN/NAS網(wǎng)絡(luò)存儲設(shè)備結(jié)合視頻監(jiān)控應(yīng)用發(fā)展而來,是一種融合了專業(yè)存儲技術(shù)與專業(yè)安防視頻監(jiān)控應(yīng)用技術(shù)的產(chǎn)品。
CVR是更高級的NVR或者DVR,或者是數(shù)據(jù)集中存貯的NVR。
04
學(xué)到了存儲介質(zhì)的知識,英方災(zāi)備下一步要介紹的就是數(shù)據(jù)存儲的方式。常見的四種存儲方式:DAS、NAS、SAN、OBS。
DAS——直接附加存儲,外部存儲設(shè)備都是直接掛接在服務(wù)器內(nèi)部總線上,數(shù)據(jù)存儲設(shè)備是整個服務(wù)器結(jié)構(gòu)的一部分,與家用電腦的構(gòu)造一樣。
NAS——網(wǎng)絡(luò)附加存儲,采用獨立于服務(wù)器,單獨為網(wǎng)絡(luò)數(shù)據(jù)存儲而開發(fā)的一種文件服務(wù)器來連接所存儲設(shè)備,自形成一個網(wǎng)絡(luò)。這樣數(shù)據(jù)存儲就不再是服務(wù)器的附屬,而是作為獨立網(wǎng)絡(luò)節(jié)點而存在于網(wǎng)絡(luò)之中,可由所有的網(wǎng)絡(luò)用戶共享。
SAN——存儲區(qū)域網(wǎng)絡(luò),與NAS架構(gòu)類似,只是基于光纖介質(zhì),傳輸速率以光纖網(wǎng)絡(luò)速度的服務(wù)器訪問存儲器的一種連接方式。1991年由IBM公司建成。
DAS存儲一般應(yīng)用在中小企業(yè),與計算機采用直連方式;NAS存儲則通過以太網(wǎng)添加到計算機上;SAN存儲則使用FC接口,提供性能更加的存儲。
OBS——對象存儲系統(tǒng),綜合了NAS和SAN的優(yōu)點,同時具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢,提供了高可靠性、跨平臺性以及安全的數(shù)據(jù)共享的存儲體系結(jié)構(gòu)。對象存儲被看作是塊存儲、文件存儲之后,一種更適合互聯(lián)網(wǎng)應(yīng)用環(huán)節(jié)的存儲方式。
存儲方式的不同,是不同時代不同應(yīng)用場景的存儲產(chǎn)物,各有優(yōu)缺點,每家存儲廠商的方案也百花齊放百家爭鳴,比如云計算對象存儲,每家的命名和架構(gòu)都有差異。
05
學(xué)到了這,我們應(yīng)該明白存儲是門技術(shù)活,特別是大型存儲項目,需要的集成系統(tǒng)更加復(fù)雜。在此,介紹一些比較專業(yè)的大型存儲系統(tǒng)。
集中存儲系統(tǒng)——采用集中的存儲服務(wù)器存放所有數(shù)據(jù)。存儲服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點,不能滿足大規(guī)模存儲應(yīng)用的需要。
分布式存儲系統(tǒng)——將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上,采用分布式可擴展的系統(tǒng)架構(gòu),利用多臺存儲服務(wù)器分擔(dān)系統(tǒng)負荷。它不但提高了系統(tǒng)的可靠性、可用性和性能,還易于在線靈活擴展。
全閃存陣列——完全由固態(tài)存儲介質(zhì)(通常是NAND閃存)構(gòu)成的獨立的存儲陣列或設(shè)備,這些系統(tǒng)是用于增強可能包含磁盤陣列的環(huán)境的性能,或者用于取代所有傳統(tǒng)的硬盤存儲陣列。
06
學(xué)到這,英方災(zāi)備要告訴你的是現(xiàn)在的存儲趨勢之一是軟件定義存儲(SDS)。
SDS是一種數(shù)據(jù)存儲方式,所有存儲相關(guān)的控制工作都僅在相對于物理存儲硬件的外部軟件中。這個軟件不是作為存儲設(shè)備中的固件,而是在一個服務(wù)器上或者作為操作系統(tǒng)(OS)或hypervisor的一部分。
軟件定義存儲與軟件定義網(wǎng)絡(luò)(SDN)和軟件定義數(shù)據(jù)中心(SDDC),被認為是IT行業(yè)的發(fā)展趨勢。使用軟件定義存儲進行長期存儲充滿了諸多風(fēng)險,例如數(shù)據(jù)位錯誤、硬盤故障、網(wǎng)絡(luò)攻擊、人為失誤以及自然災(zāi)害等等。
07
因此,再安全可靠的存儲介質(zhì)和存儲方式,都不能保證存儲數(shù)據(jù)的100%,對關(guān)鍵數(shù)據(jù)進行容災(zāi)備份被認為是企業(yè)信息安全的最后一道防線。所以,雙活容災(zāi)又被提出來。
雙活容災(zāi)——災(zāi)備系統(tǒng)中使主生產(chǎn)端數(shù)據(jù)庫和備機端數(shù)據(jù)庫同時在線運行,處于可讀可查詢的狀態(tài)的技術(shù),確保企業(yè)在一定范圍內(nèi)的業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全。
高可用災(zāi)備系統(tǒng)常有的幾種工作方式:第一種是:共享存儲(磁盤陣列)的方式;第二種是雙機雙存儲,也叫全冗余方式;第三種是利用數(shù)據(jù)的同步方式,通常我們稱為mirror方式,包括基于文件級的復(fù)制功能、基于數(shù)據(jù)庫內(nèi)部機制、基于數(shù)據(jù)攔截技術(shù)。
但是,由于雙活容災(zāi)的存儲設(shè)備往往存放在同一個機房,所以發(fā)生火災(zāi)、水災(zāi)、人為破壞等風(fēng)險依然存在。為此,異地容災(zāi)又被提了出來。
08
異地容災(zāi)包括數(shù)據(jù)級容災(zāi)和應(yīng)用級容災(zāi),數(shù)據(jù)級容災(zāi)是對數(shù)據(jù)在異地的復(fù)制備份等,應(yīng)用級容災(zāi)則強調(diào)核心業(yè)務(wù)應(yīng)用的接管,即當(dāng)生產(chǎn)機房發(fā)生故障停止工作時,備用機房能夠馬上接管業(yè)務(wù)繼續(xù)對外提供服務(wù)。
有了異地容災(zāi),一定程度上確保用戶數(shù)據(jù)不丟,業(yè)務(wù)不停,大家就再也不怕硬盤壞了。