目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時(shí)間內(nèi)用常規(guī)軟件工具對其內(nèi)容進(jìn)行抓取、管理和處理。數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進(jìn)行挖掘可能得到的價(jià)值更大，這就是大數(shù)據(jù)熱的原因。
首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時(shí)代現(xiàn)實(shí)社會(huì)與網(wǎng)絡(luò)空間深度融合的產(chǎn)物，蘊(yùn)含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計(jì)，2012年底我國網(wǎng)民數(shù)為5.64億，手機(jī)網(wǎng)民為4.2億，通過分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報(bào)告，全球企業(yè)的信息存儲(chǔ)總量已達(dá)2.2ZB(1ZB等于1000EB)，年增67%。醫(yī)院、學(xué)校和銀行等也都會(huì)收集和存儲(chǔ)大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會(huì)管理所需的信息。2011年，英國《自然》雜志曾出版專刊指出，倘若能夠更有效地組織和使用大數(shù)據(jù)，人類將得到更多的機(jī)會(huì)發(fā)揮科學(xué)技術(shù)對社會(huì)發(fā)展的巨大推動(dòng)作用。
大的數(shù)據(jù)并不是一種特定類型的數(shù)據(jù)。每一種非結(jié)構(gòu)化數(shù)據(jù)均可被視為大數(shù)據(jù)。這包括在社交網(wǎng)站上的數(shù)據(jù)、在線金融交易數(shù)據(jù)、公司記錄、氣象監(jiān)測數(shù)據(jù)、衛(wèi)星數(shù)據(jù)和其他監(jiān)控、研究和開發(fā)數(shù)據(jù)。大數(shù)據(jù)的量是巨大的而且是非結(jié)構(gòu)化的。
1、通過隔離管理大數(shù)據(jù)存儲(chǔ)
如果您在您的企業(yè)中有多個(gè)存儲(chǔ)箱，那么將數(shù)據(jù)庫、線交易處理(OLTP)和微軟Exchange應(yīng)用到特定的存儲(chǔ)系統(tǒng)絕對是一個(gè)好主意。而專其它存儲(chǔ)系統(tǒng)則用于大數(shù)據(jù)應(yīng)用，如門戶網(wǎng)站，在線流媒體應(yīng)用，等等。
如果您的企業(yè)負(fù)擔(dān)不起分隔的存儲(chǔ)系統(tǒng)，將特定的前端存儲(chǔ)端口到數(shù)據(jù)庫，OLTP，等等;致力于大數(shù)據(jù)應(yīng)用到其他端口。背后的基本原理是使用專用端口，而大數(shù)據(jù)流量是以千字節(jié)或兆字節(jié)衡量，OLTP應(yīng)用流量是以每秒的輸入/輸出操作(IOPS)衡量，因?yàn)閿?shù)據(jù)塊的大小是比大數(shù)據(jù)更大而比OLTP應(yīng)用程序更小。OLTP應(yīng)用程序是CPU密集型的，而大數(shù)據(jù)應(yīng)用程序更多的使用前端端口。因此，更多的端口可以專注于大數(shù)據(jù)應(yīng)用。
2、大數(shù)據(jù)分析
如今，很多公司提供兼容數(shù)據(jù)管理的存儲(chǔ)系統(tǒng)。你應(yīng)該在尋找你的大數(shù)據(jù)存儲(chǔ)管理解決方案時(shí)評估這些公司。如EMCIsilon的集群存儲(chǔ)系統(tǒng)對于大數(shù)據(jù)存儲(chǔ)管理是一個(gè)更好的選擇，因?yàn)樵谝粋€(gè)單一的文件系統(tǒng)中大數(shù)據(jù)能增長到多字節(jié)的數(shù)據(jù)。除了存儲(chǔ)，大數(shù)據(jù)管理的另一項(xiàng)大的挑戰(zhàn)是數(shù)據(jù)分析。一般的數(shù)據(jù)分析應(yīng)用程序無法很好的處理大數(shù)據(jù)，畢竟涉及到大量的數(shù)據(jù)。
目前，諸如EMCGreenplum這樣的公司就在采用專門針對大數(shù)據(jù)的管理和分析的工具。這些應(yīng)用程序運(yùn)行在集群存儲(chǔ)系統(tǒng)上，緩解大數(shù)據(jù)的管理。建議選擇應(yīng)用程序可同時(shí)工作在群集存儲(chǔ)系統(tǒng)，并迅速有效地分析數(shù)據(jù)?？焖偎饕_保元數(shù)據(jù)始終駐留在固態(tài)硬盤(SSD)，如果存儲(chǔ)箱為您提供了這樣的選擇的話。
管理大數(shù)據(jù)的另一個(gè)需要重點(diǎn)考慮的是未來的數(shù)據(jù)增長。你的大數(shù)據(jù)存儲(chǔ)管理系統(tǒng)應(yīng)該是可擴(kuò)展的，足以滿足未來的存儲(chǔ)需求。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
