“大數(shù)據(jù)”是近年來(lái)IT行業(yè)的熱詞，大數(shù)據(jù)在各個(gè)行業(yè)的應(yīng)用逐漸變得廣泛起來(lái)，如2014年的兩會(huì)，我們聽(tīng)得最多的也是大數(shù)據(jù)分析，那么，什么是大數(shù)據(jù)呢，大數(shù)據(jù)時(shí)代怎么理解呢，一起來(lái)看看吧。 ?

互聯(lián)網(wǎng)時(shí)代的大數(shù)據(jù) ?

大數(shù)據(jù)的定義。大數(shù)據(jù)，又稱(chēng)巨量資料，指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無(wú)法通過(guò)人腦甚至主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。 ?

大數(shù)據(jù)的特點(diǎn)。數(shù)據(jù)量大、數(shù)據(jù)種類(lèi)多、 要求實(shí)時(shí)性強(qiáng)、數(shù)據(jù)所蘊(yùn)藏的價(jià)值大。在各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢(xún)是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。

大數(shù)據(jù)的采集?？茖W(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動(dòng)著大數(shù)據(jù)時(shí)代的來(lái)臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計(jì)量單位已從從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來(lái)衡量。大數(shù)據(jù)時(shí)代數(shù)據(jù)的采集也不再是技術(shù)問(wèn)題，只是面對(duì)如此眾多的數(shù)據(jù)，我們?cè)鯓硬拍苷业狡鋬?nèi)在規(guī)律。 ?

大數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)必然無(wú)法用人腦來(lái)推算、估測(cè)，或者用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)，依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)，因此，大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。 ?

大數(shù)據(jù)的應(yīng)用。大數(shù)據(jù)可應(yīng)用于各行各業(yè)，將人們收集到的龐大數(shù)據(jù)進(jìn)行分析整理，實(shí)現(xiàn)資訊的有效利用。舉個(gè)本專(zhuān)業(yè)的例子，比如在奶?；?qū)用鎸ふ遗c產(chǎn)奶量相關(guān)的主效基因，我們可以首先對(duì)奶牛全基因組進(jìn)行掃描，盡管我們獲得了所有表型信息和基因信息，但是由于數(shù)據(jù)量龐大，這就需要采用大數(shù)據(jù)技術(shù)，進(jìn)行分析比對(duì)，挖掘主效基因。例子還有很多。 ?

大數(shù)據(jù)的意義和前景?？偟膩?lái)說(shuō)，大數(shù)據(jù)是對(duì)大量、動(dòng)態(tài)、能持續(xù)的數(shù)據(jù)，通過(guò)運(yùn)用新系統(tǒng)、新工具、新模型的挖掘，從而獲得具有洞察力和新價(jià)值的東西。以前，面對(duì)龐大的數(shù)據(jù)，我們可能會(huì)一葉障目、可見(jiàn)一斑，因此不能了解到事物的真正本質(zhì)，從而在科學(xué)工作中得到錯(cuò)誤的推斷，而大數(shù)據(jù)時(shí)代的來(lái)臨，一切真相將會(huì)展現(xiàn)在我么面前。 ?

什么是大數(shù)據(jù) ?

從技術(shù)上看，大數(shù)據(jù)[1]與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)的挖掘，但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和/或虛擬化技術(shù)。(在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫(xiě)的《大數(shù)據(jù)時(shí)代[4]》中大數(shù)據(jù)指不用隨機(jī)分析法(抽樣調(diào)查)這樣的捷徑，而采用所有數(shù)據(jù)的方法)大數(shù)據(jù)的4V特點(diǎn)：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價(jià)值)。 ?

早在1980年，著名未來(lái)學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書(shū)中，將大數(shù)據(jù)熱情地贊頌為第三次浪潮的華彩樂(lè)章。不過(guò)，大約從2009年開(kāi)始，大數(shù)據(jù)才成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。美國(guó)互聯(lián)網(wǎng)數(shù)據(jù)中心指出，互聯(lián)網(wǎng)上的數(shù)據(jù)每年將增長(zhǎng)50%，每?jī)赡瓯銓⒎环?，而目前世界?0%以上的數(shù)據(jù)是最近幾年才產(chǎn)生的。此外，數(shù)據(jù)又并非單純指人們?cè)诨ヂ?lián)網(wǎng)上發(fā)布的信息，全世界的工業(yè)設(shè)備、汽車(chē)、電表上有著無(wú)數(shù)的數(shù)碼傳感器，隨時(shí)測(cè)量和傳遞著有關(guān)位置、運(yùn)動(dòng)、震動(dòng)、溫度、濕度乃至空氣中化學(xué)物質(zhì)的變化，也產(chǎn)生了海量的數(shù)據(jù)信息。 ?

大數(shù)據(jù)的意義是由人類(lèi)日益普及的網(wǎng)絡(luò)行為所伴生的，受到相關(guān)*、企業(yè)采集的，蘊(yùn)含數(shù)據(jù)生產(chǎn)者真實(shí)意圖、喜好的，非傳統(tǒng)結(jié)構(gòu)和意義的數(shù)據(jù) 。2013年5月10日，阿里巴巴集團(tuán)董事局主席馬云在淘寶十周年晚會(huì)上，將卸任阿里集團(tuán)CEO的職位，并在晚會(huì)上做卸任前的演講，馬云說(shuō)，大家還沒(méi)搞清PC時(shí)代的時(shí)候，移動(dòng)互聯(lián)網(wǎng)來(lái)了，還沒(méi)搞清移動(dòng)互聯(lián)網(wǎng)的時(shí)候，大數(shù)據(jù)時(shí)代來(lái)了。 ?

大數(shù)據(jù)的常用公式 ?

跨粒度計(jì)算(In-DatabaseComputing) ?

Z-Suite支持各種常見(jiàn)的匯總，還支持幾乎全部的專(zhuān)業(yè)統(tǒng)計(jì)函數(shù)。得益于跨粒度計(jì)算技術(shù)，Z-Suite數(shù)據(jù)分析引擎將找尋出*化的計(jì)算方案，繼而把所有開(kāi)銷(xiāo)較大的、昂貴的計(jì)算都移動(dòng)到數(shù)據(jù)存儲(chǔ)的地方直接計(jì)算，我們稱(chēng)之為庫(kù)內(nèi)計(jì)算(In-Database)。這一技術(shù)大大減少了數(shù)據(jù)移動(dòng)，降低了通訊負(fù)擔(dān)，保證了高性能數(shù)據(jù)分析。 ?

并行計(jì)算(MPP Computing) ?

Z-Suite是基于MPP架構(gòu)的商業(yè)智能平臺(tái)，她能夠把計(jì)算分布到多個(gè)計(jì)算節(jié)點(diǎn)，再在指定節(jié)點(diǎn)將計(jì)算結(jié)果匯總輸出。Z-Suite能夠充分利用各種計(jì)算和存儲(chǔ)資源，不管是服務(wù)器還是普通的PC，她對(duì)網(wǎng)絡(luò)條件也沒(méi)有嚴(yán)苛的要求。作為橫向擴(kuò)展的大數(shù)據(jù)平臺(tái)，Z-Suite能夠充分發(fā)揮各個(gè)節(jié)點(diǎn)的計(jì)算能力，輕松實(shí)現(xiàn)針對(duì)TB/PB級(jí)數(shù)據(jù)分析的秒級(jí)響應(yīng)。

?

列存儲(chǔ) (Column-Based) ?

Z-Suite是列存儲(chǔ)的?；诹写鎯?chǔ)的數(shù)據(jù)集市，不讀取無(wú)關(guān)數(shù)據(jù)，能降低讀寫(xiě)開(kāi)銷(xiāo)，同時(shí)提高I/O 的效率，從而大大提高查詢(xún)性能。另外，列存儲(chǔ)能夠更好地壓縮數(shù)據(jù)，一般壓縮比在5 -10倍之間，這樣一來(lái)，數(shù)據(jù)占有空間降低到傳統(tǒng)存儲(chǔ)的1/5到1/10 。良好的數(shù)據(jù)壓縮技術(shù)，節(jié)省了存儲(chǔ)設(shè)備和內(nèi)存的開(kāi)銷(xiāo)，卻大大了提升計(jì)算性能。 ?

內(nèi)存計(jì)算 ?

得益于列存儲(chǔ)技術(shù)和并行計(jì)算技術(shù)，Z-Suite能夠大大壓縮數(shù)據(jù)，并同時(shí)利用多個(gè)節(jié)點(diǎn)的計(jì)算能力和內(nèi)存容量。一般地，內(nèi)存訪(fǎng)問(wèn)速度比磁盤(pán)訪(fǎng)問(wèn)速度要快幾百倍甚至上千倍。通過(guò)內(nèi)存計(jì)算，CPU直接從內(nèi)存而非磁盤(pán)上讀取數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行計(jì)算。內(nèi)存計(jì)算是對(duì)傳統(tǒng)數(shù)據(jù)處理方式的一種加速，是實(shí)現(xiàn)大數(shù)據(jù)分析的關(guān)鍵應(yīng)用技術(shù)。 ?

分析其含義 ?

首先簡(jiǎn)介一下大數(shù)據(jù)能夠干什么：首先舉個(gè)例子，大家都喜歡上淘寶買(mǎi)東西，淘寶網(wǎng)站會(huì)記錄每個(gè)人在它網(wǎng)站上都買(mǎi)了什么，瀏覽了什么。。。等等一系列信息。然后分析什么產(chǎn)品賣(mài)的火爆，哪個(gè)客戶(hù)喜歡買(mǎi)什么，那個(gè)商家盈利高等等，挖掘一系列有潛在價(jià)值 ?

其次分析一下大數(shù)據(jù)的含義，大數(shù)據(jù)既然含有數(shù)據(jù)這個(gè)詞匯，就表明他是和數(shù)據(jù)相關(guān)的，而數(shù)據(jù)無(wú)非就是如何存儲(chǔ)數(shù)據(jù)和如何使用存儲(chǔ)的數(shù)據(jù)這兩個(gè)問(wèn)題 ?

首先說(shuō)一下如何存儲(chǔ)：傳統(tǒng)的數(shù)據(jù)都是保存在關(guān)系型數(shù)據(jù)庫(kù)，比如oracle和mysql等，這些數(shù)據(jù)庫(kù)存儲(chǔ)空間是有限的，并且數(shù)據(jù)庫(kù)的東西多了之后，查詢(xún)存取的速度會(huì)變得很慢，根本做數(shù)據(jù)分析等。此外傳統(tǒng)數(shù)據(jù)都安裝在一臺(tái)服務(wù)器上，一旦服務(wù)器宕機(jī)了，數(shù)據(jù)庫(kù)的內(nèi)容就全部銷(xiāo)毀了，無(wú)法恢復(fù) ?

大數(shù)據(jù)的含義就是說(shuō)數(shù)據(jù)量很大，數(shù)據(jù)量達(dá)到pb級(jí)別，大公司也許需要幾千臺(tái)服務(wù)器才能存儲(chǔ)，用的是分布式存儲(chǔ)技術(shù)。所謂的分布式存儲(chǔ)技術(shù)是指，同樣一份文件，分別存儲(chǔ)在3臺(tái)不同的服務(wù)器上，假設(shè)其中服務(wù)器掛機(jī)了，還有另外兩臺(tái)服務(wù)器工作，并且迅速備份一份文件，始終保證相同文件有3臺(tái)服務(wù)器提供工作 ?

大數(shù)據(jù)的使用主要是指根據(jù)公司需求，對(duì)現(xiàn)有的數(shù)據(jù)進(jìn)行挖掘分析。而挖掘分析做的最多的就是查詢(xún)數(shù)據(jù)，大數(shù)據(jù)的查詢(xún)速度是非常快的，因?yàn)榈讓佑玫氖穷?lèi)似于lucene技術(shù)。但是大數(shù)據(jù)不適合修改存儲(chǔ)的文件。因?yàn)榇髷?shù)據(jù)存儲(chǔ)數(shù)據(jù)是以文件的形式存儲(chǔ)的，如果想修改數(shù)據(jù)，它會(huì)把原先的文件刪掉，然后重新寫(xiě)入。 ?