大數(shù)據(jù)里面包含很多如大數(shù)據(jù)時(shí)代、大數(shù)據(jù)概念、大數(shù)據(jù)分析、大數(shù)據(jù)營(yíng)銷(xiāo)與開(kāi)發(fā)到底是什么意思呢?所謂大數(shù)據(jù),那到底什么是大數(shù)據(jù),他的來(lái)源在哪里,定義究竟是什么呢?以下是小編為你整理的怎么快速學(xué)數(shù)據(jù)分析 ?

大數(shù)據(jù)的定義。大數(shù)據(jù)，又稱(chēng)巨量資料，指的是所涉及的數(shù)據(jù)資料量規(guī)模巨大到無(wú)法通過(guò)人腦甚至主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策更積極目的的資訊。 ?

大數(shù)據(jù)的特點(diǎn)。數(shù)據(jù)量大、數(shù)據(jù)種類(lèi)多、 要求實(shí)時(shí)性強(qiáng)、數(shù)據(jù)所蘊(yùn)藏的價(jià)值大。在各行各業(yè)均存在大數(shù)據(jù)，但是眾多的信息和咨詢(xún)是紛繁復(fù)雜的，我們需要搜索、處理、分析、歸納、總結(jié)其深層次的規(guī)律。 ?

大數(shù)據(jù)的采集?？茖W(xué)技術(shù)及互聯(lián)網(wǎng)的發(fā)展，推動(dòng)著大數(shù)據(jù)時(shí)代的來(lái)臨，各行各業(yè)每天都在產(chǎn)生數(shù)量巨大的數(shù)據(jù)碎片，數(shù)據(jù)計(jì)量單位已從從Byte、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB來(lái)衡量。大數(shù)據(jù)時(shí)代數(shù)據(jù)的采集也不再是技術(shù)問(wèn)題，只是面對(duì)如此眾多的數(shù)據(jù)，我們?cè)鯓硬拍苷业狡鋬?nèi)在規(guī)律。

大數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)必然無(wú)法用人腦來(lái)推算、估測(cè)，或者用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式計(jì)算架構(gòu)，依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)，因此，大數(shù)據(jù)的挖掘和處理必須用到云技術(shù)。 ?

大數(shù)據(jù)的應(yīng)用。大數(shù)據(jù)可應(yīng)用于各行各業(yè)，將人們收集到的龐大數(shù)據(jù)進(jìn)行分析整理，實(shí)現(xiàn)資訊的有效利用。舉個(gè)本專(zhuān)業(yè)的例子，比如在奶?；?qū)用鎸ふ遗c產(chǎn)奶量相關(guān)的主效基因，我們可以首先對(duì)奶牛全基因組進(jìn)行掃描，盡管我們獲得了所有表型信息和基因信息，但是由于數(shù)據(jù)量龐大，這就需要采用大數(shù)據(jù)技術(shù)，進(jìn)行分析比對(duì)，挖掘主效基因。例子還有很多。 ?

大數(shù)據(jù)的意義和前景。總的來(lái)說(shuō)，大數(shù)據(jù)是對(duì)大量、動(dòng)態(tài)、能持續(xù)的數(shù)據(jù)，通過(guò)運(yùn)用新系統(tǒng)、新工具、新模型的挖掘，從而獲得具有洞察力和新價(jià)值的東西。以前，面對(duì)龐大的數(shù)據(jù)，我們可能會(huì)一葉障目、可見(jiàn)一斑，因此不能了解到事物的真正本質(zhì)，從而在科學(xué)工作中得到錯(cuò)誤的推斷，而大數(shù)據(jù)時(shí)代的來(lái)臨，一切真相將會(huì)展現(xiàn)在我么面前。 ?

大數(shù)據(jù)的誕生 ?

1980年,著名未來(lái)學(xué)家阿爾文·托夫勒便在《第三次浪潮》一書(shū)中,將大數(shù)據(jù)熱情地贊頌為“第三次浪潮的華彩樂(lè)章”。大約從2009年開(kāi)始,“大數(shù)據(jù)”成為互聯(lián)網(wǎng)信息技術(shù)行業(yè)的流行詞匯。 ?

什么是大數(shù)據(jù)： ?

大數(shù)據(jù),或稱(chēng)巨量數(shù)據(jù)、海量數(shù)據(jù);是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類(lèi)型眾多數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合,是基于云計(jì)算的數(shù)據(jù)處理與應(yīng)用模式,通過(guò)數(shù)據(jù)的集成共享,交叉復(fù)用形成的智力資源和知識(shí)服務(wù)能力。 ?

大數(shù)據(jù)有多大： ?

僅以互聯(lián)網(wǎng)為例,一天之中,互聯(lián)網(wǎng)產(chǎn)生的全部?jī)?nèi)容可以刻滿(mǎn)1.68億張DVD，發(fā)出的郵件有2940億封之多。發(fā)出的社區(qū)帖子達(dá)200萬(wàn)個(gè),相當(dāng)于《時(shí)代》雜志770年的文字?jǐn)?shù)量。

?

截止到2012年,數(shù)據(jù)量已經(jīng)從TB(1024GB=1TB)級(jí)別躍升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)級(jí)別。國(guó)際數(shù)據(jù)公司(IDC)的研究結(jié)果表明,2008年全球產(chǎn)生的數(shù)據(jù)量高達(dá)1.82ZB,相當(dāng)于全球每人產(chǎn)生200GB以上的數(shù)據(jù)。而到2012年為止,人類(lèi)生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB,全人類(lèi)歷史上說(shuō)過(guò)的所有話的數(shù)據(jù)量大約是5EB。IBM的研究稱(chēng),整個(gè)人類(lèi)文明所獲得的全部數(shù)據(jù)中,有90%是過(guò)去兩年內(nèi)產(chǎn)生的。而到了2020年,全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。 ?

大數(shù)據(jù)的利用和意義： ?

大數(shù)據(jù)的精準(zhǔn)營(yíng)銷(xiāo)是指通過(guò)大數(shù)據(jù)獲取對(duì)象的喜好，行為偏好，對(duì)不同對(duì)象進(jìn)行不同營(yíng)銷(xiāo)。大數(shù)據(jù)精準(zhǔn)營(yíng)銷(xiāo)的核心可以概括為幾大關(guān)鍵詞：用戶(hù)、需求、識(shí)別、體驗(yàn)客戶(hù)營(yíng)銷(xiāo)、客戶(hù)管理的公司經(jīng)營(yíng)理念，通過(guò)龐大的消費(fèi)數(shù)據(jù)資源，為客戶(hù)提供數(shù)據(jù)驗(yàn)證，精準(zhǔn)營(yíng)銷(xiāo)等數(shù)據(jù)級(jí)服務(wù)。簡(jiǎn)單說(shuō)就是為企業(yè)提供數(shù)據(jù)驗(yàn)證和數(shù)據(jù)篩選業(yè)務(wù)。 ?

生活中的大數(shù)據(jù)： ?

數(shù)學(xué)家Chris McKinlay是美國(guó)加州*洛杉磯分校在讀PhD，在多次相親后，對(duì)于找到另一半的事情毫無(wú)起色，作為一名數(shù)學(xué)家，他認(rèn)為自己應(yīng)該像一名數(shù)學(xué)家那樣使用交友數(shù)據(jù)。 ?

McKinlay利用自己的天賦，創(chuàng)建了一個(gè)自制的機(jī)器人程序，可利用假冒的OkCupid賬號(hào)從網(wǎng)站上搜集女性大量信息。McKinlay花了三周時(shí)間從美國(guó)2萬(wàn)女性收集到6萬(wàn)問(wèn)題和答案，之后利用自己研發(fā)的改進(jìn)型K-Modes算法將這些女網(wǎng)友分成7個(gè)在系統(tǒng)上存在差異的集群。通過(guò)建立數(shù)學(xué)模型計(jì)算的方式優(yōu)化出兩組女性，然后進(jìn)行約會(huì)，在約會(huì)第88個(gè)女網(wǎng)友時(shí)，他找到了自己的真愛(ài)。 ?

醫(yī)療、美食、公司、教育大數(shù)據(jù)： ?

醫(yī)生根據(jù)病人的基本資料、診斷結(jié)果、處方、醫(yī)療保險(xiǎn)等數(shù)據(jù)，將這些不醫(yī)療與大數(shù)據(jù)：同數(shù)據(jù)綜合起來(lái)，通過(guò)大數(shù)據(jù)決策處理軟件，醫(yī)生將為病人選擇*的醫(yī)療護(hù)理解決方案。 ?

我認(rèn)為，在當(dāng)今社會(huì)，企業(yè)直面社會(huì)的劇烈變化，在管理工作中依賴(lài)小規(guī)模的“點(diǎn)子”、“好主意”的傳統(tǒng)做法已經(jīng)難以應(yīng)對(duì)市場(chǎng)的激烈競(jìng)爭(zhēng)，企業(yè)需要從那些來(lái)自于現(xiàn)場(chǎng)、來(lái)源于客戶(hù)、來(lái)源于多個(gè)時(shí)空的全方位的立體信息中找到利潤(rùn)的寶藏，才能獲得持續(xù)增長(zhǎng)的動(dòng)力，從這個(gè)意義上看，駕馭大數(shù)據(jù)是企業(yè)駕馭未來(lái)的必經(jīng)之路。 ?

大數(shù)據(jù)技術(shù)的具體內(nèi)容

分布式存儲(chǔ)計(jì)算架構(gòu)(強(qiáng)烈推薦：Hadoop) ?

分布式程序設(shè)計(jì)(包含：Apache Pig或者Hive) ?

分布式文件系統(tǒng)(比如：Google GFS) ?

多種存儲(chǔ)模型，主要包含文檔，圖，鍵值，時(shí)間序列這幾種存儲(chǔ)模型(比如：BigTable，Apollo， DynamoDB等) ?

數(shù)據(jù)收集架構(gòu)(比如：Kinesis，Kafla) ?

集成開(kāi)發(fā)環(huán)境(比如：R-Studio) ?

程序開(kāi)發(fā)輔助工具(比如：大量的第三方開(kāi)發(fā)輔助工具) ?

調(diào)度協(xié)調(diào)架構(gòu)工具(比如：Apache Aurora) ?

機(jī)器學(xué)習(xí)(常用的有Apache Mahout 或 H2O) ?

托管管理(比如：Apache Hadoop Benchmarking) ?

安全管理(常用的有Gateway) ?

大數(shù)據(jù)系統(tǒng)部署(可以看下Apache Ambari) ?

搜索引擎架構(gòu)( 學(xué)習(xí)或者企業(yè)都建議使用Lucene搜索引擎) ?

多種數(shù)據(jù)庫(kù)的演變(MySQL/Memcached) ?

商業(yè)智能(大力推薦：Jaspersoft ) ?

數(shù)據(jù)可視化(這個(gè)工具就很多了，可以根據(jù)實(shí)際需要來(lái)選擇) ?

大數(shù)據(jù)處理算法(經(jīng)典算法)