大數(shù)據(jù)是一個含義廣泛的術(shù)語，是指數(shù)據(jù)集，如此龐大而復(fù)雜的，他們需要專門設(shè)計的硬件和軟件工具進行處理。該數(shù)據(jù)集通常是萬億或EB的大小。以下是小編為你整理的大數(shù)據(jù)該怎么學(xué)習(xí) ?

HADOOPP 是一個能夠?qū)Υ罅繑?shù)據(jù)進行分布式處理的軟件框架。但是HADOOPP 是以一種可靠、高效、可伸縮的方式進行處理的。HADOOPP 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。 ?

HPCC高性能計算與 通信”的報告。開發(fā)可擴展的計算系統(tǒng)及相關(guān)軟件，以支持太位級網(wǎng)絡(luò)傳輸性能，開發(fā)千兆 比特網(wǎng)絡(luò)技術(shù)，擴展研究和教育機構(gòu)及網(wǎng)絡(luò)連接能力。

Storm是自由的開源軟件，一個分布式的、容錯的實時計算系統(tǒng)。Storm可以非?？煽康奶幚睚嫶蟮臄?shù)據(jù)流，用于處理HADOOPP的批量數(shù)據(jù)。 ?

為了幫助企業(yè)用戶尋找更為有效、加快HADOOPP數(shù)據(jù)查詢的方法，Apache發(fā)起了一項名為“Drill”的開源項目。 ?

Pentaho BI 平臺不同于傳統(tǒng)的BI 產(chǎn)品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在于將一系列企業(yè)級BI產(chǎn)品、開源軟件、API等等組件集成起來，方便商務(wù)智能應(yīng)用的開發(fā)。 ?

RapidMiner是*的數(shù)據(jù)挖掘解決方案，在一個非常大的程度上有著先進技術(shù)。它數(shù)據(jù)挖掘任務(wù)涉及范圍廣泛，包括各種數(shù)據(jù)藝術(shù)，能簡化數(shù)據(jù)挖掘過程的設(shè)計和評價。 ?

學(xué)大數(shù)據(jù)的必備知識 ?

Java基礎(chǔ)** ?

數(shù)據(jù)類型 ?

運算符、循環(huán) ?

順序結(jié)構(gòu)程序設(shè)計 ?

程序結(jié)構(gòu) ?

數(shù)組及多維數(shù)組 ?

面向?qū)ο?* ?

構(gòu)造方法、控制符、封裝 ?

繼承** ?

多態(tài)** ?

抽象類、接口** ?

常用類、集合Collection、list** ?

HashSet、TreeSet、Collection ?

集合類Map** ?

異常 ?

File ?

文件/流** ?

數(shù)據(jù)流和對象流 ?

線程(理解即可) ?

網(wǎng)絡(luò)通信(理解即可) ?

如果如果你已經(jīng)是脫離小白生涯，你理大數(shù)據(jù)不遠了，需要學(xué)習(xí)一些額外的小知識(數(shù)據(jù)結(jié)構(gòu)、關(guān)系型數(shù)據(jù)庫、linux系統(tǒng)操作)第二階段以夯實基礎(chǔ)，之后就可以進入大數(shù)據(jù)學(xué)習(xí)了; ?

大數(shù)據(jù)需要學(xué)什么 ?

分類。分類是找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到某個給定的類別。 ?

回歸分析?；貧w分析方法反映的是事務(wù)數(shù)據(jù)庫中屬性值在時間上的特征，產(chǎn)生一個將數(shù)據(jù)項映射到一個實值預(yù)測變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問題包括數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預(yù)測以及數(shù)據(jù)間的相關(guān)關(guān)系等。

?

聚類。聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。 ?

關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫中數(shù)據(jù)項之間所存在的關(guān)系的規(guī)則，即根據(jù)一個事務(wù)中某些項的出現(xiàn)可導(dǎo)出另一些項在同一事務(wù)中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。 ?

Mahout(數(shù)據(jù)挖掘算法庫) ?

Mahout起源于2008年，最初是Apache Lucent的子項目，它在極短的時間內(nèi)取得了長足的發(fā)展，現(xiàn)在是Apache的頂級項目。 ?

Mahout的主要目標(biāo)是創(chuàng)建一些可擴展的機器學(xué)習(xí)領(lǐng)域經(jīng)典算法的實現(xiàn)，旨在幫助開發(fā)人員更加方便快捷地創(chuàng)建智能應(yīng)用程序。 ?

Mahout現(xiàn)在已經(jīng)包含了聚類、分類、推薦引擎(協(xié)同過濾)和頻繁集挖掘等廣泛使用的數(shù)據(jù)挖掘方法。 ?

除了算法，Mahout還包含數(shù)據(jù)的輸入/輸出工具、與其他存儲系統(tǒng)(如數(shù)據(jù)庫、MongoDB 或Cassandra)集成等數(shù)據(jù)挖掘支持架構(gòu)。 ?

10、Oozie(工作流調(diào)度器) ?

Oozie是一個可擴展的工作體系，集成于Hadoop的堆棧，用于協(xié)調(diào)多個MapReduce作業(yè)的執(zhí)行。它能夠管理一個復(fù)雜的系統(tǒng)，基于外部事件來執(zhí)行，外部事件包括數(shù)據(jù)的定時和數(shù)據(jù)的出現(xiàn)。 ?

Oozie工作流是放置在控制依賴DAG(有向無環(huán)圖 Direct Acyclic Graph)中的一組動作(例如，Hadoop的Map/Reduce作業(yè)、Pig作業(yè)等)，其中指定了動作執(zhí)行的順序。 ?

Oozie使用hPDL(一種XML流程定義語言)來描述這個圖。 ?

11、 Yarn(分布式資源管理器) ?

YARN是下一代MapReduce，即MRv2，是在*代MapReduce基礎(chǔ)上演變而來的，主要是為了解決原始Hadoop擴展性較差，不支持多計算框架而提出的。 ?

Yarn是下一代 Hadoop 計算平臺，yarn是一個通用的運行時框架，用戶可以編寫自己的計算框架，在該運行環(huán)境中運行。 ?

用于自己編寫的框架作為客戶端的一個lib，在運用提交作業(yè)時打包即可。該框架為提供了以下幾個組件： ?

- 資源管理：包括應(yīng)用程序管理和機器資源管理 ?

- 資源雙層調(diào)度 ?

- 容錯性：各個組件均有考慮容錯性 ?

- 擴展性：可擴展到上萬個節(jié)點 ?