MapReduce的厲害之處在于高效完整地處理大數(shù)據(jù)。這是只有MapReduce架構(gòu)才能完成的事情!等待讓我們荒老，但是速度讓我們更有價(jià)值!本節(jié)介紹的是Hadoop中利器之一MapReduce的工作機(jī)制，我們正在進(jìn)入大數(shù)據(jù)計(jì)算的核心區(qū)域。以下是小編為你整理的大數(shù)據(jù)應(yīng)該怎么學(xué)習(xí) ?

MapReduce工作機(jī)制 ?

MapReduce的主體是兩個(gè)函數(shù)Map()和Reduce()，Map負(fù)責(zé)清洗數(shù)據(jù)，Reduce負(fù)責(zé)數(shù)據(jù)分析并輸出最終結(jié)果，而且這兩個(gè)功能之間并非一對(duì)一的關(guān)系，可以根據(jù)具體業(yè)務(wù)選擇匹配關(guān)系。 ?

Map函數(shù) ?

輸入：鍵值關(guān)系的數(shù)據(jù)隊(duì)列，鍵是每段內(nèi)容開(kāi)頭的偏移量。 ?

處理：從輸入中抽取出自定義的關(guān)鍵字段。這個(gè)處理過(guò)程可以很簡(jiǎn)單，也可以很復(fù)雜。 ?

輸出：鍵值關(guān)系的數(shù)據(jù)隊(duì)列，通常是保存在硬盤上，而不是HDFS中。因?yàn)檫@個(gè)數(shù)據(jù)集只是個(gè)中間過(guò)程，計(jì)算結(jié)束時(shí)需要被刪除。

Reduce函數(shù) ?

輸入：Map的輸出結(jié)果經(jīng)過(guò)MapReduce框架處理之后分發(fā)給Reduce函數(shù)，因?yàn)橥ǔＲ粋€(gè)Reduce函數(shù)需要拿到完整的數(shù)據(jù)集之后才能開(kāi)始分析。 ?

處理：這一步的分析處理將是最為艱難和富有價(jià)值的環(huán)節(jié)。根據(jù)不同業(yè)務(wù)指標(biāo)定義處理函數(shù)。 ?

輸出：輸出自定義的格式文件，并且保存在HDFS上。 ?

Combiner函數(shù) ?

輸入：Map的輸出結(jié)果未經(jīng)過(guò)MapReduce框架處理之后直接傳送給Combiner函數(shù)。 ?

處理：Combiner函數(shù)著手做合并歸類和排序等處理，經(jīng)過(guò)處理之后，數(shù)據(jù)集大大縮小。 ?

輸出：這時(shí)的輸出結(jié)果才傳送給MapReduce架構(gòu)處理中心。 ?

解決問(wèn)題：減少帶寬傳輸壓力! ?

大數(shù)據(jù)的用途 ?

淘寶店 ?

假如我們開(kāi)了一個(gè)淘寶的的話，我們就可以從淘寶里面的數(shù)據(jù)魔方這個(gè)運(yùn)用里面獲取大量的數(shù)據(jù)，這些數(shù)據(jù)我們需要好好分析，利用好了，我們就可以創(chuàng)造價(jià)值。 ?

微信公眾號(hào) ?

利用微信公眾號(hào)，我們也能夠獲得很多的大數(shù)據(jù)，我們投放廣告，每天有每天的數(shù)據(jù)統(tǒng)計(jì)，每月有每月的數(shù)據(jù)統(tǒng)計(jì)，這些都是大數(shù)據(jù)時(shí)代下的小數(shù)據(jù)，我們要好好利用。 ?

百度推廣 ?

我們利用百度推廣來(lái)進(jìn)行廣告投放，這也是獲取大數(shù)據(jù)的一種方式，利用百度推廣來(lái)獲取我們需要的各種大數(shù)據(jù)，不過(guò)，這需要我們先進(jìn)行前期的投入。 ?

智匯推 ?

智匯推是騰訊旗下的一款商業(yè)的廣告產(chǎn)品，我們也能夠通過(guò)我們自己的廣告模式來(lái)獲取我們需要的*化的數(shù)據(jù)，和其他的推廣方式一樣，這里也有每天的數(shù)據(jù)分析，我們同樣可以獲得大數(shù)據(jù)。 ?

頭條號(hào) ?

還有就是現(xiàn)在比較火的頭條了，我們利用頭條來(lái)進(jìn)行我們自己公司的廣告推廣，從而獲得我們需要的一些數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)，進(jìn)行分析，得出結(jié)論，進(jìn)而進(jìn)行合理的投放，獲得利益。 ?

微博 ?

微博也是一種獲得大數(shù)據(jù)的推廣方式之一，我們可以通過(guò)微博來(lái)進(jìn)行企業(yè)的活動(dòng)推廣，進(jìn)而從每日、每月的數(shù)據(jù)中獲得我們需要的信息，讓我們的推廣模式進(jìn)行改變，為企業(yè)節(jié)約成本，為企業(yè)帶來(lái)收益。 ?

大數(shù)據(jù)學(xué)習(xí)階段 ?

*階段：大數(shù)據(jù)前沿知識(shí)及hadoop入門，大數(shù)據(jù)前言知識(shí)的介紹，課程的介紹，Linux和unbuntu系統(tǒng)基礎(chǔ)，hadoop的單機(jī)和偽分布模式的安裝配置。 ?

第二階段：hadoop部署進(jìn)階。Hadoop集群模式搭建，hadoop分布式文件系統(tǒng)HDFS深入剖析。使用HDFS提供的api進(jìn)行HDFS文件操作。Mapreduce概念及思想。 ?

第三階段：大數(shù)據(jù)導(dǎo)入與存儲(chǔ)。mysql數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)，hive的基本語(yǔ)法。hive的架構(gòu)及設(shè)計(jì)原理。hive部署安裝與案例。sqoop安裝及使用。sqoop組件導(dǎo)入到hive。

?

第四階段：Hbase理論與實(shí)戰(zhàn)。Hbase簡(jiǎn)介。安裝與配置。hbase的數(shù)據(jù)存儲(chǔ)。項(xiàng)目實(shí)戰(zhàn)。 ?

第五階段：Spaer配置及使用場(chǎng)景。scala基本語(yǔ)法。spark介紹及發(fā)展歷史，spark stant a lone模式部署。sparkRDD詳解。 ?

第六階段：spark大數(shù)據(jù)分析原理。spark內(nèi)核，基本定義，spark任務(wù)調(diào)度。sparkstreaming實(shí)時(shí)流計(jì)算。sparkmllib機(jī)器學(xué)習(xí)。sparksql查詢。 ?

第七階段：hadoop+spark大數(shù)據(jù)分析。實(shí)戰(zhàn)案例深入解析。hadoop+spark的大數(shù)據(jù)分析之分類。logistic回歸與主題推薦。 ?

OODA原型 ?

概而論之，OODA指的是在充分觀察了解你和對(duì)手的環(huán)境的前提下，模擬對(duì)手在特定環(huán)境下的行為，進(jìn)而做出一系列的對(duì)策，并且快速響應(yīng)執(zhí)行!之后又迅速收集反饋信息，進(jìn)入下一個(gè)OODA循環(huán)決策。 ?

觀察: ?

指的是通過(guò)多角度了解你與對(duì)手目前的真實(shí)處境。要做的事情就是盡可能全面地收集過(guò)去和現(xiàn)在的信息。以求足夠了解對(duì)手正在所使用的策略和戰(zhàn)術(shù)。 ?

調(diào)整： ?

利用觀察到的信息來(lái)感知和分析對(duì)手，并且根據(jù)對(duì)手的歷史信息模擬其后續(xù)的決策行為，對(duì)目前自己的行為作出*的調(diào)整建議。這一步驟也最為關(guān)鍵! ?

決策： ?

根據(jù)自己的現(xiàn)狀，從多種調(diào)整方案中篩選權(quán)衡出最行之有效的執(zhí)行方案。這一步其實(shí)依賴對(duì)己方所有大小情況的掌握。勝利屬于作出正確決策的一方! ?

執(zhí)行： ?

這個(gè)毋庸置疑，沒(méi)有執(zhí)行的方案就是一紙空文。這與平時(shí)訓(xùn)練養(yǎng)成的素質(zhì)有關(guān)。*俗語(yǔ)說(shuō)，“養(yǎng)兵千日，用兵一時(shí)?！边@個(gè)時(shí)候就是生死存亡見(jiàn)分曉的時(shí)候了。同時(shí)也是在校驗(yàn)決策的正確性! ?