1、Java編程技術(shù)
Java編程技術(shù)是大數(shù)據(jù)學(xué)習(xí)的基礎(chǔ),主流的大數(shù)據(jù)開源框架,其編程都離不開Java。
2、Linux命令
大數(shù)據(jù)開發(fā)通常是在Linux環(huán)境下進(jìn)行的,Linux基礎(chǔ)操作命令以及Shell編程,也是大數(shù)據(jù)學(xué)習(xí)的重要組成部分。
3、大數(shù)據(jù)相關(guān)框架和組件
常用的大數(shù)據(jù)開發(fā)框架有:Hadoop、Spark、Storm、Flink等,開發(fā)框架搭建應(yīng)用架構(gòu)前需要先弄明白其原理和應(yīng)用場景,這是基本的要求。
Hadoop,已幾乎與大數(shù)據(jù)劃上了等號,超過20個(gè)生態(tài)圈組件,共同完成面向高度擴(kuò)展的分布式計(jì)算。
Spark,作為MapReduce之外的一種選擇,后來居上,成為MapReduce的替代者,受到行業(yè)主流的歡迎。
Storm,提供了實(shí)時(shí)處理大數(shù)據(jù)的功能(不像Hadoop只提供批任務(wù)處理)。其用戶包括推特、WebMD、阿里巴巴、Yelp、雅虎日本、Spotify等頭部企業(yè)。
Flink,流式處理系統(tǒng),新興熱門框架,尤其受到阿里青睞,近幾年在國內(nèi)的發(fā)展很好。