Hadoop生態(tài)系統(tǒng)及各模塊的功能？1.HDFS(Hadoop分布式文件系統(tǒng))HDFS是Hadoop生態(tài)體系中能提供分布式儲(chǔ)存支持什么的電腦系統(tǒng)，地上層的很多計(jì)算出框架(Hbase、Spark等)都依

Hadoop生態(tài)系統(tǒng)及各模塊的功能？

1.HDFS(Hadoop分布式文件系統(tǒng))

HDFS是Hadoop生態(tài)體系中能提供分布式儲(chǔ)存支持什么的電腦系統(tǒng)，地上層的很多計(jì)算出框架(Hbase、Spark等)都依賴感于HDFS存儲(chǔ)位置。

(大規(guī)模計(jì)算整體模型)離線計(jì)算出

何為離線狀態(tài)換算，總之就無(wú)關(guān)實(shí)時(shí)數(shù)據(jù)分析。

3.Yarn(分布式打開(kāi)資源管理器)

Yarn的直接出現(xiàn)通常那是為了可以解決上古時(shí)代Hadoop可擴(kuò)展性極差、不意見(jiàn)功能高效計(jì)算出三維圖的問(wèn)題很簡(jiǎn)單。

4.Spark(顯卡內(nèi)存計(jì)算)

Spark提供了電腦內(nèi)存中的分布式計(jì)算那種能力，相比現(xiàn)代的MapReduce智能分析效率更高、運(yùn)行更快。

5.HBase(分布式列讀取數(shù)據(jù)庫(kù)數(shù)據(jù))

Hbase能繼承了列儲(chǔ)存的種族特性，它的很合適需對(duì)你的數(shù)據(jù)接受必掉讀、寫能操作。其次，Hbase形成完整在HDFS之上，其內(nèi)部管理的文件徹底存儲(chǔ)在HDFS中。這使它具有水平距離冗余性和擴(kuò)展性，并支持什么Hadoopmapreduce計(jì)算機(jī)編程三維圖。

(數(shù)倉(cāng))

7.Oozie(部署流程指揮和調(diào)度器)

Oozie是個(gè)基于組件工作流引擎系統(tǒng)的指揮和調(diào)度器，它不過(guò)是兩個(gè)不運(yùn)行在JavaServlet密封容器(如Tomcat)中的Javas用戶控件應(yīng)用到，你也可以在它上有啟動(dòng)Hadoop的MapReduce和Pig等主線任務(wù)，。

8.Sqoop與Pig

9.Flume(看日志抽取其它工具)

Flume是將那些數(shù)據(jù)從才能產(chǎn)生、傳送數(shù)據(jù)、去處理并最終讀取目標(biāo)選擇路徑的二元一次方程的解抽象化為流量日志，在具體詳細(xì)的數(shù)據(jù)路由中，數(shù)據(jù)源接受在Flume中個(gè)性定制那些數(shù)據(jù)發(fā)送方，進(jìn)而支持什么積攢眾多有所不同協(xié)議書(shū)什么數(shù)據(jù)。

10.Kafka(分布式消息隊(duì)列)

Kafka是Apache內(nèi)部下的三個(gè)開(kāi)源代碼系統(tǒng)吧，它的大的種族特性應(yīng)該是是可以動(dòng)態(tài)實(shí)時(shí)的一次性處理大量你的數(shù)據(jù)以行最簡(jiǎn)形矩陣特殊產(chǎn)品需求場(chǎng)景一：諸如設(shè)計(jì)和實(shí)現(xiàn)Hadoop那個(gè)平臺(tái)的數(shù)據(jù)的分析、低時(shí)延的動(dòng)態(tài)實(shí)時(shí)系統(tǒng)吧、Storm/Spark實(shí)時(shí)數(shù)據(jù)處理處理引擎等。Kafka現(xiàn)在它已被六十多家規(guī)模很大什么公司以及多種什么類型的那些數(shù)據(jù)水管和收到消息系統(tǒng)后可以使用。

11.ZooKeeper(分布式數(shù)據(jù)協(xié)同合作.服務(wù))

簡(jiǎn)單通俗的講，ZooKeeper等同于另一個(gè)調(diào)節(jié)矛盾的建立角色，如果倆人彼此間發(fā)生了一些復(fù)雜的關(guān)系的或問(wèn)題，難以一一解決的辦法的話，而現(xiàn)在就必須ZooKeeper這些傳話筒內(nèi)中通過(guò)自行調(diào)解，而和事老自行調(diào)解的目的是站在作為第三方公正客觀的角度，參照一些規(guī)則(如道德規(guī)范宇宙的規(guī)則、法律方面宇宙的規(guī)則)，絕對(duì)客觀的對(duì)問(wèn)題任何一方做出合理不、合規(guī)化的判決。

(大數(shù)據(jù)自動(dòng)化運(yùn)維)

Ambari是另一個(gè)大數(shù)據(jù)應(yīng)用基礎(chǔ)基礎(chǔ)系統(tǒng)運(yùn)維那個(gè)平臺(tái)，它實(shí)現(xiàn)了Hadoop生態(tài)閉環(huán)眾多組件的機(jī)械自動(dòng)化作戰(zhàn)部署、管理服務(wù)工作和監(jiān)控頭故障告警，Ambari通過(guò)azkaban實(shí)現(xiàn)方法機(jī)電一體化按裝和配置一般，是從Ganglia積攢視頻監(jiān)視心胸氣量其它指標(biāo)，用Nagios實(shí)現(xiàn)方法故障警報(bào)。

學(xué)習(xí)大數(shù)據(jù)需要什么基礎(chǔ)？

大數(shù)據(jù)技術(shù)要開(kāi)發(fā)完畢基本功，比如python編程語(yǔ)言，實(shí)際編寫程序要直接抓取什么數(shù)據(jù)?？隙〞?huì)前端部分要比如說(shuō)Html，jscript，將直接抓取的數(shù)據(jù)的融合后是從尾部去可以展示。因?yàn)槲矣X(jué)著去學(xué)習(xí)一門的新高級(jí)語(yǔ)言是必須的。