Hadoop是什么？Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎設施。用戶可以開發(fā)分布式程序，而不需要了解分布式的底層細節(jié)。充分利用集群的力量進行高速計算和存儲。Hadoop框架的核心設計是

Hadoop是什么？

Hadoop是由Apache基金會開發(fā)的分布式系統(tǒng)基礎設施。用戶可以開發(fā)分布式程序，而不需要了解分布式的底層細節(jié)。充分利用集群的力量進行高速計算和存儲。

Hadoop框架的核心設計是HDFS和MapReduce。HDFS為海量數(shù)據(jù)提供存儲，MapReduce為海量數(shù)據(jù)提供計算。

hadoop到底是什么？

Hadoop細分為兩個部分，一個是HDFS，這是一個分布式文件系統(tǒng)，包含NameNode和DataNode，用于存儲pb級的數(shù)據(jù)。它的特點是體積大，可以部署到前臺和前臺的數(shù)萬臺機器上進行存儲。另一部分是MapReduce，是一個離線數(shù)據(jù)分析的計算框架，Rarn是一個資源管理類和任務調度器，用于管理和調度程序，包括但不限于MapReduce，也可以運行Spark等。

下面是生態(tài)系統(tǒng)。hadoop生態(tài)系統(tǒng)還包括spark、flume、hbase、kakfa等等。

hadoop是一種什么技術？

Hadoop是一個軟件框架，可以分布式處理大量數(shù)據(jù)。用戶可以在Hadoop上輕松開發(fā)和運行處理海量數(shù)據(jù)的應用，充分利用集群的力量進行高速計算和存儲。

如何使用Hadoop:

構建Hadoop集群

簡單來說，把Hadoop安裝包放在每臺服務器上，更改配置后重新啟動，Hadoop集群就搭建好了。

將文件上傳到Hadoop集群

Hadoop集群設置完成后，可以通過網(wǎng)頁查看集群的情況，通過Hadoop命令上傳文件到hdfs集群，通過Hadoop命令在hdfs集群上建立目錄，通過Hadoop命令刪除集群上的文件等等。

編寫map/reduce程序

通過集成開發(fā)工具(如eclipse)導入Hadoop相關的jar包，編寫map/reduce程序，將程序扔到集群上的jar包中執(zhí)行。運行后，得到了計算結果。

hadoop生態(tài)系統(tǒng)中每個組件的角色描述：

hdfs:可以存儲海量數(shù)據(jù)的文件系統(tǒng)。

mapreduce:通過一定的算法從海量數(shù)據(jù)中計算出有用的信息。

hive:是sql語句解釋器，接收用戶輸入的sql語句，然后將sql語句翻譯成復雜的mapreduce程序，發(fā)布到mr集群運行，從而計算出有用的信息。

hbase:基于hdfs文件系統(tǒng)的數(shù)據(jù)庫。

flume:就是把一個文件中的數(shù)據(jù)提取到另一個文件中。

sqoop:將hdfs文件系統(tǒng)的文件導出到linux文件系統(tǒng)的文件。

ooize/azkaban:該組件負責協(xié)調各種任務的執(zhí)行順序。