hadoop集群環(huán)境搭建實(shí)驗(yàn)?zāi)康?？通過(guò)對(duì)Hadoop模式完全安裝配置的學(xué)習(xí)，我自學(xué)和比較熟悉了一些新的指令操作，對(duì)hadoop的基本操作有了基礎(chǔ)的掌握，hadoop的環(huán)境配置原理和編譯原理的方法，在實(shí)

hadoop集群環(huán)境搭建實(shí)驗(yàn)?zāi)康模?/h2>

通過(guò)對(duì)Hadoop模式完全安裝配置的學(xué)習(xí)，我自學(xué)和比較熟悉了一些新的指令操作，對(duì)hadoop的基本操作有了基礎(chǔ)的掌握，hadoop的環(huán)境配置原理和編譯原理的方法，在實(shí)驗(yàn)過(guò)程中也遇上很多問(wèn)題，但都問(wèn)同學(xué)、問(wèn)老師、上網(wǎng)查閱資料，很多問(wèn)題都早就可以解決了，這次實(shí)驗(yàn)也為我們后面的實(shí)驗(yàn)打下基礎(chǔ)。

eclipse中如何建立Base？

將去下載的hadoop-eclipse-plugin-2.2.0.jar放在eclipse根目錄下的plugins目錄下，然后把開(kāi)啟eclipse。

配置hadooplocation。些步驟不是開(kāi)發(fā)必須，可是配置了后可在resource視圖下實(shí)際DFSlocation欄里點(diǎn)到hadoop的hdfs內(nèi)容

可以修改的新機(jī)上的hosts。如添加：

192.168.17.129master

192.168.17.128slave1

192.168.17.131slave2

開(kāi)發(fā)過(guò)程：

1、再連接到hbase。

建表。這個(gè)示例代碼是建立起三個(gè)columnfamily四個(gè)為column1、colunm2和column3

入數(shù)據(jù)。在上面去建的表基于將文件以int32[]形式存儲(chǔ)位置到hdfs中。是選項(xiàng)卡的方法，是按照流讀取數(shù)據(jù)將文件變的int32[]的過(guò)程。

刪除表。

全表去查詢

依據(jù)什么rowkey數(shù)據(jù)參與行數(shù)據(jù)查詢

依據(jù)什么某個(gè)column下的qulify進(jìn)行查詢

成組合條件可以查詢

hadoop是一種什么技術(shù)？

Hadoop是兩個(gè)能夠?qū)Υ罅繑?shù)據(jù)通過(guò)分布式如何處理的軟件框架，用戶可以不隨意在Hadoop上開(kāi)發(fā)和運(yùn)行處理海量數(shù)據(jù)的應(yīng)用程序，利用現(xiàn)有集群的威力接受出口下高速運(yùn)算和存儲(chǔ)。

怎么建議使用Hadoop：

Hadoop集群的搭建中

簡(jiǎn)單點(diǎn)點(diǎn)說(shuō)應(yīng)該是把Hadoop的安裝包放進(jìn)每一臺(tái)服務(wù)器上，改改配置再啟動(dòng)時(shí)，就結(jié)束了Hadoop集群的堆建。

上傳文件到Hadoop集群

Hadoop集群重新搭建好以后，可以不實(shí)際web頁(yè)面查找集群的情況，還這個(gè)可以按照Hadoop下命令上傳文件到hdfs集群，按照Hadoop命令在hdfs集群上確立目錄，實(shí)際Hadoop命令刪除集群上的文件等等。

編寫(xiě)map/reduce程序

按照集成主板開(kāi)發(fā)工具（.例如eclipse）文件導(dǎo)入Hadoop相關(guān)的jar包，編寫(xiě)map/reduce程序，將程序打成jar包扔在集群上想執(zhí)行，正常運(yùn)行后出計(jì)算結(jié)果。

hadoop生態(tài)圈中各個(gè)組件的作用描述：

①hdfs：一個(gè)文件系統(tǒng)，可以存儲(chǔ)海量數(shù)據(jù)。

②mapreduce：從海量數(shù)據(jù)中，是從是有的算法，算出出有用信息。

③hive：應(yīng)該是sql語(yǔ)句回答器，收不到用戶然后輸入的sql語(yǔ)句，然后把將該sql語(yǔ)句翻譯成成急切的mapreduce程序，并查找到mr集群中進(jìn)行乘法運(yùn)算，可以計(jì)算出用處不大的信息。

④hbase：是基于hdfs文件系統(tǒng)的數(shù)據(jù)庫(kù)。

⑤flume：是將數(shù)據(jù)從一個(gè)文件中抽取到另一個(gè)文件中。

⑥sqoop：將hdfs文件系統(tǒng)的文件，導(dǎo)出到linux文件系統(tǒng)的文件中。

⑦ooize/azkaban：該組件是全權(quán)負(fù)責(zé)協(xié)調(diào)各個(gè)任務(wù)的執(zhí)行順序。