虛擬機(jī)安裝hadoop詳細(xì)步驟 OpenStack和Hadoop的區(qū)別是什么?
OpenStack和Hadoop的區(qū)別是什么?openstack是一個(gè)開(kāi)源的云計(jì)算框架,而Hadoop是一個(gè)開(kāi)源的大數(shù)據(jù)框架,二者的各有側(cè)重。雖說(shuō)云計(jì)算和大數(shù)據(jù)有一些連在一起的部分,但主要內(nèi)容還是有區(qū)
OpenStack和Hadoop的區(qū)別是什么?
openstack是一個(gè)開(kāi)源的云計(jì)算框架,而Hadoop是一個(gè)開(kāi)源的大數(shù)據(jù)框架,二者的各有側(cè)重。雖說(shuō)云計(jì)算和大數(shù)據(jù)有一些連在一起的部分,但主要內(nèi)容還是有區(qū)別的,云計(jì)算是在云平臺(tái)上可以提供存儲(chǔ)和計(jì)算資源,而以Hadoop為模型的大數(shù)據(jù)是提供了一種分布式的存儲(chǔ)(HDFS)和計(jì)算模型(Map/Reduce),這個(gè)可以自己可以使用多臺(tái)計(jì)算機(jī)搭建中Hadoop平臺(tái),也可以在一臺(tái)計(jì)算機(jī)上通過(guò)虛擬機(jī)堆建Hadoop平臺(tái),甚至于這個(gè)可以在云平臺(tái)上堆建Hadoop平臺(tái)。
學(xué)習(xí)大數(shù)據(jù)Hadoop需要哪些基礎(chǔ)?
Hadoop是目前被廣泛的建議使用的大數(shù)據(jù)平臺(tái),Hadoop平臺(tái)要注意有HadoopCommon、HDFS、Hadoop Yarn、HadoopMapReduce和HadoopOzone。
Hadoop平臺(tái)目前被行業(yè)不使用二十年,有比較完備的生態(tài)和大量的應(yīng)用案例,同樣的Hadoop對(duì)硬件的要求比較低,非常比較適合初學(xué)者如何自學(xué)。目前很多商用大數(shù)據(jù)平臺(tái)確實(shí)是基于條件Hadoop構(gòu)建的,所以Hadoop是大數(shù)據(jù)開(kāi)發(fā)的一個(gè)最重要內(nèi)容。
學(xué)習(xí)Hadoop開(kāi)發(fā)必須有三個(gè)基礎(chǔ)知識(shí),下面并且共有可以介紹:
第一:Linux操作系統(tǒng)知識(shí)。通常情況下,Hadoop平臺(tái)是構(gòu)建在Linux系統(tǒng)之上的,所以我怎么學(xué)習(xí)Hadoop必須要自學(xué)Linux操作系統(tǒng)的使用。目前也很流行的Linux操作系統(tǒng)以及CentOS和Ubuntu,這兩個(gè)Linux系列操作系統(tǒng)有越來(lái)越廣泛的應(yīng)用場(chǎng)景。去學(xué)習(xí)Linux根本不急切,通常情況下可以在虛擬機(jī)上能完成,很多初學(xué)者都是在虛擬機(jī)上堆建一個(gè)偽分布式集群,后再完成Hadoop實(shí)驗(yàn)。
第二:編程語(yǔ)言。目前在Hadoop平臺(tái)下多常規(guī)Java和Python來(lái)成功程序的匯編語(yǔ)言,導(dǎo)致Hadoop本身是按結(jié)構(gòu)Java語(yǔ)言編寫(xiě)的,因?yàn)樵贖adoop平臺(tái)下采用Java語(yǔ)言是比較方便些的選擇,Hadoop的官方demo一般說(shuō)來(lái)又是采用Java語(yǔ)言利用的。Python語(yǔ)言的原因比較比較簡(jiǎn)單,同樣Python有十分豐富的庫(kù)也可以建議使用,因?yàn)槟壳笆褂肞ython能完成Hadoop平臺(tái)的開(kāi)發(fā)都是一個(gè)比較比較較常見(jiàn)的選擇。同時(shí),在Spark平臺(tái)下Scala也有廣泛的的應(yīng)用。
第三:算法。大數(shù)據(jù)的核心是數(shù)據(jù)價(jià)值化的過(guò)程,而算法設(shè)計(jì)則是數(shù)據(jù)價(jià)值化的基礎(chǔ)。所以,大數(shù)據(jù)平臺(tái)的開(kāi)發(fā)離不開(kāi)算法,要想學(xué)習(xí)Hadoop開(kāi)發(fā)一定得有另一個(gè)功底扎實(shí)的算法基礎(chǔ)。
Hadoop平臺(tái)自身有非常十分豐富的開(kāi)發(fā)組件,所以才去學(xué)習(xí)Hadoop的過(guò)程我還是都很艱辛的旅程的,的原因大數(shù)據(jù)開(kāi)發(fā)有較強(qiáng)的場(chǎng)景特征,所以建議生克制化具體詳細(xì)的場(chǎng)景來(lái)能完成Hadoop平臺(tái)的學(xué)習(xí)。
大數(shù)據(jù)是我的主要研究方向之一,目前我也在帶大數(shù)據(jù)方向的研究生,我會(huì)先后在頭條寫(xiě)一些關(guān)於大數(shù)據(jù)方面的文章,很有興趣朋友可以關(guān)注我,完全相信是有會(huì)收獲不小。
如果有大數(shù)據(jù)方面的問(wèn)題,也可以咨詢(xún)一我。
謝謝了!