docker怎樣部署hadoop集群？Docker提供了隔離和打包Hadoop相關(guān)應(yīng)用程序的完美方法。該公司還研究了slider框架和docker如何協(xié)同工作以簡(jiǎn)化此類部署。目前，hortonwork

docker怎樣部署hadoop集群？

Docker提供了隔離和打包Hadoop相關(guān)應(yīng)用程序的完美方法。

該公司還研究了slider框架和docker如何協(xié)同工作以簡(jiǎn)化此類部署。目前，hortonworks的一個(gè)客戶正在考慮在自己的數(shù)據(jù)平臺(tái)上使用HDP來(lái)支持docker的方法。他們使用cloudbreak在云中的docker容器中部署Hadoop，并計(jì)劃將自己的數(shù)據(jù)應(yīng)用程序制作成docker映像，在yarn上運(yùn)行。此外，由于其靈活性和兼容性，許多用戶使用它在未知環(huán)境中進(jìn)行部署。

做網(wǎng)站的話，是直接買一個(gè)獨(dú)立服務(wù)器好，還是購(gòu)買一個(gè)云主機(jī)？

從你的問(wèn)題的數(shù)量級(jí)來(lái)看，你應(yīng)該從0到1制作一個(gè)小網(wǎng)站。

如果是，建議購(gòu)買虛擬機(jī)。

經(jīng)過(guò)多年的發(fā)展，虛擬機(jī)業(yè)務(wù)已經(jīng)相當(dāng)成熟，價(jià)格和配置的選擇也相當(dāng)靈活。這非常適合從0構(gòu)建網(wǎng)站的需要。早期的站點(diǎn)更多的是構(gòu)建、調(diào)試、在線試用、不斷試錯(cuò)。在這個(gè)過(guò)程中，虛擬機(jī)不需要投入太多的配置和帶寬。夠了就好了；從這個(gè)角度看，虛擬機(jī)的價(jià)格定位更靈活，性價(jià)比更高。

虛擬機(jī)由7niu、阿里云等專業(yè)供應(yīng)商提供。這些供應(yīng)商擁有成熟的監(jiān)控、服務(wù)器運(yùn)維服務(wù)。你為虛擬機(jī)支付的年費(fèi)實(shí)際上包括了這部分服務(wù)。

另外，目前的虛擬機(jī)部署具有相對(duì)自動(dòng)化的部署功能，以及完善的監(jiān)控日志等功能，可以滿足傳統(tǒng)意義上虛擬機(jī)的所有需求。

小到12306，小到一兩個(gè)人的小公司都采用虛擬機(jī)的方式來(lái)部署和運(yùn)營(yíng)自己的產(chǎn)品和網(wǎng)站。這是大勢(shì)所趨，無(wú)數(shù)的案例證明了虛擬機(jī)的靈活性、資源管理和標(biāo)準(zhǔn)化服務(wù)的優(yōu)勢(shì)。

如何為Hadoop集群選擇正確的硬件？

Hadoop是一個(gè)運(yùn)行在集群環(huán)境中的大數(shù)據(jù)框架，包括分布式存儲(chǔ)和分布式計(jì)算。

Hadoop流行的一個(gè)重要原因是它不需要很高的硬件，通常超過(guò)8g的內(nèi)存可以運(yùn)行Hadoop。許多研究Hadoop的程序員從部署偽集群開始，這表明Hadoop對(duì)硬件的要求非常低。但要想順利運(yùn)行Hadoop，其中一個(gè)關(guān)鍵點(diǎn)是增加內(nèi)存和使用超過(guò)i5cpu。

Hadoop對(duì)內(nèi)存和CPU的要求非常敏感。如果使用spark，建議內(nèi)存大于32g，否則處理速度會(huì)受到很大影響，因?yàn)閟park是基于內(nèi)存的。

Hadoop是學(xué)習(xí)階段的選擇。商業(yè)大數(shù)據(jù)平臺(tái)一般會(huì)在Hadoop的基礎(chǔ)上進(jìn)行打包，或者選擇成熟的商業(yè)大數(shù)據(jù)平臺(tái)。由于Hadoop的部署和操作維護(hù)比較麻煩，商業(yè)平臺(tái)通常比較完善，使用起來(lái)也比較方便。

三臺(tái)筆記本可以搭建hadoop集群?jiǎn)幔?/h2>

docker的核心功能之一是能夠?qū)⑷魏螒?yīng)用程序（包括Hadoop）打包到docker映像中。

本教程介紹使用docker在一臺(tái)機(jī)器上快速構(gòu)建多節(jié)點(diǎn)Hadoop群集的詳細(xì)步驟。在發(fā)現(xiàn)當(dāng)前Hadoop-on-docker項(xiàng)目中存在的問(wèn)題之后，作者開發(fā)了一個(gè)幾乎最小化的Hadoop映像