hadoop完全分布式和偽分布式有什么不同？首先回答您的問(wèn)題：Hadoop完全分布式：由三個(gè)或更多物理或虛擬機(jī)組件組成的集群。Hadoop pseudo-distributed:a node看了以上兩

hadoop完全分布式和偽分布式有什么不同？

首先回答您的問(wèn)題：

Hadoop完全分布式：由三個(gè)或更多物理或虛擬機(jī)組件組成的集群。

Hadoop pseudo-distributed:a node

看了以上兩點(diǎn)，相信大家已經(jīng)明白了“在VM中安裝更多unbuntu配置完全分布式，然后做實(shí)驗(yàn)”是完全可行的。事實(shí)上，我們通常也是這樣做的。當(dāng)然，我們可能需要您的計(jì)算機(jī)CPU和內(nèi)存來(lái)支持您的計(jì)劃。

如果您想開(kāi)發(fā)基于Hadoop的分布式應(yīng)用程序，我建議您這樣做。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建議你安裝多個(gè)虛擬機(jī)。

偽分布式的spark/mapreduce是只供用來(lái)學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想?，F(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。然后，spark學(xué)習(xí)應(yīng)該關(guān)注于理解spark-to-SQL語(yǔ)句的執(zhí)行機(jī)制。

不同的分布式框架有各自的優(yōu)勢(shì)和不同的業(yè)務(wù)場(chǎng)景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對(duì)更側(cè)重于機(jī)器學(xué)習(xí)。對(duì)于企業(yè)來(lái)說(shuō)，如果這些業(yè)務(wù)能夠在同一個(gè)集群上運(yùn)行，就可以有效地降低成本。為了讓不同的框架同時(shí)在同一個(gè)集群中運(yùn)行，最重要的問(wèn)題是如何分配資源。當(dāng)沒(méi)有紗線(xiàn)時(shí)，一個(gè)相對(duì)簡(jiǎn)單的方法是假設(shè)集群中有100臺(tái)機(jī)器。我們將50臺(tái)機(jī)器分配給spark，將其他50臺(tái)機(jī)器分配給MapReduce。這似乎沒(méi)什么問(wèn)題。不過(guò)，如果我們每天只運(yùn)行一個(gè)小時(shí)的MapReduce，其余大部分時(shí)間都在運(yùn)行spark，那么一天就有23個(gè)小時(shí)，50臺(tái)機(jī)器處于空閑狀態(tài)，而spark的機(jī)器很可能有大量作業(yè)在隊(duì)列中。這顯然不是一種非常有效的使用集群的方法。

大數(shù)據(jù)未來(lái)的發(fā)展趨勢(shì)怎么樣？

隨著IT行業(yè)的不斷發(fā)展，大數(shù)據(jù)將是未來(lái)一個(gè)重要的發(fā)展趨勢(shì)。整個(gè)IT行業(yè)將構(gòu)建基于大數(shù)據(jù)的新應(yīng)用生態(tài)。目前，大數(shù)據(jù)技術(shù)廣泛應(yīng)用于互聯(lián)網(wǎng)、政府機(jī)構(gòu)、金融行業(yè)等領(lǐng)域，此外，大數(shù)據(jù)是支撐物聯(lián)網(wǎng)發(fā)展的核心技術(shù)之一，還將與云計(jì)算、人工智能等前沿創(chuàng)新技術(shù)深度融合手術(shù)后進(jìn)行。

未來(lái)大數(shù)據(jù)的發(fā)展趨勢(shì)有以下幾個(gè)方面：

物聯(lián)網(wǎng)是通過(guò)信息傳感設(shè)備將所有物品與互聯(lián)網(wǎng)連接起來(lái)，交換信息，即物的信息，以實(shí)現(xiàn)智能識(shí)別和管理。物聯(lián)網(wǎng)產(chǎn)生大數(shù)據(jù)，有助于物聯(lián)網(wǎng)。目前，物聯(lián)網(wǎng)正支撐著社會(huì)活動(dòng)和人們生活方式的變革，被稱(chēng)為繼計(jì)算機(jī)、互聯(lián)網(wǎng)之后的第三次信息化發(fā)展浪潮。物聯(lián)網(wǎng)大數(shù)據(jù)正逐漸顯現(xiàn)出巨大的商業(yè)價(jià)值。

大數(shù)據(jù)的發(fā)展推動(dòng)著科技的發(fā)展。大數(shù)據(jù)的影響力不僅限于互聯(lián)網(wǎng)，在金融、教育、醫(yī)療等諸多領(lǐng)域也有不同程度的影響力。在人工智能研發(fā)領(lǐng)域，大數(shù)據(jù)也發(fā)揮著重要作用，特別是在機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理等領(lǐng)域。人工智能是一個(gè)可以充分利用大數(shù)據(jù)的領(lǐng)域，大數(shù)據(jù)給人工智能帶來(lái)了更多的創(chuàng)新。

大數(shù)據(jù)將改變?cè)S多行業(yè)。對(duì)企業(yè)來(lái)說(shuō)，提高核心競(jìng)爭(zhēng)力是必要的，企業(yè)信息化建設(shè)是重中之重。然而，這一施工過(guò)程并非一步到位。需要一步一步地規(guī)劃和實(shí)施。大數(shù)據(jù)平臺(tái)建設(shè)是企業(yè)整體信息化建設(shè)的重要組成部分。在構(gòu)建時(shí)，應(yīng)該先整體后局部，有一個(gè)清晰的整體架構(gòu)，這樣才能保證業(yè)務(wù)流程之間的相互操作，信息系統(tǒng)之間的合理支撐，然后逐步深化。