hadoop完全分布式和偽分布式有什么不同？首先回答您的問題：Hadoop完全分布式：由三個或更多物理或虛擬機組件組成的集群。Hadoop pseudo-distributed:a node看了以上兩

hadoop完全分布式和偽分布式有什么不同？

首先回答您的問題：

Hadoop完全分布式：由三個或更多物理或虛擬機組件組成的集群。

Hadoop pseudo-distributed:a node

看了以上兩點，相信大家已經明白了“在VM中安裝更多unbuntu配置完全分布式，然后做實驗”是完全可行的。事實上，我們通常也是這樣做的。當然，我們可能需要您的計算機CPU和內存來支持您的計劃。

一個建議：如果你想開發(fā)基于Hadoop的分布式程序，那么偽分布式就足夠了。如果你想做很多其他的事情，比如玩cm、oozie和HBase，建議你安裝多個虛擬機。

什么是集群，分布式，集中式，偽分布式？

將項目集中部署到同一臺機器需要高性能的機器。通常，多臺機器用于備份。否則，如果機器崩潰，整個項目將無法運行。雷格：就好像你要蓋房子，你的房子是為一個人蓋的。如果這個人生病或有事可做，沒有合適的人來代替這個人，你就不能蓋房子。R 2。分布式項目被分成幾個部分，分別在不同的機器上運行。如果您想與集中式相比，您對機器的要求會更低。R 3。集群與集中式和分布式概念完全不同。Rdistribution必須是集群，但集群不一定是分布式的（例如：集中式多機備份）。集群只是一個與機器數量相關的概念。偽分布不是真正的分布。偽分發(fā)是把多態(tài)機器的任務放在一臺機器上運行，例如：淘寶分成多個模塊后，一個模塊放在一臺機器上運行。當多臺機器同時運行時，速度很快。在一臺機器上運行時，速度慢，多個模塊不能并行處理。一個任務必須一個接一個地完成，其他任務只能等待。

什么是偽分布式？（hadoop中遇到的）？

Hadoop分為獨立模式、偽分布式模式和完全分布式模式。當你說偽分布式的時候，你的意思是：在一臺機器上，也就是說，作為一個namenode，一個datanode，或者一個job tracker，以及一個task tracker。在多臺機器上沒有真正的分布式計算，因此被稱為“偽分布式”。

偽分布式的spark/mapreduce是只供用來學習的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數據處理的基本思想。現(xiàn)在我在學習火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學習MapReduce，主要是了解任務是如何執(zhí)行的。都在網上。然后，spark學習應該關注于理解spark-to-SQL語句的執(zhí)行機制。

不同的分布式框架有各自的優(yōu)勢和不同的業(yè)務場景。MapReduce可以更好地處理大量ETL服務，而spark則相對更側重于機器學習。對于企業(yè)來說，如果這些業(yè)務能夠在同一個集群上運行，就可以有效地降低成本。為了讓不同的框架同時在同一個集群中運行，最重要的問題是如何分配資源。當沒有紗線時，一個相對簡單的方法是假設集群中有100臺機器。我們將50臺機器分配給spark，將其他50臺機器分配給MapReduce。這似乎沒什么問題。不過，如果我們每天只運行一個小時的MapReduce，其余大部分時間都在運行spark，那么一天就有23個小時，50臺機器處于空閑狀態(tài)，而spark的機器很可能有大量作業(yè)在隊列中。這顯然不是一種非常有效的使用集群的方法。