偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想?，F(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的

偽分布式的spark/mapreduce是只供用來學(xué)習(xí)的嗎？

首先，MapReduce出現(xiàn)得更早。介紹了分布式大數(shù)據(jù)處理的基本思想?，F(xiàn)在我在學(xué)習(xí)火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學(xué)習(xí)MapReduce，主要是了解任務(wù)是如何執(zhí)行的。都在網(wǎng)上。然后，spark學(xué)習(xí)應(yīng)該關(guān)注于理解spark-to-SQL語句的執(zhí)行機(jī)制。

不同的分布式框架有各自的優(yōu)勢(shì)和不同的業(yè)務(wù)場(chǎng)景。MapReduce可以更好地處理大量ETL服務(wù)，而spark則相對(duì)更側(cè)重于機(jī)器學(xué)習(xí)。對(duì)于企業(yè)來說，如果這些業(yè)務(wù)能夠在同一個(gè)集群上運(yùn)行，就可以有效地降低成本。為了讓不同的框架同時(shí)在同一個(gè)集群中運(yùn)行，最重要的問題是如何分配資源。當(dāng)沒有紗線時(shí)，一個(gè)相對(duì)簡(jiǎn)單的方法是假設(shè)集群中有100臺(tái)機(jī)器。我們將50臺(tái)機(jī)器分配給spark，將其他50臺(tái)機(jī)器分配給MapReduce。這似乎沒什么問題。不過，如果我們每天只運(yùn)行一個(gè)小時(shí)的MapReduce，其余大部分時(shí)間都在運(yùn)行spark，那么一天就有23個(gè)小時(shí)，50臺(tái)機(jī)器處于空閑狀態(tài)，而spark的機(jī)器很可能有大量作業(yè)在隊(duì)列中。這顯然不是一種非常有效的使用集群的方法。

MapReduce和Spark主要解決哪些方面的問題？

：MapReduce采用了“分而治之”的思想。簡(jiǎn)而言之，MapReduce就是“任務(wù)分解和結(jié)果匯總”。

.

Spark是在MapReduce的基礎(chǔ)上開發(fā)的。它具有hadoopmapreduce的優(yōu)點(diǎn)。Spark是MapReduce的替代品，與HDFS和hive兼容。它可以集成到Hadoop生態(tài)系統(tǒng)中，以彌補(bǔ)MapReduce的不足。

加米谷大數(shù)據(jù)開發(fā)培訓(xùn)，6月零基礎(chǔ)課預(yù)測(cè)，提前預(yù)測(cè)驚喜

！ https://www.toutiao.com/i6692992593413800456/