偽分布式的spark/mapreduce是只供用來學習的嗎？首先，MapReduce出現得更早。介紹了分布式大數據處理的基本思想?，F在我在學習火花。Matei zaharia的畢業(yè)論文，即spark的

偽分布式的spark/mapreduce是只供用來學習的嗎？

首先，MapReduce出現得更早。介紹了分布式大數據處理的基本思想?，F在我在學習火花。Matei zaharia的畢業(yè)論文，即spark的介紹論文，已在CSDN上翻譯成中文。

建議先學習MapReduce，主要是了解任務是如何執(zhí)行的。都在網上。我們應該關注spark的執(zhí)行機制。

不同的分布式框架有各自的優(yōu)勢和不同的業(yè)務場景。MapReduce可以更好地處理大量ETL服務，而spark則相對更側重于機器學習。對于企業(yè)來說，如果這些業(yè)務能夠在同一個集群上運行，就可以有效地降低成本。為了讓不同的框架同時在同一個集群中運行，最重要的問題是如何分配資源。當沒有紗線時，一個相對簡單的方法是假設集群中有100臺機器。我們將50臺機器分配給spark，將其他50臺機器分配給MapReduce。這似乎沒什么問題。不過，如果我們每天只運行一個小時的MapReduce，其余大部分時間都在運行spark，那么一天就有23個小時，50臺機器處于空閑狀態(tài)，而spark的機器很可能有大量作業(yè)在隊列中。這顯然不是一種非常有效的使用集群的方法。

大數據現在很火，如果想學大數據，應該去哪里培訓比較好？

現在學習大數據的人越來越多，很多學生在報名上思之前都提出了關于大數據實踐的問題，上思的咨詢老師也回答了很多問題，比如大數據培訓和學習是否可靠，如何選擇大數據培訓機構等等打開。今天，尚思將寫一篇文章來解釋大數據培訓和學習。

很多想參與大數據技術工作的人都參加過大數據培訓，但大數據培訓真的可靠嗎？現在無論是大數據培訓還是其他學習，我們都稱之為職業(yè)技能學習，這是以工作為導向的。但是，工作的標尺是看不見的，它無法量化標準，所以有大數據培訓這種專業(yè)力量培養(yǎng)的好與壞的情況，這個時候我們需要擦亮眼睛。在練習之前，我們應該考慮以下問題：

1。你需要大數據培訓嗎

首先，如果你想自學大數據技術，你必須具備自學能力。自學能力是學習it技能的必要條件。如果自學能力不夠，建議不要這樣做。自律必須很強。我們必須嚴格要求自己。我們不應該讓懶惰占便宜。我們應該有計劃地學習。

2. 大數據培訓能得到什么幫助

既然我們已經把錢花在了大數據培訓和學習上，就一定要注意投入和產出。首先要看這些錢是否比較值錢。大數據培訓機構能為我們提供什么幫助，我們能得到什么？例如，它可以為我們提供一個良好的學習環(huán)境，在學習過程中督促學習，提高學習效率，為我們提供答疑和教學，制定一套合適的學習計劃。

3. 培訓后是否能找到合適的工作

最重要的是參加大數據培訓后是否能找到合適的工作，即培訓后是否能學到滿足企業(yè)需要的大數據技術知識。

在我們考慮了以上幾點之后，我相信您已經對大數據是自學還是培訓有了一定的了解。如果你還不明白，可以請教尚硅谷老師。

2020大數據學習路線圖：