大數(shù)據(jù)處理為何選擇spark？想做大數(shù)據(jù)處理分析，該專注于學(xué)spark還是深度學(xué)習(xí)呢？Spark是一種工具，而深度學(xué)習(xí)是一種解決問題的策略。如果做大數(shù)據(jù)分析，至少要熟練使用一種工具，深入了解常用的算法

大數(shù)據(jù)處理為何選擇spark？

想做大數(shù)據(jù)處理分析，該專注于學(xué)spark還是深度學(xué)習(xí)呢？

Spark是一種工具，而深度學(xué)習(xí)是一種解決問題的策略。如果做大數(shù)據(jù)分析，至少要熟練使用一種工具，深入了解常用的算法。對于大數(shù)據(jù)分析，您不需要在代碼級別和架構(gòu)級別熟悉spark。因為它只是一個工具，你可以熟練地使用它。如果主題有很好的編程基礎(chǔ)，一個月就足夠?qū)W好SPARKSQL和SPARKML了。算法學(xué)習(xí)需要花費更多的精力。但如果受試者想學(xué)習(xí)深度學(xué)習(xí)，則不建議學(xué)習(xí)spark。由于目前常用的CNN、RNN等模型通常使用GPU代替CPU進(jìn)行計算，而spark是一種內(nèi)存計算框架，主要在CPU上完成計算，因此計算效率不如GPU高。因此，如果將深度學(xué)習(xí)用于大數(shù)據(jù)分析，則可以使用tensorflow和其他框架。

大數(shù)據(jù)里spark和hadoop的mr相比有哪些優(yōu)勢，能否用較通俗的語言解釋一下？

Spark是一個內(nèi)存計算框架，而Mr是一個離線計算框架。因此，與MR相比，spark具有更快的速度，尤其是迭代速度。當(dāng)spark用于計算時，中間結(jié)果將緩存在內(nèi)存中。當(dāng)需要再次使用時，不需要從磁盤讀取數(shù)據(jù)。Mr需要將中間結(jié)果寫入磁盤，并在再次使用時從磁盤重新讀取。磁盤I/O通常非常耗時。

除了離線計算速度更快之外，spark比Mr更適合場景，spark的流媒體模塊可以實現(xiàn)實時或近線流媒體計算。

此外，sparksql使您可以輕松地使用SQL分析數(shù)據(jù)。

學(xué)大數(shù)據(jù)必須有Java基礎(chǔ)嗎，有哪些注意事項嗎？

首先，大數(shù)據(jù)的基礎(chǔ)由數(shù)學(xué)、統(tǒng)計學(xué)和計算機(jī)三部分組成。因此，從事大數(shù)據(jù)領(lǐng)域的研發(fā)需要一個系統(tǒng)的學(xué)習(xí)過程。

在大數(shù)據(jù)的技術(shù)架構(gòu)中，編程語言是一個重要的組成部分。目前，大數(shù)據(jù)領(lǐng)域常用的編程語言有Java、python、R、Scala等，通常不同的崗位需要掌握不同的編程語言（與技術(shù)團(tuán)隊密切相關(guān)），所以學(xué)習(xí)大數(shù)據(jù)必須有編程語言的基礎(chǔ)，但不是一定要有編程語言的基礎(chǔ)，而是一定要有專業(yè)的基礎(chǔ)java基金會。無論是通過統(tǒng)計還是機(jī)器學(xué)習(xí)，Python語言通常是數(shù)據(jù)分析最流行的選擇。R語言也廣泛應(yīng)用于數(shù)據(jù)過濾、推薦系統(tǒng)等大數(shù)據(jù)應(yīng)用中。

雖然學(xué)習(xí)大數(shù)據(jù)并不一定需要掌握J(rèn)ava語言，但掌握J(rèn)ava語言對學(xué)習(xí)大數(shù)據(jù)技術(shù)具有積極意義。一方面，Hadoop平臺本身是用Java語言開發(fā)的。另一方面，Java語言具有良好的生態(tài)系統(tǒng)，在開發(fā)大數(shù)據(jù)登陸應(yīng)用方面具有一定的優(yōu)勢，而且Java語言的性能穩(wěn)定，使用Java語言的開發(fā)風(fēng)險相對較小。

學(xué)習(xí)Java語言可分為三個階段。第一階段是學(xué)習(xí)Java的基本語法，重點是理解抽象，包括封裝、繼承、多態(tài)等概念；第二階段是學(xué)習(xí)Java的分布式開發(fā)，重點是如何通過Java集成資源，包括數(shù)據(jù)庫；第三階段是學(xué)習(xí)Java的web開發(fā)，重點是理論理解web開發(fā)架構(gòu)和服務(wù)組件開發(fā)。

在學(xué)習(xí)Hadoop開發(fā)的過程中，需要掌握Hadoop平臺提供的API。通過大量的實驗，我們逐漸掌握了如何在Hadoop平臺下通過Java開發(fā)函數(shù)。