hadoop與spark的區(qū)別是什么？謝謝邀請！請看下面這張圖：狹義的Hadoop 也就是最初的版本：只有HDFS Map Reduce后續(xù)出現(xiàn)很多存儲，計算，管理 框架。如果說比較的話就 Hadoo

hadoop與spark的區(qū)別是什么？

謝謝邀請！

請看下面這張圖：

狹義的Hadoop 也就是最初的版本：只有HDFS Map Reduce

后續(xù)出現(xiàn)很多存儲，計算，管理 框架。

如果說比較的話就 Hadoop Map Reduce 和 Spark 比較，因為他們都是大數(shù)據(jù)分析的計算框架。

Spark 有很多行組件，功能更強大，速度更快。

關(guān)注我了解更多大數(shù)據(jù)分析技能

mesos、k8s和spark之間的聯(lián)系和區(qū)別是什么？

Mesos、K8s之間有關(guān)系，簡單地說有競爭關(guān)系，都是用來進行容器編排的，是容器技術(shù)的關(guān)鍵組件。Mesos比K8s出道早，一度受到市場熱捧，不過，K8s有Google撐腰很快就蓋過了Mesos，而且戰(zhàn)勝了Docker的自己Swarm，今天K8s已經(jīng)是容器編排的事實標準了。

Spark是大數(shù)據(jù)領(lǐng)域的一款軟件，最早是作為Hadoop的競爭對手出現(xiàn)，如今已經(jīng)與Hadoop整合在一起了。它和Mesos、K8s沒有直接關(guān)系。如果非要說有，就是都是開源軟件。

MapReduce和Spark的區(qū)別是什么？

謝邀回答

首先分別來說一下兩者

MapReduce 是hadoop 的分布式運算編程框架

核心功能將用戶編寫的邏輯代碼和自帶組件整合成一個程序，并發(fā)運行在hadoop集群是上，核心組件是mrAppmaster mapTask ReduceTask

Spark是mapReduce的替代方案，兼容HDFS、Hive，可融入hadoop的生態(tài)系統(tǒng)

兩者區(qū)別

1.spark比MapReduce要快

基于內(nèi)存的運算，比MapReduce快100倍以上

基于硬盤的運算，快10倍以上

2.spark支持流式和離線兩者運算

MapReduce只支持離線運算

3.MapReduce本身沒有資源調(diào)度系統(tǒng)，必須運行在yarn等資源系統(tǒng)上

spark本身集成資源調(diào)度，以standalone方式可運行在自身的Master 和worker上，也可以運行在yarn上

篇幅有限就先介紹到這里，歡迎大家留言評論