hadoop與spark的區(qū)別是什么？謝謝你的邀請(qǐng)！請(qǐng)看下面的圖片：狹義的Hadoop，也就是原始版本：只有HDFS map reduce未來會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。如果我們比較它們，我們可以

hadoop與spark的區(qū)別是什么？

謝謝你的邀請(qǐng)

！請(qǐng)看下面的圖片：

狹義的Hadoop，也就是原始版本：只有HDFS map reduce

未來會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。

如果我們比較它們，我們可以比較Hadoop map reduce和spark，因?yàn)樗鼈兪怯糜诖髷?shù)據(jù)分析的計(jì)算框架。

Spark有許多線路組件，它們更強(qiáng)大、更快。

淺談Spark和Hadoop作業(yè)之間的區(qū)別？

我認(rèn)為您所說的Hadoop是map/reduce。主要區(qū)別如下：

1。Mr-Jobs的資源控制是通過yarn實(shí)現(xiàn)的。Spark是否可以通過紗線控制資源。但是，如果將多個(gè)組件設(shè)置在一起（例如，群集中同時(shí)存在spark計(jì)劃和HBase查詢），建議使用yarn；

2。Spark基于內(nèi)存計(jì)算。計(jì)算的中間結(jié)果存儲(chǔ)在內(nèi)存中，可以訪問行迭代計(jì)算；而Mr計(jì)算的中間結(jié)果是放到磁盤上，所以一個(gè)作業(yè)會(huì)涉及到對(duì)磁盤的重復(fù)讀寫，這也是性能不如spark的主要原因；

3。Mr的任務(wù)對(duì)應(yīng)于一個(gè)容器，每次都需要花費(fèi)大量的時(shí)間來啟動(dòng)。一些Hadoop版本（如華為oceaninsight）性能不同，Hadoop實(shí)現(xiàn)了容器預(yù)熱（重用）功能，可能消耗較少，而spark是基于線程池的，因此資源分配會(huì)更快。

mesos、k8s和spark之間的聯(lián)系和區(qū)別是什么？

mesos和k8s之間存在一種關(guān)系。簡(jiǎn)而言之，它們之間存在一種競(jìng)爭(zhēng)關(guān)系。它們用于容器編排，是容器技術(shù)的關(guān)鍵組件。Mesos比k8s更早問世，曾在市場(chǎng)上大受歡迎。不過，在谷歌的支持下，k8s很快超越了mesos，擊敗了docker自己的swarm。如今，k8s已成為集裝箱布局的事實(shí)標(biāo)準(zhǔn)。

Spark是大數(shù)據(jù)領(lǐng)域的軟件。它最初是作為Hadoop的競(jìng)爭(zhēng)對(duì)手出現(xiàn)的，現(xiàn)在已經(jīng)與Hadoop集成。它與mesos和k8s沒有直接關(guān)系，如果你不得不說是的話，它們都是開源軟件。

hadoop和大數(shù)據(jù)的關(guān)系？和spark的關(guān)系？

大數(shù)據(jù)實(shí)際上是一個(gè)比較龐大和廣泛的概念，Hadoop是一個(gè)比較完整的大數(shù)據(jù)處理批量數(shù)據(jù)存儲(chǔ)、計(jì)算和分析框架。Spark可以理解為一個(gè)內(nèi)存計(jì)算框架?，F(xiàn)在很多主流的大數(shù)據(jù)平臺(tái)都是在Hadoop的基礎(chǔ)上進(jìn)行優(yōu)化和再開發(fā)的，spark一般都會(huì)集成到Hadoop中進(jìn)行流式數(shù)據(jù)處理，一般來說會(huì)用到主流行業(yè)的大數(shù)據(jù)技術(shù)Hadoop和spark。學(xué)習(xí)時(shí)，兩個(gè)系統(tǒng)都會(huì)學(xué)習(xí)，先學(xué)習(xí)Hadoop，再學(xué)習(xí)spark。

Apache開源組織的分布式基礎(chǔ)設(shè)施提供了分布式文件系統(tǒng)（HDFS）、分布式計(jì)算（MapReduce）和統(tǒng)一資源管理框架（yarn）的軟件體系結(jié)構(gòu)。用戶可以在不了解分布式系統(tǒng)的基本細(xì)節(jié)的情況下開發(fā)分布式程序。

為大規(guī)模數(shù)據(jù)處理設(shè)計(jì)的快速通用計(jì)算引擎。用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。它可以用來完成各種操作，包括SQL查詢、文本處理、機(jī)器學(xué)習(xí)等。

https://www.toutiao.com/i654015696262573648397/