大數(shù)據(jù)里spark和hadoop的mr相比有哪些優(yōu)勢(shì)，能否用較通俗的語(yǔ)言解釋一下？Spark是一個(gè)內(nèi)存計(jì)算框架，而Mr是一個(gè)離線計(jì)算框架。因此，與MR相比，spark具有更快的速度，尤其是迭代速度。當(dāng)

大數(shù)據(jù)里spark和hadoop的mr相比有哪些優(yōu)勢(shì)，能否用較通俗的語(yǔ)言解釋一下？

Spark是一個(gè)內(nèi)存計(jì)算框架，而Mr是一個(gè)離線計(jì)算框架。因此，與MR相比，spark具有更快的速度，尤其是迭代速度。當(dāng)spark用于計(jì)算時(shí)，中間結(jié)果將緩存在內(nèi)存中。當(dāng)需要再次使用時(shí)，不需要從磁盤讀取數(shù)據(jù)。Mr需要將中間結(jié)果寫入磁盤，并在再次使用時(shí)從磁盤重新讀取。磁盤I/O通常非常耗時(shí)。

除了離線計(jì)算速度更快之外，spark比Mr更適合場(chǎng)景，spark的流媒體模塊可以實(shí)現(xiàn)實(shí)時(shí)或近線流媒體計(jì)算。

此外，sparksql使您可以輕松地使用SQL分析數(shù)據(jù)。

Storm與Spark，Hadoop相比是否有優(yōu)勢(shì)？

Hadoop是當(dāng)前大數(shù)據(jù)管理標(biāo)準(zhǔn)之一，在許多商業(yè)應(yīng)用系統(tǒng)中都有使用。它可以方便地集成結(jié)構(gòu)化、半結(jié)構(gòu)化甚至非結(jié)構(gòu)化的數(shù)據(jù)集或離線處理。批處理的應(yīng)用更為廣泛。Hive

storm是一個(gè)用于處理高速大數(shù)據(jù)流的分布式實(shí)時(shí)計(jì)算系統(tǒng)。在Hadoop中添加可靠的實(shí)時(shí)數(shù)據(jù)處理功能

spark是基于內(nèi)存的，吞吐量比storm大一點(diǎn)。而spark集成的spark SQL、mllib、graph似乎更方便

在hadoop和spark之間如何取舍？

一般來(lái)說(shuō)，會(huì)用到主流行業(yè)的大數(shù)據(jù)技術(shù)Hadoop和spark。學(xué)習(xí)時(shí)，兩個(gè)系統(tǒng)都會(huì)學(xué)習(xí)，先學(xué)習(xí)Hadoop，再學(xué)習(xí)spark。

Apache開源組織的分布式基礎(chǔ)設(shè)施提供了分布式文件系統(tǒng)（HDFS）、分布式計(jì)算（MapReduce）和統(tǒng)一資源管理框架（yarn）的軟件體系結(jié)構(gòu)。用戶可以在不了解分布式系統(tǒng)的基本細(xì)節(jié)的情況下開發(fā)分布式程序。

為大規(guī)模數(shù)據(jù)處理設(shè)計(jì)的快速通用計(jì)算引擎。用于構(gòu)建大型、低延遲的數(shù)據(jù)分析應(yīng)用程序。它可以用來(lái)完成各種操作，包括SQL查詢、文本處理、機(jī)器學(xué)習(xí)等。

https://www.toutiao.com/i654015696262573648397/

hadoop與spark的區(qū)別是什么？

感謝您的邀請(qǐng)

！請(qǐng)看下面的圖片：

狹義的Hadoop，也就是原始版本：只有HDFS map reduce

未來(lái)會(huì)出現(xiàn)很多存儲(chǔ)、計(jì)算和管理框架。

如果我們比較它們，我們可以比較Hadoop map reduce和spark，因?yàn)樗鼈兪怯糜诖髷?shù)據(jù)分析的計(jì)算框架。

Spark有許多線路組件，它們更強(qiáng)大、更快。