hadoop和大數(shù)據(jù)的關系？和spark的關系？大數(shù)據(jù)其實是一個比較龐大和廣泛的概念，Hadoop是一個比較完整的大數(shù)據(jù)處理的批量數(shù)據(jù)存儲、計算和分析框架。Spark可以理解為一個內存計算框架?，F(xiàn)在很

hadoop和大數(shù)據(jù)的關系？和spark的關系？

大數(shù)據(jù)其實是一個比較龐大和廣泛的概念，Hadoop是一個比較完整的大數(shù)據(jù)處理的批量數(shù)據(jù)存儲、計算和分析框架。Spark可以理解為一個內存計算框架?，F(xiàn)在很多主流的大數(shù)據(jù)平臺都是在Hadoop的基礎上進行優(yōu)化和再開發(fā)的，spark一般都集成到Hadoop中進行流數(shù)據(jù)處理spark streaming

一定要在Hadoop集群上。它的數(shù)據(jù)源是HDFS，本質上是一個基于yarn的計算框架，就像先生一樣

一般來說，主流行業(yè)的大數(shù)據(jù)技術Hadoop和spark都會用到。學習時，兩個系統(tǒng)都會學習，先學習Hadoop，再學習spark。

Apache開源組織的分布式基礎設施提供了分布式文件系統(tǒng)（HDFS）、分布式計算（MapReduce）和統(tǒng)一資源管理框架（yarn）的軟件體系結構。用戶可以在不了解分布式系統(tǒng)的基本細節(jié)的情況下開發(fā)分布式程序。

為大規(guī)模數(shù)據(jù)處理設計的快速通用計算引擎。用于構建大型、低延遲的數(shù)據(jù)分析應用程序。它可以用來完成各種操作，包括SQL查詢、文本處理、機器學習等。

https://www.toutiao.com/i654015696262573648397/

Hadoop與Spark的關系，Spark集群必須依賴Hadoop嗎？

感謝您的邀請

！請看下面的圖片：

狹義的Hadoop，也就是原始版本：只有HDFS map reduce

未來會出現(xiàn)很多存儲、計算和管理框架。

如果我們比較它們，我們可以比較Hadoop map reduce和spark，因為它們是用于大數(shù)據(jù)分析的計算框架。

Spark有許多線路組件，它們更強大、更快。

在hadoop和spark之間如何取舍？

我認為您所說的Hadoop是map/reduce。主要區(qū)別如下：

1。Mr-Jobs的資源控制是通過yarn實現(xiàn)的。Spark是否可以通過紗線控制資源。但是，如果將多個組件設置在一起（例如，群集中同時存在spark計劃和HBase查詢），建議使用yarn；

2。Spark基于內存計算。計算的中間結果存儲在內存中，可以訪問行迭代計算；而Mr計算的中間結果是放到磁盤上，所以一個作業(yè)會涉及到對磁盤的重復讀寫，這也是性能不如spark的主要原因；

3。Mr的任務對應于一個容器，每次都需要花費大量的時間來啟動。一些Hadoop版本（如華為oceaninsight）性能不同，Hadoop實現(xiàn)了容器預熱（重用）功能，可能消耗較少，而spark是基于線程池的，因此資源分配會更快。