Spark能代替Hadoop嗎？根據(jù)現(xiàn)有的發(fā)展，目前spark還不能完全代替Hadoop。我們知道Hadoop包含三個組件yarn，hdfs，MapReduce，分別對應解決三個方面的問題，資源調度(

Spark能代替Hadoop嗎？

根據(jù)現(xiàn)有的發(fā)展，目前spark還不能完全代替Hadoop。

我們知道Hadoop包含三個組件yarn，hdfs，MapReduce，分別對應解決三個方面的問題，資源調度(yarn)，分布式存儲(hdfs)，分布式計算(mapreudce)。而spark只解決了分布式計算方面的問題，跟MapReduce需要頻繁寫磁盤不同，spark重復利用內存，大大提高了計算效率，在分布式計算方面spark大有取代MapReduce之勢，而在資源調度，和分布式存儲方面spark還無法撼動。

在hadoop和spark之間如何取舍？

一般來說，主流業(yè)界大數(shù)據(jù)技術Hadoop和Spark都會用到，在學習的時候，兩個體系都會學習，先學習Hadoop，在學Spark。

Hadoop：

Apache開源組織的一個分布式基礎框架，提供了一個分布式文件系統(tǒng)(HDFS)、分布式計算（MapReduce）及統(tǒng)一資源管理框架（YARN）的軟件架構。用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。

Spark：

專為大規(guī)模數(shù)據(jù)處理而設計的快速通用的計算引擎。用來構建大型的、低延遲的數(shù)據(jù)分析應用程序?？捎盟鼇硗瓿筛鞣N各樣的運算，包括 SQL 查詢、文本處理、機器學習等。

相關：Spark能代替Hadoop嗎？

https://www.toutiao.com/i6540156962573648397/