Spark能代替Hadoop嗎？從目前的發(fā)展來(lái)看，spark并不能完全取代Hadoop。我們知道Hadoop由三個(gè)組件組成：yarn、HDFS和MapReduce，它們分別解決了yarn、HDFS和M

Spark能代替Hadoop嗎？

從目前的發(fā)展來(lái)看，spark并不能完全取代Hadoop。

我們知道Hadoop由三個(gè)組件組成：yarn、HDFS和MapReduce，它們分別解決了yarn、HDFS和MapReduce三個(gè)問(wèn)題。但是spark只能解決分布式計(jì)算的問(wèn)題。與MapReduce需要頻繁寫(xiě)入磁盤(pán)不同，spark重用內(nèi)存，大大提高了計(jì)算效率。在分布式計(jì)算中，spark有可能取代MapReduce，但在資源調(diào)度和分布式存儲(chǔ)中，spark是不可撼動(dòng)的。

！：java基金會(huì)——大數(shù)據(jù)基金會(huì)（Linux系統(tǒng)管理，shell編程，Maven等）——Hadoop-Strum——Skad算法！一般來(lái)說(shuō)，大數(shù)據(jù)的學(xué)習(xí)時(shí)間比學(xué)習(xí)java的時(shí)間短。大數(shù)據(jù)課程，包括大數(shù)據(jù)技術(shù)概論、海量數(shù)據(jù)高級(jí)分析語(yǔ)言、海量數(shù)據(jù)存儲(chǔ)、分布式存儲(chǔ)、海量數(shù)據(jù)分析、分布式計(jì)算、Linux、Hadoop、Scala、HBase、hive、spark等專(zhuān)業(yè)課程。如果你想完全學(xué)習(xí)大數(shù)據(jù)，這些課程是必不可少的。加米古大數(shù)據(jù)培訓(xùn)線下小班教學(xué)，大數(shù)據(jù)發(fā)展零基礎(chǔ)課預(yù)測(cè)6月https://www.toutiao.com/i6684880291628057099/

學(xué)習(xí)spark和storm之前有必要學(xué)習(xí)hadoop嗎？

Spark是一個(gè)基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定數(shù)據(jù)集的應(yīng)用程序。例如PageRank、K-means等算法非常適合內(nèi)存迭代計(jì)算。spark的整個(gè)生態(tài)系統(tǒng)正在逐步改善。Graphx、sparksql、sparkstreaming、mllib，當(dāng)spark擁有自己的數(shù)據(jù)倉(cāng)庫(kù)時(shí)，它將完全可以與Hadoop生態(tài)系統(tǒng)相媲美。