spark集群和hadoop集群區(qū)別 hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?
hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?大數(shù)據(jù)其實是一個比較龐大和廣泛的概念,Hadoop是一個比較完整的大數(shù)據(jù)處理的批量數(shù)據(jù)存儲、計算和分析框架。Spark可以理解為一個內(nèi)存計算框架?,F(xiàn)在很
hadoop和大數(shù)據(jù)的關(guān)系?和spark的關(guān)系?
大數(shù)據(jù)其實是一個比較龐大和廣泛的概念,Hadoop是一個比較完整的大數(shù)據(jù)處理的批量數(shù)據(jù)存儲、計算和分析框架。Spark可以理解為一個內(nèi)存計算框架?,F(xiàn)在很多主流的大數(shù)據(jù)平臺都在Hadoop的基礎(chǔ)上進行了優(yōu)化和再開發(fā),spark一般都集成到Hadoop中進行流式數(shù)據(jù)處理謝謝您的邀請
!請看下面的圖片:
狹義的Hadoop,也就是原始版本:只有HDFS map reduce
未來會出現(xiàn)很多存儲、計算和管理框架。
如果我們比較它們,我們可以比較Hadoop map reduce和spark,因為它們是用于大數(shù)據(jù)分析的計算框架。
Spark有許多線路組件,它們更強大、更快。
hadoop與spark的區(qū)別是什么?
它必須在Hadoop群集上。它的數(shù)據(jù)源是HDFS,它本質(zhì)上是一個基于yarn的計算框架,就像Mr。