Hadoop是由Hadoop是Apache軟件基金會(huì)下的分布式系統(tǒng)基礎(chǔ)設(shè)施。Hadoop框架的核心設(shè)計(jì)是HDFS和網(wǎng)絡(luò)的工作架構(gòu):1.瀏覽器的作用:用戶向服務(wù)器提交請(qǐng)求，解析服務(wù)器返回的響應(yīng)。2.we

Hadoop是由

Hadoop是Apache軟件基金會(huì)下的分布式系統(tǒng)基礎(chǔ)設(shè)施。Hadoop框架的核心設(shè)計(jì)是HDFS和

網(wǎng)絡(luò)的工作架構(gòu):

1.瀏覽器的作用:用戶向服務(wù)器提交請(qǐng)求，解析服務(wù)器返回的響應(yīng)。

2.web服務(wù)器:它接受用戶 請(qǐng)求并回復(fù)它們。Windows下有IIS，Linux下有Apache和Nginx。

3.網(wǎng)絡(luò)應(yīng)用:開(kāi)發(fā)一個(gè)網(wǎng)絡(luò)應(yīng)用(博客，購(gòu)物網(wǎng)站等。)用php，jsp，asp，aspx等開(kāi)發(fā)語(yǔ)言。在服務(wù)器上運(yùn)行

4.數(shù)據(jù)庫(kù):為了存儲(chǔ)數(shù)據(jù)，數(shù)據(jù)庫(kù)有一個(gè)接口，連接數(shù)據(jù)庫(kù)的賬號(hào)密碼在應(yīng)用程序中指定。

5.中間件:比如在Linux環(huán)境下，如果要運(yùn)行一個(gè)以Apache為服務(wù)器的Java程序，就需要Tomcat環(huán)境的支持。Tomcat是一個(gè)中間件。目前Apache等服務(wù)器和中間件的區(qū)分越來(lái)越少，可以廣泛理解為Apache、IIS、Nginx、Tomcat、Jboss的統(tǒng)稱(chēng)。

主要有以下四種流行的框架。

Hadoop

Hadoop無(wú)疑是大數(shù)據(jù)領(lǐng)域的第一站。這個(gè)由Apache基金會(huì)開(kāi)發(fā)的分布式基礎(chǔ)設(shè)施有一個(gè)廣闊的生態(tài)系統(tǒng)。Hadoop提出的Map和Reduce的計(jì)算簡(jiǎn)潔優(yōu)雅，實(shí)現(xiàn)了大量的算法和組件。然而，因?yàn)镠adoop 的計(jì)算任務(wù)需要在集群的多個(gè)節(jié)點(diǎn)上多次讀寫(xiě)，在速度上會(huì)稍遜一籌，但是Hadoop s吞吐量也是其他框架無(wú)法比擬的。

暴風(fēng)雨

Storm是Twitter的一個(gè)開(kāi)源大數(shù)據(jù)框架。Hadoop有不同的批處理模式，Storm采用的是流式計(jì)算框架。但Storm與Hadoop的相似之處在于，它也提出了兩個(gè)計(jì)算角色，Spout和Bolt。舉一個(gè)通俗的例子來(lái)說(shuō)明Storm和Hadoop的區(qū)別。Hadoop類(lèi)似于水桶，而Storm類(lèi)似于水龍頭。要取水，Hadoop一桶一桶背，Storm只需要打開(kāi)水龍頭。風(fēng)暴流計(jì)算框架使用內(nèi)存，在延遲上有優(yōu)勢(shì)，但不會(huì)持久化數(shù)據(jù)。Storm對(duì)Java、Ruby、Python等語(yǔ)言都有很好的支持。

火花

Spark大數(shù)據(jù)框架作為Hadoop的升級(jí)版，是一個(gè)混合計(jì)算框架，Spark自帶實(shí)時(shí)流處理工具。Spark也可以集成Hadoop，而不是MapReduce；甚至Spark也可以單獨(dú)使用，通過(guò)分布式存儲(chǔ)系統(tǒng)(如HDFS)部署集群?；鸹?的計(jì)算速度與Storm 美國(guó)火花公司。;的速度是Hadoop的100倍左右，成本比Hadoop 美國(guó)火花公司。;的普及主要在于統(tǒng)一引擎支持的批處理、流處理、交互查詢、機(jī)器學(xué)習(xí)等常見(jiàn)場(chǎng)景。Spark聲稱(chēng)可以處理流，但主要思想是提供小批量。因?yàn)槭莾?nèi)存處理，如果處理的足夠快，可以做到低延遲。本質(zhì)上，它是一個(gè)基于內(nèi)存的批處理過(guò)程。

弗林克

Flink大數(shù)據(jù)框架也是一個(gè)混合計(jì)算框架。Fink和Spark的區(qū)別在于，F(xiàn)ink專(zhuān)注于處理流數(shù)據(jù)，F(xiàn)link的所有操作都是基于流的。