hive和mapreduce的區(qū)別，各自優(yōu)勢(shì)？hive是Hadoop的一個(gè)組件，以及數(shù)據(jù)廠庫(kù)，hive的數(shù)據(jù)是存儲(chǔ)在Hadoop的文件系統(tǒng)中的，hive為Hadoop需要提供SQL語(yǔ)句，是Hadoop

hive和mapreduce的區(qū)別，各自優(yōu)勢(shì)？

hive是Hadoop的一個(gè)組件，以及數(shù)據(jù)廠庫(kù)，hive的數(shù)據(jù)是存儲(chǔ)在Hadoop的文件系統(tǒng)中的，hive為Hadoop需要提供SQL語(yǔ)句，是Hadoop可以不是從SQL語(yǔ)句操作文件系統(tǒng)中的數(shù)據(jù)。hive是依賴性太強(qiáng)Hadoop而修真者的存在的。

mapreduce的全稱？

MapReduce是一種編程模型，應(yīng)用于如此大規(guī)模數(shù)據(jù)集（大于11TB）的并行運(yùn)算結(jié)果。概念

mapreduce最小處理單位是多少？

Task分成三類MapTask和ReduceTask兩種，均由TaskTracker啟動(dòng)時(shí)。HDFS以block塊存儲(chǔ)數(shù)據(jù)，mapreduce處理的大于數(shù)據(jù)單位為split。

mapreduce功能？

Mapreduce是種編程模型，結(jié)合了概念#34Map（映射）#34和#34Reduce（歸約）#34，主要是用于大規(guī)模行動(dòng)數(shù)據(jù)集（大于1TB）的并行乘除運(yùn)算。

它更大地方便啊了編程人員在應(yīng)該不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

MapReduce基于了200以內(nèi)4大主要功能：1）數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度系統(tǒng)自動(dòng)啟動(dòng)將一個(gè)作業(yè)（Job）待一次性處理的大數(shù)據(jù)再劃分為很多個(gè)數(shù)據(jù)塊，每個(gè)數(shù)據(jù)塊隨機(jī)于一個(gè)換算任務(wù)（Task），并手動(dòng)調(diào)度計(jì)算節(jié)點(diǎn)來(lái)去處理相應(yīng)的數(shù)據(jù)塊。作業(yè)和任務(wù)調(diào)度功能通常全權(quán)負(fù)責(zé)分配和調(diào)度換算節(jié)點(diǎn)（Map節(jié)點(diǎn)或Reduce節(jié)點(diǎn)），而全權(quán)負(fù)責(zé)監(jiān)控這些節(jié)點(diǎn)的執(zhí)行狀態(tài)，并負(fù)責(zé)Map節(jié)點(diǎn)執(zhí)行的離線控制。

sparksql為什么比hive處理速度快？

Spark為么快呢？

永久消除了冗余的HDFS讀寫(xiě)

Hadoop有時(shí)候merge操作后，前提是寫(xiě)的磁盤(pán)，而Spark在shuffle后不一定落盤(pán)，可以cache到內(nèi)存中，以便迭代時(shí)不使用。假如操作繁瑣，很多的shufle你操作，那么Hadoop的讀寫(xiě)IO時(shí)間會(huì)大家增強(qiáng)。、

永久消除了冗余的MapReduce階段

Hadoop的shuffle操作當(dāng)然連帶求下載的MapReduce你操作，冗余設(shè)計(jì)冗雜。而Spark基于組件RDD提供給了十分豐富的算子操作，且action操作出現(xiàn)shuffle數(shù)據(jù)，也可以緩存在內(nèi)存中。

JVM的優(yōu)化

Hadoop有時(shí)候MapReduce你操作，啟動(dòng)一個(gè)Task便會(huì)起動(dòng)兩次JVM，基于組件進(jìn)程的操作。而Spark有時(shí)候MapReduce操作是設(shè)計(jì)和實(shí)現(xiàn)線程的，只在啟動(dòng)Executor時(shí)起動(dòng)一次JVM，內(nèi)存的Task操作是在線程并行操作的。

每次來(lái)起動(dòng)JVM的時(shí)間可能會(huì)就不需要兩秒甚至于十幾秒，這樣當(dāng)Task多了，這個(gè)時(shí)間Hadoop不知道比Spark慢了多少。

總結(jié)：Spark比Mapreduce運(yùn)行速度更快，主要相成于其對(duì)mapreduce不能操作的優(yōu)化包括對(duì)JVM不使用的優(yōu)化。