Maptask的個(gè)數(shù)由什么決定？一個(gè)job的map階段MapTask分頭并進(jìn)度（個(gè)數(shù)），由客戶(hù)端并提交job時(shí)的切片個(gè)數(shù)決定。在map階段讀取數(shù)據(jù)前，F(xiàn)ileInputFormat會(huì)將然后輸入文件切割

Maptask的個(gè)數(shù)由什么決定？

一個(gè)job的map階段MapTask分頭并進(jìn)度（個(gè)數(shù)），由客戶(hù)端并提交job時(shí)的切片個(gè)數(shù)決定。

在map階段讀取數(shù)據(jù)前，F(xiàn)ileInputFormat會(huì)將然后輸入文件切割空間成split。split的個(gè)數(shù)判斷了map的個(gè)數(shù)。影響不大map個(gè)數(shù)（split個(gè)數(shù)）的主要注意因素有：

1)文件的大小。當(dāng)塊（）為128m時(shí)，如果不是鍵入文件為128m，會(huì)被劃分問(wèn)題為1個(gè)split；當(dāng)塊為256m，會(huì)被劃分問(wèn)題為2個(gè)split。

2)文件的個(gè)數(shù)。FileInputFormat聽(tīng)從文件編緝split，但是只會(huì)分割大文件，即那些大小將近HDFS塊的大小的文件。如果不是HDFS中設(shè)置中為128m，而輸入輸入的目錄中文件有100個(gè)，則劃分后的split個(gè)數(shù)至多為100個(gè)。

3)splitsize的大小。分片是聽(tīng)從splitszie的大小通過(guò)切割空間的，一個(gè)split的大小在是沒(méi)有設(shè)置里的情況下，設(shè)置為＝hdfsblock的大小。但應(yīng)用程序是可以通過(guò)兩個(gè)參數(shù)來(lái)對(duì)splitsize參與調(diào)節(jié)平衡

mongodb主要用來(lái)干嘛，什么時(shí)候用，存什么樣的數(shù)據(jù)？

隨著云計(jì)算的高速發(fā)展，越來(lái)越多的應(yīng)用不需要存儲(chǔ)海量數(shù)據(jù)，因此對(duì)高并發(fā)和處理海量數(shù)據(jù)給出了更高的要求，比較傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)這對(duì)這些應(yīng)用場(chǎng)景很難行最簡(jiǎn)形矩陣應(yīng)用方法需求。

以及NoSQL數(shù)據(jù)庫(kù)之一的MongoDB數(shù)據(jù)庫(kù)都能夠完全滿(mǎn)足和可以解決在海量數(shù)據(jù)存儲(chǔ)方面的應(yīng)用，越來(lái)越多的大網(wǎng)站和企業(yè)中,選擇MongoDB不用Mysql并且存儲(chǔ)。

什么是MongoDB？MongoDB

Maptask的個(gè)數(shù)由什么決定？

是一個(gè)設(shè)計(jì)和實(shí)現(xiàn)分布式文件存儲(chǔ)的數(shù)據(jù)庫(kù)。由C語(yǔ)言編譯程序。旨在推廣為WEB應(yīng)用提供可擴(kuò)展的低功耗數(shù)據(jù)存儲(chǔ)解決方案。

MongoDB

mongodb主要用來(lái)干嘛，什么時(shí)候用，存什么樣的數(shù)據(jù)？

是一個(gè)介于關(guān)系數(shù)據(jù)庫(kù)和非關(guān)系數(shù)據(jù)庫(kù)之間的產(chǎn)品，是非關(guān)系數(shù)據(jù)庫(kù)當(dāng)能最豐富，最像關(guān)系數(shù)據(jù)庫(kù)的。Mongo大的特點(diǎn)是他接受的查詢(xún)語(yǔ)言更加強(qiáng)大無(wú)比，其語(yǔ)法好像有點(diǎn)不同于面向?qū)ο蟮牟樵?xún)語(yǔ)言，幾乎可以不實(shí)現(xiàn)帶有關(guān)系數(shù)據(jù)庫(kù)單表去查詢(xún)的絕大部分功能，但是還接受對(duì)數(shù)據(jù)建立索引。

MongoDB的主要特點(diǎn)（1）文件存儲(chǔ)格式為Bson，可以使用易于掌握和解釋的Json風(fēng)格語(yǔ)法。要比Json來(lái)說(shuō)，Bson強(qiáng)大更好的性能，通常表現(xiàn)為更快的遍歷過(guò)程速度、操作更簡(jiǎn)易、增強(qiáng)了額外的

數(shù)據(jù)類(lèi)型。

（2）模式自由，接受嵌入子文檔和數(shù)組，無(wú)需事前創(chuàng)建數(shù)據(jù)結(jié)構(gòu)，一類(lèi)逆規(guī)范化的數(shù)據(jù)模型，可以增加想提高查詢(xún)速度。

（3）代碼網(wǎng)站查詢(xún)，接受豐富的查詢(xún)表達(dá)式，建議使用Json形式的標(biāo)記，可絕不可能網(wǎng)上查詢(xún)文檔中鑲?cè)氲膶?duì)象和數(shù)組及子文檔。

（4）完整的索引支持，除了文檔內(nèi)嵌對(duì)象和數(shù)據(jù)，另外還需要提供了全文索引，MongoDB的查詢(xún)優(yōu)化器會(huì)分析可以查詢(xún)表達(dá)式，并生成沉淀另一個(gè)高效穩(wěn)定的查詢(xún)計(jì)劃。

（5）建議使用高效穩(wěn)定的二進(jìn)制數(shù)據(jù)存儲(chǔ)，更適合存儲(chǔ)位置規(guī)模大對(duì)象（如高清圖片、視頻等）。

（6）允許多種復(fù)制模式，能提供冗余度及手動(dòng)故障轉(zhuǎn)移。支持Master-Slave、ReplicaPairs/ReplicaSets、有限Master-Master模式。

（7）意見(jiàn)服務(wù)端腳本和Map/Reduce，也可以實(shí)現(xiàn)方法海量數(shù)據(jù)計(jì)算，即實(shí)現(xiàn)云計(jì)算功能。

（8）性能高、速度快。在多數(shù)場(chǎng)合，其可以查詢(xún)速度是對(duì)MySQL要快的多，這對(duì)CPU占用太小。布署很簡(jiǎn)單的，幾乎是零配置。

（9）不自動(dòng)全面處理碎片，允許手動(dòng)分片功能利用水平儲(chǔ)存的數(shù)據(jù)庫(kù)集群，可以相冊(cè)添加或移除節(jié)點(diǎn)。

（10）內(nèi)置GridFS，支持什么海量存儲(chǔ)。

（11）可實(shí)際網(wǎng)絡(luò)訪問(wèn)，采用又高效的MongoDB網(wǎng)絡(luò)協(xié)議，在性能方面要效果更優(yōu)http或Rest協(xié)議。

（12）第三方意見(jiàn)豐富，MongoDB社區(qū)重新活躍，越來(lái)越多的公司和網(wǎng)站在生產(chǎn)環(huán)境中在用MongoDB接受技術(shù)架構(gòu)優(yōu)化，而由10gen公司官方可以提供強(qiáng)橫技術(shù)支持。

MongoDB的適用場(chǎng)景MongoDB的通常目標(biāo)是在鍵/值存儲(chǔ)（提供給了低功耗和高度伸縮性）和傳統(tǒng)的RDBMS系統(tǒng)（多樣的功能）拎起一座橋梁，集兩者的優(yōu)勢(shì)于一身。

（1）網(wǎng)站數(shù)據(jù)：MongoDB更加適合我實(shí)時(shí)的再插入，更新與查詢(xún)，并具備什么網(wǎng)站實(shí)時(shí)數(shù)據(jù)存儲(chǔ)所需的復(fù)制及水平距離伸縮性。

（2）緩存：的原因性能很高，MongoDB也比較適合才是信息基礎(chǔ)設(shè)施的緩存層。在系統(tǒng)重起之后，由MongoDB堆建的持久化緩存層是可以盡量避免下層的數(shù)據(jù)源過(guò)載。

（3）大尺寸，低價(jià)值的數(shù)據(jù)：不使用比較傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)儲(chǔ)存一些數(shù)據(jù)時(shí)很有可能會(huì)也很高級(jí)貨，到目前為止，某些時(shí)候程序員來(lái)講會(huì)你選傳統(tǒng)的文件進(jìn)行存儲(chǔ)。

（4）高伸縮性的場(chǎng)景：MongoDB更加比較適合由數(shù)十或數(shù)百臺(tái)服務(wù)器混編的數(shù)據(jù)庫(kù)。MongoDB的路線圖中也包含對(duì)MapReduce

引擎的內(nèi)置支持。

（5）用于對(duì)象及JSON數(shù)據(jù)的存儲(chǔ)：MongoDB的Bson數(shù)據(jù)格式的很適合文檔化格式的存儲(chǔ)及可以查詢(xún)。

如有相同觀點(diǎn)，多謝了發(fā)表評(píng)論。要是很喜歡我的回答，熱情“你點(diǎn)贊、分享”。