數(shù)據(jù)存儲(chǔ) 下面哪個(gè)程序負(fù)責(zé)hdfs數(shù)據(jù)存儲(chǔ)?
下面哪個(gè)程序負(fù)責(zé)hdfs數(shù)據(jù)存儲(chǔ)?負(fù)責(zé)“HDFS”和“數(shù)據(jù)存儲(chǔ)”的程序是HDFS。Hadoop分布式文件系統(tǒng)(HDFS)是一種適合在普通硬件上運(yùn)行的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)
下面哪個(gè)程序負(fù)責(zé)hdfs數(shù)據(jù)存儲(chǔ)?
負(fù)責(zé)“HDFS”和“數(shù)據(jù)存儲(chǔ)”的程序是HDFS。Hadoop分布式文件系統(tǒng)(HDFS)是一種適合在普通硬件上運(yùn)行的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí),它又不同于其他分布式文件系統(tǒng)。HDFS是一個(gè)高度容錯(cuò)的系統(tǒng),適合部署在廉價(jià)機(jī)器上。在HDFS上運(yùn)行的程序有很多數(shù)據(jù)集。典型的HDFS文件大小是GB到TB。因此,HDFS被調(diào)整為支持大文件。它應(yīng)該提供高聚合數(shù)據(jù)帶寬。一個(gè)集群應(yīng)該支持?jǐn)?shù)百個(gè)節(jié)點(diǎn),一個(gè)集群還應(yīng)該支持?jǐn)?shù)千萬(wàn)個(gè)文件。大多數(shù)HDFS程序需要寫一次,讀很多次。一旦創(chuàng)建、寫入和關(guān)閉了文件,就不需要對(duì)其進(jìn)行修改。這種假設(shè)簡(jiǎn)化了數(shù)據(jù)一致性問(wèn)題,使高吞吐量數(shù)據(jù)訪問(wèn)成為可能。一個(gè)map-reduce程序或一個(gè)web爬蟲程序可以很好地適應(yīng)這個(gè)模型。
Hadoop的HDFS是不是云存儲(chǔ)?
HDFS是Hadoop分布式文件系統(tǒng)的縮寫,也是Hadoop的分布式文件系統(tǒng)。它適用于存儲(chǔ)大文件,一次寫入,多次讀取。而且每個(gè)作業(yè)都要讀取大部分的數(shù)據(jù),它可以建立在普通的商業(yè)集群上。HDFS有一個(gè)良好的容錯(cuò)機(jī)制,盡管它會(huì)經(jīng)常停機(jī)。Hadoop中的存儲(chǔ)文件以HDFS的形式存儲(chǔ)。HDFS有自己的設(shè)計(jì)原則。文件大小以塊的形式存儲(chǔ),每個(gè)塊分配給三個(gè)數(shù)據(jù)節(jié)點(diǎn)(取決于集群)。通過(guò)復(fù)制機(jī)制提高了系統(tǒng)的可靠性和吞吐量。hadoop1.0使用一個(gè)主節(jié)點(diǎn)(namenode)來(lái)協(xié)調(diào)存儲(chǔ)元數(shù)據(jù)。最有趣的是,Hadoop設(shè)計(jì)者沒(méi)有設(shè)置客戶端緩存機(jī)制,這可能是因?yàn)閷?duì)處理數(shù)據(jù)有足夠的信心