HDFS能夠存儲哪幾種文件格式？看你保存什么視頻，超過100兆的大文件可以考慮HDFS。對于大量100KB或幾MB的小文件，例如，如果您保存原始HLS格式，元數(shù)據(jù)壓力太大，HDFS不適合，TFs不支持

HDFS能夠存儲哪幾種文件格式？

看你保存什么視頻，超過100兆的大文件可以考慮HDFS。對于大量100KB或幾MB的小文件，例如，如果您保存原始HLS格式，元數(shù)據(jù)壓力太大，HDFS不適合，TFs不支持指定文件名（保存時它會為您分配一個），您可能需要自己維護文件命名空間。另一個選項是一致散列、CEPH或swift。CEPH是用C語言開發(fā)的，很難維護。Swift是用Python編寫的，openstack的Python代碼也非常風(fēng)騷。一般來說，小文件的開源解決方案對于基于TFs的二次開發(fā)是比較可靠的。此外，如果要構(gòu)建流媒體服務(wù)，還需要考慮流媒體服務(wù)器和存儲之間的連接。當(dāng)然，HLS是最方便的。對于MP4，一些服務(wù)器軟件或nginx插件只支持訪問本地文件。是否可以優(yōu)雅地裝載到本地文件系統(tǒng)也是一個考慮因素。

hdfs為什么不適合處理大量的小文件？

在HDFS中，namenode將文件系統(tǒng)中的元數(shù)據(jù)存儲在內(nèi)存中，因此HDFS可以存儲的文件數(shù)受到namenode內(nèi)存的限制。一般來說，每個文件、目錄和數(shù)據(jù)塊的存儲信息約占150字節(jié)。根據(jù)namenode當(dāng)前的內(nèi)存配置，我們可以計算出它可以容納多少個文件。有一種誤解認(rèn)為HDFS不適合大量的小文件，因為即使非常小的文件也會占用一塊存儲空間。這是錯誤的。HDFS不同于其他文件系統(tǒng)。小于一個塊的文件不會占用一個塊。

HDFS一個數(shù)據(jù)塊能存儲多少文件？

HDFS是建立在多個計算機文件系統(tǒng)上的邏輯文件系統(tǒng)。其底層數(shù)據(jù)以數(shù)據(jù)塊的形式存儲，數(shù)據(jù)塊大小可以調(diào)整。如果將數(shù)據(jù)塊大小設(shè)置為256M，上傳一個1g文件，底層將文件分為四個塊存儲，每個塊為256M，您在HDFS上看到的是一個完整的文件，可以隨時操作，而不必注意其存儲。

下面哪個程序負(fù)責(zé)hdfs數(shù)據(jù)存儲？

負(fù)責(zé)“HDFS”和“數(shù)據(jù)存儲”的程序是HDFS。Hadoop分布式文件系統(tǒng)（HDFS）是一種適合在普通硬件上運行的分布式文件系統(tǒng)。它與現(xiàn)有的分布式文件系統(tǒng)有很多共同點。但同時，它又不同于其他分布式文件系統(tǒng)。HDFS是一個高度容錯的系統(tǒng)，適合部署在廉價機器上。在HDFS上運行的程序有很多數(shù)據(jù)集。典型的HDFS文件大小是GB到TB。因此，HDFS被調(diào)整為支持大文件。它應(yīng)該提供高聚合數(shù)據(jù)帶寬。一個集群應(yīng)該支持?jǐn)?shù)百個節(jié)點，一個集群還應(yīng)該支持?jǐn)?shù)千萬個文件。大多數(shù)HDFS程序需要寫一次，讀很多次。一旦創(chuàng)建、寫入和關(guān)閉了文件，就不需要對其進行修改。這種假設(shè)簡化了數(shù)據(jù)一致性問題，使高吞吐量數(shù)據(jù)訪問成為可能。一個map-reduce程序或一個web爬蟲程序可以很好地適應(yīng)這個模型。

Hadoop的HDFS是不是云存儲？

HDFS是Hadoop分布式文件系統(tǒng)的縮寫，也是Hadoop的分布式文件系統(tǒng)。它適用于存儲大文件，一次寫入，多次讀取。而且每個作業(yè)都要讀取大部分的數(shù)據(jù)，它可以建立在普通的商業(yè)集群上。HDFS有一個良好的容錯機制，盡管它會經(jīng)常停機。Hadoop中的存儲文件以HDFS的形式存儲。HDFS有自己的設(shè)計原則。文件大小以塊的形式存儲，每個塊分配給三個數(shù)據(jù)節(jié)點（取決于集群）。通過復(fù)制機制提高了系統(tǒng)的可靠性和吞吐量。hadoop1.0使用一個主節(jié)點（namenode）來協(xié)調(diào)存儲元數(shù)據(jù)。最有趣的是，Hadoop設(shè)計者沒有設(shè)置客戶端緩存機制，這可能是因為對處理數(shù)據(jù)有足夠的信心