大數(shù)據(jù)主要學習哪些內容？這是一個非常好的問題。作為一個IT從業(yè)者，一個教育工作者，我來回答一下。大數(shù)據(jù)經過多年的發(fā)展，已經逐漸形成了比較龐大系統(tǒng)的知識體系，整體技術成熟度已經比較高，所以學習大數(shù)據(jù)技術

大數(shù)據(jù)主要學習哪些內容？

這是一個非常好的問題。作為一個IT從業(yè)者，一個教育工作者，我來回答一下。

大數(shù)據(jù)經過多年的發(fā)展，已經逐漸形成了比較龐大系統(tǒng)的知識體系，整體技術成熟度已經比較高，所以學習大數(shù)據(jù)技術也會有比較好的學習體驗。

因為大數(shù)據(jù)涉及的內容非常多，而且大數(shù)據(jù)技術也與行業(yè)息息相關，所以在學習大數(shù)據(jù)的時候，可以從技術的角度，也可以基于行業(yè)來學習大數(shù)據(jù)。對于學生來說，可以從大數(shù)據(jù)技術體系中學習，對于職場人來說，可以結合自己的行業(yè)和工作任務學習大數(shù)據(jù)。

無論是學生還是職場人士，想要學習大數(shù)據(jù)，需要掌握以下基本內容:

第一:計算機基礎知識。學習大數(shù)據(jù)技術，計算機基礎知識非常重要，其中操作系統(tǒng)、編程語言、數(shù)據(jù)庫等知識是必須要學的。編程語言可以向Python學習，如果以后想從事專業(yè)的大數(shù)據(jù)開發(fā)，也可以向Java學習。計算機基礎知識學習起來比較難，要注意實驗在學習過程中的作用。

第二:數(shù)學統(tǒng)計基礎知識。大數(shù)據(jù)技術體系的核心目的是 "數(shù)據(jù)價值 "，而數(shù)據(jù)價值產生的過程必然離不開數(shù)據(jù)分析，所以作為數(shù)據(jù)分析基礎的數(shù)學和統(tǒng)計學知識更為重要。數(shù)學和統(tǒng)計學的基礎對大數(shù)據(jù)從業(yè)者未來的成長空間有著重要的影響，所以一定要重視這兩方面知識的學習。

第三:大數(shù)據(jù)平臺的基礎。大數(shù)據(jù)開發(fā)和大數(shù)據(jù)分析離不開大數(shù)據(jù)平臺的支撐，大數(shù)據(jù)平臺涉及分布式存儲、分布式計算等基礎功能。掌握大數(shù)據(jù)平臺，也會形成對大數(shù)據(jù)技術體系的深刻理解。對于新手來說，可以從Hadoop和Spark入手。

本人從事互聯(lián)網行業(yè)多年，目前在讀計算機專業(yè)研究生。我的主要研究方向是大數(shù)據(jù)和人工智能。我會陸續(xù)寫一些互聯(lián)網技術方面的文章，有興趣的朋友可以關注我。我相信我一定會有所收獲。

如果你有關于互聯(lián)網，大數(shù)據(jù)，人工智能，或者考研的問題，可以在評論區(qū)留言或者私信我！

hdfs的特點和限制？

HDFS特色

1.海量數(shù)據(jù)存儲:HDFS可以橫向擴展，存儲的文件可以支持PB級或更高的數(shù)據(jù)存儲。

2.高容錯性:保存多個數(shù)據(jù)副本，副本丟失后自動恢復?？梢越⒃诹畠r的機器上實現(xiàn)線性擴張。當新節(jié)點加入集群時，namenode還可以感知和平衡負載，平衡數(shù)據(jù)分布，并將數(shù)據(jù)備份到新節(jié)點。

3.商業(yè)硬件:Hadoop沒有它需要在昂貴且高度可靠的硬件上運行。它被設計為運行在商用硬件(廉價的商用硬件)集群上。(相比小型機，大型機便宜)

4.大文件存儲:HDFS使用數(shù)據(jù)塊來存儲數(shù)據(jù)，并在物理上將數(shù)據(jù)分成幾個小數(shù)據(jù)塊。所以再大的數(shù)據(jù)，經過細分后，大數(shù)據(jù)變成了很多小數(shù)據(jù)。當用戶讀取時，他們重組幾個小數(shù)據(jù)塊。

HDFS的缺點

1.無法實現(xiàn)低延遲數(shù)據(jù)訪問:hadoop針對高數(shù)據(jù)吞吐量進行了優(yōu)化，代價是數(shù)據(jù)采集延遲，因此低延遲數(shù)據(jù)訪問的業(yè)務需求不適合HDFS。

2.不適合存儲大量小文件:由于namenode將文件系統(tǒng)的元數(shù)據(jù)存儲在內存中，因此文件系統(tǒng)能夠存儲的文件總數(shù)受到namenode內存容量的限制。根據(jù)經驗，每個文件、目錄、數(shù)據(jù)塊的存儲信息占150字節(jié)左右。所以，如果有100萬個小文件，每個小文件會占用一個數(shù)據(jù)塊，至少需要300MB內存。如果是上億級的話，會超過目前硬件的能力。

3.修改文件:。HDFS適合寫一次，讀多次。不支持修改上傳到HDFS的文件。雖然Hadoop2.0支持追加文件的功能，但不建議在HDFS上修改文件。因為效率低。

4.不支持用戶并行寫入:同一時間只能有一個用戶寫入。