五分鐘看懂大數據技術？大數據技術比較復雜：數據的采集、預處理、和分布式存儲、包括數據倉庫、機器學習、并行計算和可視化等方面。這對大數據技術，運用廣泛的是以hadoop和spark為核心的生態(tài)系統(tǒng)。ha

五分鐘看懂大數據技術？

大數據技術比較復雜：數據的采集、預處理、和分布式存儲、包括數據倉庫、機器學習、并行計算和可視化等方面。

這對大數據技術，運用廣泛的是以hadoop和spark為核心的生態(tài)系統(tǒng)。hadoop能提供一個穩(wěn)定啊的共享存儲和分析系統(tǒng)，存儲由hdfs實現程序，分析由mapreduce利用，

1、hdfs：Hadoop分布式文件系統(tǒng)，運行與大型商用化機集群

hdfs是gfs的閉源實現，提供給了在便宜的東西服務器集群中接受小規(guī)模分布式文件存儲的能力。

2、hbase：分布式的列存儲數據庫。hbase將hdfs才是底層存儲，同時意見mapreduce的批量可以計算和點查詢（讀寫性能）

hbase是另一個建立在hdfs之上，正向列的nosql數據庫。它可用于快速讀寫大量數據，是一個高可靠、高并發(fā)讀寫、集高性能、走向列、可伸縮和易形成完整的分布式存儲系統(tǒng)。hbase具有海量數據存儲、迅速洗技能ftp連接和內的寫操作等特點。

在kudu再次出現之前，hadoop生態(tài)環(huán)境的存儲主要依戀hdfs和hbase。在追求純粹高吞吐、批處理的場景中，可以使用hdfs,在不追求低延時且隨機讀取的場景中，可以使用hbase,而kudu正好能兼容性這兩者。

3、批處理換算的基石：mapreduce

批處理換算要注意能解決極大規(guī)模數據的批量處理問題，是護理數據分析中常見的一類數據處理需求。業(yè)界常用的大數據批處理框架有mapreducesparktezpig等。其中mapdeduce是也很有影響力和代表性的大數據批處理計算框架。它是可以并發(fā)執(zhí)行如此大規(guī)模數據處理任務，即作用于小規(guī)模數據集（大于01tb）的并行計算。mapreduce的核心思想：將一個大數據集拆分成多個小數據集，然后把在多臺機器上并行化。

4、hive:分布式數據倉庫，管理hdfs中存儲文件的數據，并需要提供基于sql的查詢語言用于查詢數據

hadoop框架中誰負責文件的存儲？

框架中可以儲存模塊共同負責文件的存儲，所有文檔資料都會貯存在里面，然后把轉存在內存卡中

etl大數據工程師靠譜嗎？

是比較比較靠譜的。

Etl大數據工程師，是大數據數倉方向的一個職位，主要是做數據清洗，收集，轉換，目前的話要注意已greenplum的hdfs作為存儲平臺，hive以及數據建模，徹底清洗，結構化數據的分析，可以使用工具的或腳本，導入到關系型數據庫數據結，才是結果數據，供強盜團各部門使用。