有用全開源軟件做的數(shù)據(jù)倉庫架構(gòu)嗎？是的，基于Hadoop生態(tài)的數(shù)據(jù)倉庫是開源的。數(shù)據(jù)倉庫體系結(jié)構(gòu)最重要的部分是ETL、數(shù)據(jù)存儲、任務(wù)調(diào)度和元數(shù)據(jù)管理。ETL：使用sqoop、MapReduce、spa

有用全開源軟件做的數(shù)據(jù)倉庫架構(gòu)嗎？

是的，基于Hadoop生態(tài)的數(shù)據(jù)倉庫是開源的。

數(shù)據(jù)倉庫體系結(jié)構(gòu)最重要的部分是ETL、數(shù)據(jù)存儲、任務(wù)調(diào)度和元數(shù)據(jù)管理。

ETL：使用sqoop、MapReduce、spark等

數(shù)據(jù)存儲：使用HDFS

任務(wù)調(diào)度：使用airflow

元數(shù)據(jù)管理：使用atlas

雖然我做報表和Bi，但是報表和Bi的效果更好，底層數(shù)據(jù)非常重要，數(shù)據(jù)架構(gòu)也非常重要，這必然涉及到數(shù)據(jù)倉庫。

讓我們先放一些圖片：

如果你想建立一個實時數(shù)據(jù)倉庫，你必須知道：

1。什么是數(shù)據(jù)倉庫

2。實時數(shù)據(jù)倉庫和數(shù)據(jù)庫有什么區(qū)別。實時數(shù)據(jù)倉庫和傳統(tǒng)數(shù)據(jù)倉庫有什么區(qū)別

4。什么是實時數(shù)據(jù)倉庫的體系結(jié)構(gòu)

5。怎么做

這些問題在上圖中都是抽象的。解釋哪些問題需要弄清楚需要花很長時間，我在以前的文章中已經(jīng)寫過了。你可以去看看。