為什么建數(shù)據(jù)倉庫需要使用ETL工具？數(shù)據(jù)倉庫是一個(gè)戰(zhàn)略集合，為各級決策過程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫的對接

為什么建數(shù)據(jù)倉庫需要使用ETL工具？

數(shù)據(jù)倉庫是一個(gè)戰(zhàn)略集合，為各級決策過程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫的對接問題，以及數(shù)據(jù)的提取和整理問題。

此時(shí)，ETL工具的功能體現(xiàn)在數(shù)據(jù)提取、轉(zhuǎn)換和加載的過程中，直至用于人們的分析。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過程。

在某些地方，可以先在轉(zhuǎn)換中選擇和加載ELT。對于日志倉庫，ETL首先要考慮業(yè)務(wù)需求，最后數(shù)據(jù)登陸模型要體現(xiàn)一定的主題。

一般來說，數(shù)據(jù)倉庫就像一個(gè)大的池。水池的供水需要水泵和水管，ETL負(fù)責(zé)水泵和水管的功能。

本人本科大二，隨手可以寫java網(wǎng)課上的倉儲系統(tǒng)(無法聯(lián)網(wǎng)，圖形化界面，sql)，在業(yè)內(nèi)算什么水平呢？

我做軟件已經(jīng)20多年了。編程不僅是關(guān)于使用什么語言，而且是關(guān)于思考。編程語言只是一種工具。如果你熟悉一個(gè)工具，那就沒什么值得驕傲的了，除非你想把編程和詩人比較一下。一個(gè)軟件要實(shí)現(xiàn)哪些功能，這些功能用戶如何使用才能酷、易用、穩(wěn)定如新是最重要的。否則，就是半條命。我在這個(gè)領(lǐng)域沒有太大的前途

謝謝。

要首先了解半結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)，我們需要了解什么是結(jié)構(gòu)化數(shù)據(jù)。

在原有的信息化建設(shè)中，大部分以數(shù)據(jù)庫圖表的方式存儲的數(shù)據(jù)都是結(jié)構(gòu)化的數(shù)據(jù)，也就是說，整體的數(shù)據(jù)結(jié)構(gòu)非常好，每個(gè)數(shù)據(jù)都有一個(gè)唯一的標(biāo)簽，整體的檢索是通過數(shù)據(jù)庫索引的，所有的字段都可以通過SQL語句輕松找到。這些是結(jié)構(gòu)化數(shù)據(jù)。例如，excel類似于一個(gè)小型數(shù)據(jù)庫，如果其中有大量的數(shù)據(jù)，就很方便我們查找。相對而言，word中的圖表數(shù)據(jù)比excel更難查找。如果ppt包含圖片、視頻和其他數(shù)據(jù)，那就更難了。那么Excel可以與結(jié)構(gòu)化進(jìn)行比較，word和PPT可以與半結(jié)構(gòu)化和非結(jié)構(gòu)化進(jìn)行比較。如今，非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的數(shù)量迅速增加，與富媒體時(shí)代息息相關(guān)。大多數(shù)人在閱讀文字和數(shù)字之前?，F(xiàn)在，人們玩直播、點(diǎn)播，視頻數(shù)據(jù)增多，語音交互更加頻繁，各種物聯(lián)網(wǎng)不規(guī)范的數(shù)據(jù)被生成，大量的非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)被生成。數(shù)據(jù)。

希望對您有所幫助。歡迎交流，謝謝。

ETL工作的實(shí)質(zhì)是從各種數(shù)據(jù)源中提取數(shù)據(jù)，對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，最后通過數(shù)據(jù)倉庫的維度建模將數(shù)據(jù)加載到表中。只有填寫了這些維度/事實(shí)表，ETL工作才能完成。接下來，分別闡述了提取、轉(zhuǎn)換和加載的三個(gè)步驟：數(shù)據(jù)倉庫面向分析，操作數(shù)據(jù)庫面向應(yīng)用。顯然，并非所有用于支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)都是分析所必需的。因此，本階段主要根據(jù)數(shù)據(jù)倉庫主題和主題字段確定從應(yīng)用數(shù)據(jù)庫中提取的編號。

在具體的開發(fā)過程中，開發(fā)人員必須經(jīng)常發(fā)現(xiàn)數(shù)據(jù)倉庫建模后某些ETL步驟與表描述不匹配。這時(shí)，需要重新檢查和設(shè)計(jì)需求，重新進(jìn)行ETL。正如本文在數(shù)據(jù)庫系列中提到的，任何涉及需求的更改都需要重新開始并更新需求文檔。

轉(zhuǎn)換步驟主要是指轉(zhuǎn)換提取的數(shù)據(jù)結(jié)構(gòu)以滿足目標(biāo)數(shù)據(jù)倉庫模型的過程。此外，轉(zhuǎn)換過程還對數(shù)據(jù)質(zhì)量負(fù)責(zé)，這也稱為數(shù)據(jù)清洗。這里可以參考數(shù)據(jù)質(zhì)量的內(nèi)容。

在加載過程中，為確保數(shù)據(jù)質(zhì)量而提取和轉(zhuǎn)換的數(shù)據(jù)將加載到目標(biāo)數(shù)據(jù)倉庫中。加載可以分為兩種類型：首次加載和刷新加載。其中，首次加載會涉及大量數(shù)據(jù)，而刷新加載是一種微批量加載。

我們可以說，隨著各種分布式和云計(jì)算工具的興起，ETL實(shí)際上已經(jīng)成為ELT。也就是說，業(yè)務(wù)系統(tǒng)本身不會做轉(zhuǎn)換工作，而是將數(shù)據(jù)導(dǎo)入到分布式平臺進(jìn)行簡單清洗后，讓平臺進(jìn)行清洗和轉(zhuǎn)換工作。這樣可以充分利用平臺的分布式特點(diǎn)，使業(yè)務(wù)系統(tǒng)更加專注于業(yè)務(wù)本身。