為什么建數(shù)據(jù)倉庫需要使用ETL工具？一、什么是ETLETL是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)抽取、徹底清洗可以轉(zhuǎn)換之后運行程序到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的聚集起來、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決

為什么建數(shù)據(jù)倉庫需要使用ETL工具？

一、什么是ETL

ETL是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)抽取、徹底清洗可以轉(zhuǎn)換之后運行程序到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的聚集起來、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策能提供講依據(jù)。

二、ETL的組成部分

ETL的設計分三部分：數(shù)據(jù)吸納、數(shù)據(jù)的清洗轉(zhuǎn)換、數(shù)據(jù)的打開程序。

在設計ETL的時候我們也是從這三部分出發(fā)。數(shù)據(jù)的抽取是從各個不同的數(shù)據(jù)源抽取到ODS(Operational Data Store，操作型數(shù)據(jù)存儲)中——這個過程也是可以做一些數(shù)據(jù)的清洗和轉(zhuǎn)換的)，在注入的過程中必須搜找不同的抽取方法，盡可能的提高ETL的運行效率。ETL三個部分中，花廢時間最長的是“T”(Transform，徹底清洗、轉(zhuǎn)換)的部分，一般情況下這部分工作量是整個ETL的2/3。數(shù)據(jù)的加載一般在數(shù)據(jù)清洗完了之后然后讀取DW(Data Warehousing，數(shù)據(jù)倉庫)中去。

（一）數(shù)據(jù)的收集（Extract）

這一部分必須在調(diào)研階段做大量的工作，是需要要搞清楚數(shù)據(jù)是從幾個業(yè)務系統(tǒng)中來,各個業(yè)務系統(tǒng)的數(shù)據(jù)庫服務器運行什么DBMS,是否需要必然手工數(shù)據(jù)，手工數(shù)據(jù)量有多大，如何確定存在非結(jié)構(gòu)化的數(shù)據(jù)等等，當收集到完這些信息之后才這個可以接受數(shù)據(jù)收集的設計。

1、對于與貯放DW的數(shù)據(jù)庫系統(tǒng)完全相同的數(shù)據(jù)源處理方法

這一類數(shù)據(jù)源在設計上也很太容易。一般情況下，DBMS(SQLServer、Oracle)都會提供數(shù)據(jù)庫鏈接功能，在DW數(shù)據(jù)庫服務器和原業(yè)務系統(tǒng)之間組建真接的鏈接關(guān)系就是可以寫Select語句直接訪問。

2、對此與DW數(shù)據(jù)庫系統(tǒng)相同的數(shù)據(jù)源的處理方法

相對于這一類數(shù)據(jù)源，一般情況下也也可以實際ODBC的成立數(shù)據(jù)庫鏈接——如SQL Server和Oracle之間。如果不是肯定不能建立數(shù)據(jù)庫鏈接，也可以有兩種成功，一種是通過工具將源導出數(shù)據(jù)成.txt也可以是.xls文件，接著再將這些源系統(tǒng)文件導入到到ODS中。另外一種方法是程序接口來能完成。

3、是對文件類型數(shù)據(jù)源(.txt,.xls)，可以不陪訓業(yè)務人員用來數(shù)據(jù)庫工具將這些數(shù)據(jù)導入到委托的數(shù)據(jù)庫，后再從重新指定的數(shù)據(jù)庫中灌注。也可以還可以不的力量工具利用。

4、增量更新完的問題

對于數(shù)據(jù)量大的系統(tǒng)，要考慮增量抽取。一般情況下，業(yè)務系統(tǒng)會記錄業(yè)務再一次發(fā)生的時間，我們這個可以為了做增量的標志,每次來灌注之前簡單確定ODS中記錄的最的時間，后再依據(jù)什么這個時間去業(yè)務系統(tǒng)取大于1這個時間所有的記錄。借用業(yè)務系統(tǒng)的時間戳，一般情況下，業(yè)務系統(tǒng)也沒的或部分有時間戳。

（二）數(shù)據(jù)的清洗轉(zhuǎn)換（Cleaning、Transform）

一般情況下，數(shù)據(jù)倉庫統(tǒng)稱ODS、DW兩部分。常見的做法是從業(yè)務系統(tǒng)到ODS做擦洗，將臟數(shù)據(jù)和不完整數(shù)據(jù)過濾后掉，在從ODS到DW的過程中轉(zhuǎn)換，并且一些業(yè)務規(guī)則的計算和聚合。

1、數(shù)據(jù)清洗

數(shù)據(jù)清洗的任務是過濾處理那些不符要求的數(shù)據(jù)，將水中的雜質(zhì)的結(jié)果丟給業(yè)務主管部門，去確認是否需要過濾處理掉還是由業(yè)務單位修正之后再進行吸納。

不符合規(guī)范的數(shù)據(jù)主要注意是有不求下載的數(shù)據(jù)、錯誤`的數(shù)據(jù)、重復一遍的數(shù)據(jù)三大類。

(1)不求下載的數(shù)據(jù)：這一類數(shù)據(jù)通常是一些應該有的信息缺失，如供應商的名稱、分公司的名稱、客戶的區(qū)域信息缺失、業(yè)務系統(tǒng)中主表與明細表又不能匹配等。這對這一類數(shù)據(jù)過濾雜質(zhì)出來，按缺乏的內(nèi)容三個中寫入完全不同Excel文件向客戶重新提交，要求在明確規(guī)定的時間內(nèi)最后的神。補全后才寫入文件數(shù)據(jù)倉庫。

(2)錯誤`的數(shù)據(jù)：這一類錯誤產(chǎn)生的原因是業(yè)務系統(tǒng)太少比較完備，在收得到輸入后就沒通過推測然后寫入到后臺數(shù)據(jù)庫會造成的，諸如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串數(shù)據(jù)后面有一個回車你操作、日期格式不正確、日期越界等。這一類數(shù)據(jù)也要分類，是對傳說中的全角字符、數(shù)據(jù)前后有絕不可以見字符的問題，只能按照寫SQL語句的找不出來，然后再特別要求客戶在業(yè)務系統(tǒng)修正之后收集。日期格式不正確的的或則是日期越界的這一類出現(xiàn)錯誤會可能導致ETL運行失敗，這一類出錯不需要去業(yè)務系統(tǒng)數(shù)據(jù)庫用SQL的挑不出來，丟給業(yè)務主管部門要求限期修正，關(guān)于修改〈公司法〉的決定之后再注入。

(3)反復重復的數(shù)據(jù)：對此這一類數(shù)據(jù)——特別是維表中會直接出現(xiàn)情況——將重復數(shù)據(jù)記錄的所有字段導進去，讓客戶去確認并整理。

數(shù)據(jù)清洗是一個疼時的過程，不可能在幾天內(nèi)完成，唯有斷的的發(fā)現(xiàn)到問題，解決問題的方法。對于有無過濾雜質(zhì)，有無抵消象沒有要求客戶確定，這對過濾雜質(zhì)掉的數(shù)據(jù)，寫入Excel文件也可以將過濾數(shù)據(jù)寫入到數(shù)據(jù)表，在ETL開發(fā)的初期是可以每天晚上向業(yè)務單位發(fā)送過濾數(shù)據(jù)的郵件，催進他們及時地自我提高,同時也也可以做為將來修改密保數(shù)據(jù)的依據(jù)。數(shù)據(jù)清洗需要注意的是最好別將沒有用的數(shù)據(jù)過濾掉，相對于每個過濾規(guī)則誠懇進行修改密保，并要用戶確定。

2、數(shù)據(jù)轉(zhuǎn)換

數(shù)據(jù)轉(zhuǎn)換的任務通常接受不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換，這些一些商務規(guī)則的計算。

(1)不一致數(shù)據(jù)轉(zhuǎn)換：這個過程是一個整合起來的過程，將不同業(yè)務系統(tǒng)的同一類型的數(shù)據(jù)統(tǒng)一，諸如同一個供應商在結(jié)算系統(tǒng)的編碼是XX0001,而在CRM中編碼是yy0001，那樣的話在灌注進來之后統(tǒng)一轉(zhuǎn)換的成一個編碼。

(2)數(shù)據(jù)粒度的轉(zhuǎn)換：業(yè)務系統(tǒng)就像儲存相當明細的數(shù)據(jù)，而數(shù)據(jù)倉庫中數(shù)據(jù)是單獨結(jié)論的，不要非常明細單的數(shù)據(jù)。一般情況下，會將業(yè)務系統(tǒng)數(shù)據(jù)通過數(shù)據(jù)倉庫粒度進行聚合。

(3)商務規(guī)則的計算：相同的企業(yè)有完全不同的業(yè)務規(guī)則、不同的數(shù)據(jù)指標，這些指標有的時候也不是很簡單加加減減就能能夠完成，這會兒必須在ETL中將這些數(shù)據(jù)指標換算再說之后儲存在數(shù)據(jù)倉庫中，以供講不使用。

（三）數(shù)據(jù)加載(Load)

將數(shù)據(jù)緩沖區(qū)的數(shù)據(jù)再運行程序到數(shù)據(jù)庫隨機表中，假如是全量則按結(jié)構(gòu)LOAD，如果是增量則依據(jù)業(yè)務規(guī)則MERGE進數(shù)據(jù)庫

三、ETL實現(xiàn)程序

ETL的實現(xiàn)有多種方法，具體用法的有三種。

借助于ETL工具：**(如Oracle的OWB、SQL Server2000的DTS、SQL Server2005的SSIS服務、Informatic等)基于，SQL實現(xiàn)程序：**SQL的方法優(yōu)點是身形靈活，增強ETL運行效率，可是編碼復雜，對技術(shù)要求比較高。ETL工具和SQL相結(jié)合**，前兩種方法各有各的優(yōu)缺點，自身工具是可以迅速的建立起ETL工程，被屏蔽了復雜的編碼任務，能提高了速度，減少了難度，綜合考了前面二種的優(yōu)點，會如此大地增加ETL的開發(fā)速度和效率。

四、數(shù)據(jù)倉庫ODS、DW和DM概念判別

ODS——執(zhí)行性數(shù)據(jù)

DW——數(shù)據(jù)倉庫

DM——數(shù)據(jù)集市

數(shù)據(jù)倉庫的整理一番架構(gòu)，各個系統(tǒng)的元數(shù)據(jù)實際ETL離線到操作性數(shù)據(jù)倉庫ODS中，對ODS數(shù)據(jù)進行正向主題域建模形成DW（數(shù)據(jù)倉庫），DM是是對某一個業(yè)務領(lǐng)域組建模型，詳細用戶（決策層）欄里點DM生成的報表。

數(shù)據(jù)倉庫的ODS、DW和DM概念

維度建模和范式建模的本質(zhì)？

1范式建模

Inmon所倡導人的范式建模那就是關(guān)系數(shù)據(jù)庫用的三范式建模方法，數(shù)據(jù)倉庫模型的建設方法和業(yè)務系統(tǒng)的數(shù)據(jù)模型類似于。有一些區(qū)別是：

1）數(shù)據(jù)倉庫的域模型肯定真包含業(yè)務數(shù)據(jù)模型到域模型之間的關(guān)系，和各主題域定義，數(shù)據(jù)倉庫的域模型概念比業(yè)務系統(tǒng)的主題域模型范圍更廣。

2）在數(shù)據(jù)倉庫的邏輯模型必須從業(yè)務系統(tǒng)的邏輯模型中抽象化實體、實體的屬性、實體的子類、實體關(guān)系等。

優(yōu)點：從關(guān)系型數(shù)據(jù)庫角度向北出發(fā)，特點了業(yè)務系統(tǒng)的數(shù)據(jù)模型，更方便基于數(shù)據(jù)倉庫的建模。

缺點：某些時候限制了整個數(shù)據(jù)倉庫的靈活性、性能等。最重要的在底層數(shù)據(jù)向數(shù)據(jù)集市匯總資料時是需要通過在量的數(shù)據(jù)處理工作。

2維度建模

Kimball主張維度建模法，那是按維度表、事實表來構(gòu)建體系數(shù)據(jù)倉庫、數(shù)據(jù)集市。維度建模有星形、雪花型兩種最常見的一種類型。

優(yōu)點：維度模型可極大實力提升數(shù)據(jù)倉庫的處理能力；牢牢地圍繞業(yè)務模型，形象直觀的反映業(yè)務問題。

缺點；形成完整模型之前是需要通過大量的數(shù)據(jù)預處理，當業(yè)務變化后不需要原先定義,定義維度時，是需要然后再進行維度數(shù)據(jù)的預處理；沒法可以提供一個發(fā)下地描述虛無飄渺業(yè)務實體之間古怪關(guān)系的抽象方法。

辯解；對此這些缺點，大都片面的，而且數(shù)據(jù)倉庫總線架構(gòu)和維度處理方法能挺好的能解決以下問題。