為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具？數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)戰(zhàn)略集合，為各級(jí)決策過(guò)程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲(chǔ)。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫(kù)的對(duì)接

為什么建數(shù)據(jù)倉(cāng)庫(kù)需要使用ETL工具？

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)戰(zhàn)略集合，為各級(jí)決策過(guò)程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲(chǔ)。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫(kù)的對(duì)接問(wèn)題，以及數(shù)據(jù)的提取和整理問(wèn)題。

此時(shí)，ETL工具的功能體現(xiàn)在數(shù)據(jù)提取、轉(zhuǎn)換和加載的過(guò)程中，直至用于人們的分析。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過(guò)程。

在某些地方，可以先在轉(zhuǎn)換中選擇和加載ELT。對(duì)于日志倉(cāng)庫(kù)，ETL首先要考慮業(yè)務(wù)需求，最后數(shù)據(jù)登陸模型要體現(xiàn)一定的主題。

一般來(lái)說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)就像一個(gè)大的池。水池的供水需要水泵和水管，ETL負(fù)責(zé)水泵和水管的功能。

開(kāi)源etl工具比較，kettle和talend，都有什么優(yōu)勢(shì)和劣勢(shì)？

幾種ETL工具（kettle、talent、Informatica、datapipeline等）的比較

四種工具的比較主要從以下幾個(gè)方面進(jìn)行：

1。成本：

軟件成本包括很多方面，包括軟件產(chǎn)品、售前培訓(xùn)、售后咨詢、技術(shù)支持等

開(kāi)源產(chǎn)品本身是免費(fèi)的，成本主要是培訓(xùn)和咨詢，所以成本始終保持在較低的水平。

商業(yè)產(chǎn)品的價(jià)格非常高，但通常會(huì)提供幾次免費(fèi)咨詢或支持，因此使用商業(yè)軟件的初始成本非常高，但會(huì)逐漸降低。

人工編碼初期成本不高，主要是人力成本，但后期維護(hù)工作量會(huì)越來(lái)越大。

2. 易用性：

datapipeline:GUI非常易于使用，具有豐富的視覺(jué)監(jiān)控；

kettle:GUI編碼；

Informatica:GUI編碼，具有GUI，但經(jīng)過(guò)特殊培訓(xùn)；

talent:GUI編碼，具有GUI圖形界面，但具有eclipse 3。技能要求：

數(shù)據(jù)管道：操作簡(jiǎn)單，無(wú)技術(shù)要求；

水壺：ETL設(shè)計(jì)，SQL，數(shù)據(jù)建模；

Informatica：ETL設(shè)計(jì)，SQL，數(shù)據(jù)建模；

人才：需要編寫Java；

4。底層架構(gòu)：

datapipeline:分布式，水平可擴(kuò)展；

Ketter:主從結(jié)構(gòu)不高可用性；

Informatica:分布式；