目前比較好的開(kāi)源BI框架是什么，想給中小客戶(hù)豐富一下解決方案，怎么選擇？事實(shí)上，開(kāi)源Bi框架并不多。目前，最好使用的是pentaho的Bi套件。Bi主要分為兩個(gè)階段，ETL和可視化。如果你使用pent

目前比較好的開(kāi)源BI框架是什么，想給中小客戶(hù)豐富一下解決方案，怎么選擇？

事實(shí)上，開(kāi)源Bi框架并不多。目前，最好使用的是pentaho的Bi套件。

Bi主要分為兩個(gè)階段，ETL和可視化。如果你使用pentaho，你可以直接用它的水壺進(jìn)行ETL。有相應(yīng)的可視化工具。

另外，國(guó)內(nèi)很多企業(yè)也有相應(yīng)的BI產(chǎn)品，比如百度的BI平臺(tái)，這是一個(gè)靈活的BI開(kāi)發(fā)工具。分析商業(yè)智能也很好。許多國(guó)內(nèi)的可視化工具可以顯示，如fansoft。

其他Bi平臺(tái)，如cborad和risi Bi，都是開(kāi)源的。但是，應(yīng)該注意的是，根據(jù)用戶(hù)數(shù)量和使用范圍的不同，開(kāi)源工具相對(duì)缺乏相關(guān)信息。如果你想使用它們，最好直接從代碼開(kāi)始，找個(gè)專(zhuān)人長(zhǎng)期維護(hù)。

數(shù)據(jù)倉(cāng)庫(kù)ETL到底是什么？

ETL工作的實(shí)質(zhì)是從各種數(shù)據(jù)源中提取數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，最后通過(guò)數(shù)據(jù)倉(cāng)庫(kù)的維度建模，將數(shù)據(jù)加載并填充到表中。只有填寫(xiě)了這些維度/事實(shí)表，ETL工作才能完成。接下來(lái)，分別闡述了提取、轉(zhuǎn)換和加載的三個(gè)步驟：數(shù)據(jù)倉(cāng)庫(kù)面向分析，操作數(shù)據(jù)庫(kù)面向應(yīng)用。顯然，并非所有用于支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)都是分析所必需的。因此，本階段主要根據(jù)數(shù)據(jù)倉(cāng)庫(kù)主題和主題字段確定從應(yīng)用數(shù)據(jù)庫(kù)中提取的編號(hào)。

在具體的開(kāi)發(fā)過(guò)程中，開(kāi)發(fā)人員必須經(jīng)常發(fā)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)建模后某些ETL步驟與表描述不匹配。這時(shí)，需要重新檢查和設(shè)計(jì)需求，重新進(jìn)行ETL。正如本文在數(shù)據(jù)庫(kù)系列中提到的，任何涉及需求的更改都需要重新開(kāi)始并更新需求文檔。

轉(zhuǎn)換步驟主要是指轉(zhuǎn)換提取的數(shù)據(jù)結(jié)構(gòu)以滿(mǎn)足目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)模型的過(guò)程。此外，轉(zhuǎn)換過(guò)程還對(duì)數(shù)據(jù)質(zhì)量負(fù)責(zé)，這也稱(chēng)為數(shù)據(jù)清洗。這里可以參考數(shù)據(jù)質(zhì)量的內(nèi)容。

在加載過(guò)程中，為確保數(shù)據(jù)質(zhì)量而提取和轉(zhuǎn)換的數(shù)據(jù)將加載到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中。加載可以分為兩種類(lèi)型：首次加載和刷新加載。其中，首次加載會(huì)涉及大量數(shù)據(jù)，而刷新加載是一種微批量加載。

我們可以說(shuō)，隨著各種分布式和云計(jì)算工具的興起，ETL實(shí)際上已經(jīng)成為ELT。也就是說(shuō)，業(yè)務(wù)系統(tǒng)本身不會(huì)做轉(zhuǎn)換工作，而是將數(shù)據(jù)導(dǎo)入到分布式平臺(tái)進(jìn)行簡(jiǎn)單清洗后，讓平臺(tái)進(jìn)行清洗和轉(zhuǎn)換工作。這樣可以充分利用平臺(tái)的分布式特點(diǎn)，使業(yè)務(wù)系統(tǒng)更加專(zhuān)注于業(yè)務(wù)本身。

常用的etl工具有哪些？

1. 北京數(shù)字科技有限公司所屬數(shù)據(jù)管道是企業(yè)級(jí)批量流集成數(shù)據(jù)融合服務(wù)提供商和解決方案提供商，是國(guó)內(nèi)實(shí)時(shí)數(shù)據(jù)管道技術(shù)的倡導(dǎo)者。通過(guò)平臺(tái)和技術(shù)為企業(yè)客戶(hù)解決數(shù)據(jù)準(zhǔn)備過(guò)程中的各種痛點(diǎn)，幫助客戶(hù)更靈活、更高效、更簡(jiǎn)單地實(shí)現(xiàn)復(fù)雜異構(gòu)數(shù)據(jù)源到目的地的實(shí)時(shí)數(shù)據(jù)融合和數(shù)據(jù)管理服務(wù)。從而打破傳統(tǒng)ETL對(duì)客戶(hù)靈活數(shù)據(jù)應(yīng)用的束縛，使數(shù)據(jù)準(zhǔn)備過(guò)程不再成為數(shù)據(jù)消耗的瓶頸。

2. kettlettle是國(guó)外一個(gè)開(kāi)源的ETL工具，用純Java編寫(xiě)，可以在windows、Linux和UNIX上運(yùn)行，數(shù)據(jù)提取效率高、穩(wěn)定。水壺在中文里叫水壺。馬特，這個(gè)項(xiàng)目的主要程序員，希望把各種各樣的數(shù)據(jù)放到一個(gè)水壺里，然后以指定的格式流出來(lái)。

3. Talendtalent是數(shù)據(jù)集成解決方案領(lǐng)域的領(lǐng)先企業(yè)，為公共云、私有云和本地環(huán)境提供集成數(shù)據(jù)集成平臺(tái)。Talend的使命是幫助客戶(hù)優(yōu)化數(shù)據(jù)，提高數(shù)據(jù)可靠性，并更快地將企業(yè)數(shù)據(jù)轉(zhuǎn)化為業(yè)務(wù)價(jià)值。憑借這一使命，talend的解決方案將數(shù)據(jù)從傳統(tǒng)基礎(chǔ)架構(gòu)中解放出來(lái)，提高了客戶(hù)對(duì)業(yè)務(wù)的洞察力，并使客戶(hù)能夠更早地實(shí)現(xiàn)業(yè)務(wù)價(jià)值。

4. Informatica Informatica是世界領(lǐng)先的數(shù)據(jù)管理軟件供應(yīng)商。Gartner在以下幻方圖方面處于領(lǐng)先地位：數(shù)據(jù)集成工具幻方圖、數(shù)據(jù)質(zhì)量工具幻方圖、元數(shù)據(jù)管理解決方案幻方圖、主數(shù)據(jù)管理解決方案幻方圖、企業(yè)級(jí)集成平臺(tái)即服務(wù)（eipaas）幻方圖。

5、DataStageIBM?InfoSphere? 信息服務(wù)器是一個(gè)數(shù)據(jù)集成的軟件平臺(tái)，它可以幫助企業(yè)從分散在各個(gè)系統(tǒng)中的復(fù)雜的異構(gòu)信息中獲取更多的價(jià)值。infosphereinformationserver為公司提供了一個(gè)統(tǒng)一的平臺(tái)來(lái)理解、清理、轉(zhuǎn)換和交付可信的上下文信息。IBM?InfoSphere? DataStage?和QualityStage? 提供一個(gè)圖形化框架，您可以使用它來(lái)設(shè)計(jì)和運(yùn)行用于轉(zhuǎn)換、清理和加載數(shù)據(jù)的作業(yè)。

開(kāi)源etl工具比較，kettle和talend，都有什么優(yōu)勢(shì)和劣勢(shì)？

幾種ETL工具（kettle、talent、Informatica、datapipeline等）的比較

四種工具的比較主要從以下幾個(gè)方面進(jìn)行：

1。成本：

軟件成本包括很多方面，包括軟件產(chǎn)品、售前培訓(xùn)、售后咨詢(xún)、技術(shù)支持等

開(kāi)源產(chǎn)品本身是免費(fèi)的，成本主要是培訓(xùn)和咨詢(xún)，所以成本始終保持在較低的水平。

商業(yè)產(chǎn)品的價(jià)格非常高，但通常會(huì)提供幾次免費(fèi)咨詢(xún)或支持，因此使用商業(yè)軟件的初始成本非常高，但會(huì)逐漸降低。

人工編碼初期成本不高，主要是人力成本，但后期維護(hù)工作量會(huì)越來(lái)越大。

2. 易用性：

datapipeline:GUI非常易于使用，具有豐富的視覺(jué)監(jiān)控；

kettle:GUI編碼；

Informatica:GUI編碼，具有GUI，但經(jīng)過(guò)特殊培訓(xùn)；

talent:GUI編碼，具有GUI圖形界面，但具有eclipse 3。技能要求：

數(shù)據(jù)管道：操作簡(jiǎn)單，無(wú)技術(shù)要求；

水壺：ETL設(shè)計(jì)，SQL，數(shù)據(jù)建模；

Informatica：ETL設(shè)計(jì)，SQL，數(shù)據(jù)建模；

人才：需要編寫(xiě)Java；

4。底層架構(gòu)：

datapipeline:分布式，水平可擴(kuò)展；

Ketter:主從結(jié)構(gòu)不高可用性；

Informatica:分布式；