datax和kettle哪個(gè)好？DataX很好。DataX是阿里巴巴集團(tuán)廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)，包括mysql、Oracle、sqlserver、postgre、HDFS、hive、ads、

datax和kettle哪個(gè)好？

DataX很好。

DataX是阿里巴巴集團(tuán)廣泛使用的離線數(shù)據(jù)同步工具/平臺(tái)，包括mysql、Oracle、sqlserver、postgre、HDFS、hive、ads、HBase、tablestore

本文介紹了我知道的ETL常用工具：DataX、Datastage、Informatica、kettle、datapipeline。

阿里巴巴開(kāi)源軟件：dataX

dataX是一款針對(duì)異構(gòu)數(shù)據(jù)源的離線同步工具。致力于實(shí)現(xiàn)關(guān)系數(shù)據(jù)庫(kù)（mysql、Oracle等）、HDFS、hive、ODPs、HBase、FTP等異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步

Kettle開(kāi)源軟件：Kettle（中文名）

Kettle是國(guó)外開(kāi)源ETL工具，純Java編寫，可以在windows上運(yùn)行，Linux和UNIX，具有良好的可擴(kuò)展性和高效穩(wěn)定的數(shù)據(jù)抽取。主從結(jié)構(gòu)，無(wú)高可用性。它不支持?jǐn)?shù)據(jù)的實(shí)時(shí)同步，也不支持?jǐn)帱c(diǎn)續(xù)航。

IBM商務(wù)軟件：Datastage

最專業(yè)的商務(wù)ETL工具，價(jià)格比較貴，但處理速度也能在大數(shù)據(jù)量下保持較快的處理速度和穩(wěn)定性。實(shí)時(shí)監(jiān)控也很不錯(cuò)，可以看到數(shù)據(jù)提取的情況，運(yùn)行到哪一步，很直觀。強(qiáng)大的售后技術(shù)支持。

商務(wù)軟件：Informatica

專業(yè)ETL工具，價(jià)格比Datastage便宜一點(diǎn)，需要安裝服務(wù)器和客戶端，處理速度與Datastage相同。分布式部署，支持實(shí)時(shí)性，但效率不高。技術(shù)支持主要在美國(guó)，所以在中國(guó)使用較少。

國(guó)產(chǎn)：datapipeline

國(guó)產(chǎn)充電工具，與dataX相比，datapipeline具有可視化的過(guò)程監(jiān)控，提供多樣化的圖標(biāo)、輔助操作和維護(hù)，以及故障問(wèn)題的實(shí)時(shí)報(bào)警。DataX需要依賴工具日志來(lái)定位故障問(wèn)題。支持實(shí)時(shí)，dataX是定時(shí)的。支持?jǐn)帱c(diǎn)延續(xù)，但dataX不支持。體系結(jié)構(gòu)也是分布式的，支持水平擴(kuò)展。

首先，Datastage屬于商業(yè)軟件，而kettle是開(kāi)源軟件。源碼軟件很受大眾歡迎，但是它的執(zhí)行效率會(huì)比較慢！這需要以客戶為導(dǎo)向。

2. 在可操作性方面，DS和kettle都有GUI圖形界面，操作步驟相對(duì)簡(jiǎn)單易用；

3。從使用環(huán)境來(lái)看，一般來(lái)說(shuō)，在大型傳統(tǒng)金融行業(yè)，有一定數(shù)據(jù)管理規(guī)則的公司還是會(huì)選擇DS，效率高，大公司也有錢。

4. 另外，cattle是一個(gè)基于Java開(kāi)發(fā)的ETL工具，在使用過(guò)程中需要借助JVM。在數(shù)據(jù)提取速度和大數(shù)據(jù)處理能力方面，kettle遠(yuǎn)遠(yuǎn)不如DS

5。在穩(wěn)定性方面，DS有很大的優(yōu)勢(shì)；

6釜的數(shù)據(jù)轉(zhuǎn)換過(guò)程比較靈活，可以手工編寫SQL語(yǔ)句、java代碼、正則表達(dá)式等；DS當(dāng)然也支持SQL語(yǔ)句，兩者沒(méi)有明顯區(qū)別；

7。在數(shù)據(jù)源方面，兩者沒(méi)有明顯的區(qū)別

這里我們來(lái)談?wù)勯T內(nèi)學(xué)習(xí)需要掌握的基本技能：

1，Java

2，Linux命令

3，HDFS

4，MapReduce

5，Hadoop

6，hive

7，zookeeper

8，HBase

9，redis

10，flume

11，SSM

12，Kafka

13，Scala

14，spark

15，mongodb

16，Python和數(shù)據(jù)分析