數(shù)據(jù)處理（ETL）和java開發(fā)職位選哪個？因此，如果您喜歡數(shù)據(jù)處理，請選擇數(shù)據(jù)處理。如果你想用Java編程，沒關(guān)系。關(guān)鍵是找出哪一個適合你，選擇最適合你的。ETL工具，Kettle和DataStag

數(shù)據(jù)處理（ETL）和java開發(fā)職位選哪個？

因此，如果您喜歡數(shù)據(jù)處理，請選擇數(shù)據(jù)處理。如果你想用Java編程，沒關(guān)系。關(guān)鍵是找出哪一個適合你，選擇最適合你的。

ETL工具，Kettle和DataStage各自有什么優(yōu)缺點，目前哪個更流行一些？

沒有流程管理。當(dāng)表被鎖定時，不容易找出原因，無法終止進程，無法控制最大進程數(shù)。

2. 數(shù)據(jù)抽取不能自動分包，也沒有像ABAP這樣高效的查詢語句，比如select from。。所有入口都在。。大數(shù)據(jù)處理速度很慢，大量數(shù)據(jù)的日常處理無法完成。

3. 無法自動處理指定字段的增量。

4. 無法調(diào)試，調(diào)試將不提取數(shù)據(jù)。

5. 在計劃處理鏈中指定命令非常麻煩。沒有接口操作。處理鏈中有錯誤。無法繼續(xù)運行或跳過處理。

6. 無法記錄每個處理詳細信息并記錄處理時間。

7. 無法共享字段。字段不關(guān)聯(lián)本位幣單位，沒有基礎(chǔ)資料字段的概念。

8. 沒有包處理的概念，沒有日志處理。

9. 沒有版本控制，聯(lián)機不是傳輸。

10. 另外，沒有外部發(fā)布WS、OData接口函數(shù)

更不用說報表函數(shù)，權(quán)限控制功能不強，底層數(shù)據(jù)庫也不是多維信息立方體結(jié)構(gòu)，字段也不區(qū)分指標(biāo)和特征。。。。。

有沒有擴展性較好的ETL產(chǎn)品？

讓我介紹一下我知道的常見ETL工具：dataX、Datastage、Informatica、kettle和datapipeline。

阿里巴巴開源軟件：dataX

dataX是一款針對異構(gòu)數(shù)據(jù)源的離線同步工具。致力于實現(xiàn)關(guān)系數(shù)據(jù)庫（mysql、Oracle等）、HDFS、hive、ODPs、HBase、FTP等異構(gòu)數(shù)據(jù)源之間穩(wěn)定高效的數(shù)據(jù)同步

Kettle開源軟件：Kettle（中文名）

Kettle是國外開源ETL工具，純Java編寫，可以在windows上運行，Linux和UNIX，具有良好的可擴展性和高效穩(wěn)定的數(shù)據(jù)抽取。主從結(jié)構(gòu)，無高可用性。它不支持數(shù)據(jù)的實時同步，也不支持斷點續(xù)航。

IBM商務(wù)軟件：Datastage

最專業(yè)的商務(wù)ETL工具，價格比較貴，但處理速度也能在大數(shù)據(jù)量下保持較快的處理速度和穩(wěn)定性。實時監(jiān)控也很不錯，可以看到數(shù)據(jù)提取的情況，運行到哪一步，很直觀。強大的售后技術(shù)支持。

商務(wù)軟件：Informatica

專業(yè)ETL工具，價格比Datastage便宜一點，需要安裝服務(wù)器和客戶端，處理速度與Datastage相同。分布式部署，支持實時性，但效率不高。技術(shù)支持主要在美國，所以在中國使用較少。

國產(chǎn)：datapipeline

國產(chǎn)充電工具，與dataX相比，datapipeline具有可視化的過程監(jiān)控，提供多樣化的圖標(biāo)、輔助操作和維護，以及故障問題的實時報警。DataX需要依賴工具日志來定位故障問題。支持實時，dataX是定時的。支持斷點延續(xù)，但dataX不支持。體系結(jié)構(gòu)也是分布式的，支持水平擴展。

更好的擴展性之一是水壺。兩位工程師的發(fā)展方向不同，主要集中在不同的方向：ETL工程師。主要的技術(shù)發(fā)展方向是數(shù)據(jù)庫或海量數(shù)據(jù)處理。今后，他們可以發(fā)展到數(shù)據(jù)庫開發(fā)工程師、數(shù)據(jù)庫架構(gòu)師、數(shù)據(jù)分析師等

Java工程師，主要側(cè)重于軟件開發(fā)方向，即編程，也可以逐步發(fā)展成為高級程序員、系統(tǒng)架構(gòu)師等

但發(fā)展不是絕對的。這主要取決于個人的機會和發(fā)展環(huán)境。我們不能說哪個好，哪個不好。