ETL工具，Kettle和DataStage各自有什么優(yōu)缺點(diǎn)，目前哪個(gè)更流行一些？1. 首先，Datastage屬于商業(yè)軟件，而kettle是開源軟件；源代碼軟件很受大眾歡迎，但執(zhí)行效率會(huì)比較慢！這需

ETL工具，Kettle和DataStage各自有什么優(yōu)缺點(diǎn)，目前哪個(gè)更流行一些？

1. 首先，Datastage屬于商業(yè)軟件，而kettle是開源軟件；源代碼軟件很受大眾歡迎，但執(zhí)行效率會(huì)比較慢！這需要以客戶為導(dǎo)向。

2. 在可操作性方面，DS和kettle都有GUI圖形界面，操作步驟相對簡單易用；

3。從使用環(huán)境來看，一般來說，在大型傳統(tǒng)金融行業(yè)，有一定數(shù)據(jù)管理規(guī)則的公司還是會(huì)選擇DS，效率高，大公司也有錢。

4. 另外，cattle是一個(gè)基于Java開發(fā)的ETL工具，在使用過程中需要借助JVM。在數(shù)據(jù)提取速度和大數(shù)據(jù)處理能力方面，kettle遠(yuǎn)遠(yuǎn)不如DS

5。在穩(wěn)定性方面，DS有很大的優(yōu)勢；

6釜的數(shù)據(jù)轉(zhuǎn)換過程比較靈活，可以手工編寫SQL語句、java代碼、正則表達(dá)式等；DS也支持SQL語句，兩者沒有明顯區(qū)別；

7。在數(shù)據(jù)源方面，兩者沒有明顯區(qū)別

Datastage是一套集成工具，可以簡化和自動(dòng)化多個(gè)操作數(shù)據(jù)源的數(shù)據(jù)提取、轉(zhuǎn)換和維護(hù)過程，并將其輸入到數(shù)據(jù)集市或數(shù)據(jù)倉庫的目標(biāo)數(shù)據(jù)庫中。說白了，就是從各地收集這些數(shù)據(jù)，轉(zhuǎn)化成正規(guī)的數(shù)據(jù)，這是一個(gè)處理這個(gè)過程的軟件。這是一個(gè)高端商業(yè)智能工程師，需要付費(fèi)培訓(xùn)才能學(xué)好。來源：商業(yè)智能和數(shù)據(jù)倉庫愛好者

包括采集層、預(yù)處理層、集成、分析與顯示等采集層：采集機(jī)、消息、離線數(shù)據(jù)、在線輸入等預(yù)處理層：Hadoop map reduce、Java程序、SAS可輕松處理不規(guī)則文本文件，可以使用storm實(shí)時(shí)集成：IBM Datastage、Oracle data Integrator分析和顯示：R、SAS、SPSS

似乎是作業(yè)的RT日志文件被鎖定。Datastage環(huán)境中有一個(gè)鎖的概念，即Datastage中特定進(jìn)程對特定文件的獨(dú)占訪問權(quán)限。這些特定文件一般都是“RT”文件，除了獨(dú)占進(jìn)程外，其他進(jìn)程一開始無法訪問鎖定的文件或記錄。Datastage的鎖按獨(dú)占訪問范圍分為組鎖和記錄鎖。在正常情況下，Datastage客戶端在連接到服務(wù)器時(shí)會(huì)生成鎖，作業(yè)在編譯或運(yùn)行時(shí)也會(huì)生成鎖。作業(yè)運(yùn)行時(shí)處理的數(shù)據(jù)文件和臨時(shí)文件也將生成鎖。這些鎖用于保證Datastage的連接、運(yùn)行和邏輯處理能夠正常完成。如果在Datastage的運(yùn)行過程中出現(xiàn)異常連接中斷、異常運(yùn)行終止、異常邏輯處理停止等未知錯(cuò)誤，導(dǎo)致Datastage進(jìn)程意外終止，但鎖仍保留在文件或記錄中，下次作業(yè)運(yùn)行時(shí)，很可能會(huì)出現(xiàn)運(yùn)行錯(cuò)誤發(fā)生，因?yàn)闊o法獲得運(yùn)行所需的獨(dú)占訪問權(quán)限。對付它的方法就是打開它。使用命令：列表.READUEvery顯示活動(dòng)記錄鎖列表，記錄找到的鎖記錄行的inode編號(hào)和userno編號(hào)，并使用命令：Unlock inode 628354user 61296 all來解鎖。這些命令在UV-sh交互環(huán)境中執(zhí)行。

datastage具體什么意思?能幫忙說明清楚嗎？

1. 檢查表中的數(shù)據(jù)量

對于大數(shù)據(jù)表，數(shù)據(jù)交換通常需要很長時(shí)間，并且隨著數(shù)據(jù)量的增加，時(shí)間會(huì)增加很多。解決方案是逐步完成數(shù)據(jù)交換或加載。

2. 檢查Datastage服務(wù)器系統(tǒng)資源是否不足

使用Topas命令檢查系統(tǒng)臨時(shí)空間、內(nèi)存、CPU等硬件資源是否被高比例占用。如果是這樣，請首先從操作系統(tǒng)級(jí)別釋放系統(tǒng)資源。

3. 檢查目標(biāo)表是否死鎖。

需要檢查目標(biāo)表中是否有死鎖。如果出現(xiàn)死鎖，則終止鎖表進(jìn)程并再次執(zhí)行作業(yè)。

希望答案能幫你解決問題。