etl如何實(shí)現(xiàn)業(yè)務(wù)原系統(tǒng)數(shù)據(jù)接入？數(shù)據(jù)增量全量抽取有幾種方案？我們現(xiàn)在做的項(xiàng)目對(duì)ETL很有用。項(xiàng)目剛成立兩三個(gè)月。目前，我指揮著四個(gè)人。明年，我們計(jì)劃再增加四個(gè)人?，F(xiàn)在，兩個(gè)人在做ETL數(shù)據(jù)提取，兩個(gè)

etl如何實(shí)現(xiàn)業(yè)務(wù)原系統(tǒng)數(shù)據(jù)接入？數(shù)據(jù)增量全量抽取有幾種方案？

我們現(xiàn)在做的項(xiàng)目對(duì)ETL很有用。

項(xiàng)目剛成立兩三個(gè)月。目前，我指揮著四個(gè)人。明年，我們計(jì)劃再增加四個(gè)人。現(xiàn)在，兩個(gè)人在做ETL數(shù)據(jù)提取，兩個(gè)人在做Java，我的戰(zhàn)斗力可以算作三個(gè)人在做Java。

為什么要單獨(dú)提取數(shù)據(jù)？

系統(tǒng)現(xiàn)在有大量的查詢，這些查詢是實(shí)時(shí)查詢。有些查詢涉及幾十個(gè)表的關(guān)聯(lián)，這些表少了幾千萬，大了幾億，所以有些接口的返回速度非常慢。

我們整理出一些可以接受T1的接口，提取相關(guān)數(shù)據(jù)，處理一次，把幾十個(gè)表的數(shù)據(jù)處理成一個(gè)完整的數(shù)據(jù)，保存在mongodb中，然后提供接口服務(wù)。

以前，界面需要幾秒鐘才能返回，有些甚至需要十幾秒鐘。現(xiàn)在，對(duì)于500個(gè)并發(fā)應(yīng)用程序，它基本上可以在100毫秒內(nèi)返回。

為什么建數(shù)據(jù)倉庫需要使用ETL工具？

數(shù)據(jù)倉庫是一個(gè)戰(zhàn)略集合，為各級(jí)決策過程提供各種數(shù)據(jù)支持。它是為分析報(bào)告和決策支持目的而創(chuàng)建的單個(gè)數(shù)據(jù)存儲(chǔ)。由于要獲取所有的數(shù)據(jù)，必然涉及到多系統(tǒng)、多類型數(shù)據(jù)庫的對(duì)接問題，以及數(shù)據(jù)的提取和整理問題。

此時(shí)，ETL工具的功能體現(xiàn)在數(shù)據(jù)提取、轉(zhuǎn)換和加載的過程中，直至用于人們的分析。ETL是數(shù)據(jù)抽取、轉(zhuǎn)換和加載的過程。

在某些地方，可以先在轉(zhuǎn)換中選擇和加載ELT。對(duì)于日志倉庫，ETL首先要考慮業(yè)務(wù)需求，最后數(shù)據(jù)登陸模型要體現(xiàn)一定的主題。

一般來說，數(shù)據(jù)倉庫就像一個(gè)大的池。水池的供水需要水泵和水管，ETL負(fù)責(zé)水泵和水管的功能。