大數(shù)據(jù)預測需要什么技術？1、數(shù)據(jù)采集：ETL工具全權負責將分布的位置的、存儲和計算數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到預備中間層后參與可以清洗、轉換、集成主板，最后程序加載到數(shù)據(jù)倉庫或數(shù)據(jù)集

大數(shù)據(jù)預測需要什么技術？

1、數(shù)據(jù)采集：ETL工具全權負責將分布的位置的、存儲和計算數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到預備中間層后參與可以清洗、轉換、集成主板，最后程序加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，下一界聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。

2、數(shù)據(jù)存?。宏P系數(shù)據(jù)庫、SQL等。

3、基礎架構：云存儲、分布式文件存儲等。

4、數(shù)據(jù)處理：自然語言處理是研究什么人與計算機交互的語言問題的一門學科。一次性處理自然語言的關鍵是要讓計算機

kettle是個什么程序？

Kettle是一款國外開源的ETL工具，純java編譯程序，也可以在Windows、Linux、Unix上不運行，數(shù)據(jù)灌注又高效穩(wěn)定。Kettle中文名稱叫水壺，該項目的主程序員MATT希望把各種數(shù)據(jù)放到一個壺里，然后再以一種委托的格式黑色的血。

Kettle這個ETL工具集，它不允許你管理充斥有所不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來請看你你想要做什么，而不是你想怎摸做。

Kettle中有兩種腳本文件，transformation和job，transformation能完成對于數(shù)據(jù)的基礎轉換，job則成功整個工作流的控制。

作為Pentaho的一個重要組成部分，現(xiàn)在在國內(nèi)項目應用上漸漸地突然增多。

如何用最簡單的邏輯說一下數(shù)據(jù)平臺是做啥的？

阿里提出了“大中臺，小前臺”，其中臺事業(yè)部包括搜索事業(yè)部、共享業(yè)務平臺、數(shù)據(jù)技術及產(chǎn)品部，數(shù)據(jù)技術及產(chǎn)品部應是數(shù)據(jù)中臺建設的核心部門。

這樣的話，數(shù)據(jù)中臺倒底是什么？具體包含哪些內(nèi)容？跟大數(shù)據(jù)平臺是什么關系？在架構層面是咋體現(xiàn)的？數(shù)據(jù)中臺跟產(chǎn)品又有什么關系？

阿里數(shù)據(jù)技術及產(chǎn)品部的掌門提倒了數(shù)據(jù)中臺的具體詳細含義，這里腳注他說的話：

“很多人會把數(shù)據(jù)比喻成“石油”，馬老師（馬云）也提過，阿里巴巴要曾經(jīng)的全球電子商務的“水電煤”。我們現(xiàn)在搭建中的數(shù)據(jù)中臺，那是如果能扮演“發(fā)電廠”的角色?！?/p>

“我們很清楚，電力的發(fā)展可以不分成三類幾個階段，最開始是一些有能力的企業(yè)自己發(fā)電站，再后來又出現(xiàn)新的工業(yè)產(chǎn)能，有的企業(yè)電用不掉，有的卻不夠的，這時候國家機構就出了，會去堆建國家級的電網(wǎng)，論是核能發(fā)電，那就風力發(fā)電、水力發(fā)電，大程度地保障不同群體的用電需求。”

“我們數(shù)據(jù)中臺都是這樣的話一個運轉思路，我們落到實處是一個倒三角形，向下兩類四個部分——”

“第一是數(shù)據(jù)技術。沒有數(shù)據(jù)中臺的時候，不管是阿里內(nèi)部我還是各商家，大家都是自己的數(shù)據(jù)中心、機房、小數(shù)據(jù)庫。但當數(shù)據(jù)積累到一定體量后，這方面的成本會相當高，不過數(shù)據(jù)之間的質(zhì)量和標準不一樣的，會可能導致效率不高等問題。并且，我們不需要通過數(shù)據(jù)技術，對海量數(shù)據(jù)接受再采集、換算、存儲、加工，另外統(tǒng)一標準和口徑?！?/p>

“第二是數(shù)據(jù)資產(chǎn)。數(shù)據(jù)中臺把阿里系的數(shù)據(jù)統(tǒng)一之后，會連成標準數(shù)據(jù)，再進行存儲，連成大數(shù)據(jù)資產(chǎn)層，從而可以保證為集團各業(yè)務和商家提供給又高效服務?！?/p>

“第三和第四是數(shù)據(jù)服務，除開服務商家和服務小二。.例如生意參謀和阿里指數(shù)，那是數(shù)據(jù)中臺中向大商家端能提供的數(shù)據(jù)服務?！?/p>

“數(shù)據(jù)中臺服務阿里，說白了更多是在為各位商家服務。平臺會確保全大家在不使用數(shù)據(jù)的過程中，口徑、標準、時效性、效率都有保障，能有更高的可靠性和穩(wěn)定性?！?/p>

以上說得以前都對，但邏輯上有些是無法邏輯自恰的，比如這里的數(shù)據(jù)技術跟阿里云的數(shù)據(jù)技術是什么關系？數(shù)據(jù)中臺要千萬不能承擔全部hadoop/ETL這類平臺和工具的研發(fā)？生意參謀是個端到端的產(chǎn)品，很顯然沒法劃作數(shù)據(jù)中臺？

當然，從職能看，以及中臺部門雖然必須基于條件產(chǎn)品再你服務一線客戶，而并非往后退，這也是以前筆者對此數(shù)據(jù)中臺的最的困惑，一直在在想這個數(shù)據(jù)中臺的部門績效該該如何定呢？沒有業(yè)務的滋養(yǎng)中臺如何能迭代優(yōu)化呢，阿里算得來幫了。

但如果沒有把直接的產(chǎn)品當做中臺看樣子是不合理的，阿里提了數(shù)據(jù)中臺，忙壞的倒肯定是那些做數(shù)據(jù)架構和數(shù)據(jù)管理的，畢竟架構最講究邏輯嚴密，本質(zhì)和邊界前提是定義很清楚，沒有歧義，不然做事情變會很驚疑，不知道該怎摸何練起。

例如哪天領導問你，我們企業(yè)的數(shù)據(jù)中臺有沒有，要向阿里自學啊，有了清晰的概念你就是可以做映到了，不然就會格外局促不安，這種事情其實很多。

筆者的企業(yè)最近在做IT規(guī)劃，很多人就對數(shù)據(jù)中臺要帶一些產(chǎn)品職能有異議，記得以前筆者還把營銷平臺以為中臺，天下第一也是持續(xù)賦能所有營銷人員的，這是概念不清倒致的問題。

說來也詫異，網(wǎng)上不是那么容易找不到數(shù)據(jù)中臺的更現(xiàn)代自然科學解釋，能找到的大多也夠不夠清楚地，與大數(shù)據(jù)平臺有千絲萬縷的關系，筆者最近本來在認真思索這個問題，懇請分享分享于你，當然了仁者見仁，智者見智，仁者見仁，智者見智了。

所謂的數(shù)據(jù)中臺，即利用數(shù)據(jù)的分層與水平解耦，沉淀bec的數(shù)據(jù)能力，筆者認為可分為三層，數(shù)據(jù)模型、數(shù)據(jù)服務與數(shù)據(jù)開發(fā)，數(shù)據(jù)建?；诙嗟赜驍?shù)據(jù)整合和知識沉淀，按照數(shù)據(jù)服務實現(xiàn)方法是對數(shù)據(jù)的封裝和開放，迅速、靈話滿足的條件上層應用的要求，通過數(shù)據(jù)開發(fā)工具滿足的條件更加個性化數(shù)據(jù)和應用的需要，見下圖（以某運營商為例）：