大數(shù)據(jù)的發(fā)展?fàn)顩r和前景 人工智能這么火,數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有什么區(qū)別?
人工智能這么火,數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有什么區(qū)別?工作之后,我知道的第一個概念是數(shù)據(jù)挖掘,而不是機(jī)器學(xué)習(xí)。因此,我認(rèn)為數(shù)據(jù)挖掘的概念比較廣泛,屬于工程應(yīng)用范疇。五年前,我們公司談?wù)摂?shù)據(jù)挖掘并舉辦了這樣的比
人工智能這么火,數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)有什么區(qū)別?
工作之后,我知道的第一個概念是數(shù)據(jù)挖掘,而不是機(jī)器學(xué)習(xí)。因此,我認(rèn)為數(shù)據(jù)挖掘的概念比較廣泛,屬于工程應(yīng)用范疇。五年前,我們公司談?wù)摂?shù)據(jù)挖掘并舉辦了這樣的比賽。掌握了數(shù)據(jù)挖掘的應(yīng)用軟件和標(biāo)準(zhǔn)流程,如SAS、Clementine等數(shù)據(jù)挖掘平臺。這些平臺大多基于圖形化操作,應(yīng)用門檻較低。直到最近兩年,我們才開始談?wù)摍C(jī)器學(xué)習(xí)、深度學(xué)習(xí)和人工智能。根據(jù)我的工作經(jīng)驗,數(shù)據(jù)挖掘是一個流行的概念。所有的業(yè)務(wù)部門都知道這個概念,而機(jī)器學(xué)習(xí)屬于專業(yè)化?,F(xiàn)在業(yè)務(wù)部門仍然不知道什么是機(jī)器學(xué)習(xí)。事實上,很難嚴(yán)格區(qū)分兩者的關(guān)系。如果你看看最權(quán)威的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)教材,你會發(fā)現(xiàn)其中大部分都是重復(fù)的。因為他們是兩個名字,他們的重點應(yīng)該是不同的。我的理解是,數(shù)據(jù)挖掘的后端與機(jī)器學(xué)習(xí)的前端重復(fù),機(jī)器學(xué)習(xí)的后端與深度學(xué)習(xí)的前端重復(fù)。數(shù)據(jù)挖掘的前端是數(shù)據(jù)的收集、清理和處理,與大數(shù)據(jù)相關(guān),涉及到數(shù)據(jù)倉庫,而機(jī)器學(xué)習(xí)并不關(guān)心這些。也就是說,要為機(jī)器學(xué)習(xí)提前準(zhǔn)備好數(shù)據(jù)的原材料。機(jī)器學(xué)習(xí)更加關(guān)注學(xué)習(xí)問題,努力學(xué)習(xí)知識,像人類一樣理解世界。它們最大的區(qū)別在于:數(shù)據(jù)挖掘關(guān)注數(shù)據(jù)中的規(guī)則和知識,而不關(guān)心數(shù)據(jù)為什么產(chǎn)生這些規(guī)則和知識,也就是說,你只看到表象,卻不知道本質(zhì)原因。相反,機(jī)器學(xué)習(xí)更關(guān)注學(xué)習(xí)數(shù)據(jù)的生成機(jī)制,即數(shù)據(jù)是從什么概率模型生成的。有時機(jī)器學(xué)習(xí)也被稱為統(tǒng)計學(xué)習(xí),這就是原因。當(dāng)數(shù)據(jù)生成機(jī)制出現(xiàn)時,數(shù)據(jù)中的規(guī)則將被自然地知道。正是因為機(jī)器學(xué)習(xí)注重數(shù)據(jù)生成機(jī)制的學(xué)習(xí),產(chǎn)生了大量的研究內(nèi)容,發(fā)展了核機(jī)器、極大似然估計、最大熵模型、最大后驗估計、期望最大化算法、高斯過程、概率圖模型等,變分推理和其他工具。數(shù)據(jù)挖掘教科書通常沒有這些高級內(nèi)容。
傳統(tǒng)的機(jī)器學(xué)習(xí)一般對數(shù)據(jù)生成機(jī)制做一些先驗假設(shè),比如假設(shè)數(shù)據(jù)是高斯分布生成的,然后學(xué)習(xí)高斯分布的參數(shù)。此外,如果沒有這樣的假設(shè),應(yīng)該怎么做?一般采用非參數(shù)密度估計技術(shù),如核估計,近年來流行的與深度學(xué)習(xí)相結(jié)合的方法,如生成對抗網(wǎng)絡(luò)(Gans)、變分自編碼等,它是指用適當(dāng)?shù)慕y(tǒng)計分析方法對采集到的大規(guī)模數(shù)據(jù)進(jìn)行分析,并對其進(jìn)行分類是對數(shù)據(jù)進(jìn)行詳細(xì)的研究和歸納,以提取有用信息并形成結(jié)論的過程;
是指利用相關(guān)算法從大量數(shù)據(jù)中挖掘出隱藏信息的過程。
我們可以簡單地理解,一個是從廣度上的數(shù)據(jù)處理過程,另一個是從深度上的數(shù)據(jù)處理過程。
通過對大量數(shù)據(jù)的整理和解讀,可以分析出企業(yè)的現(xiàn)狀,通過數(shù)據(jù)反映出當(dāng)前企業(yè)管理中存在的問題,并可以深入追溯出相應(yīng)問題的原因,最終確定相關(guān)責(zé)任人,保證數(shù)據(jù)的可追溯性,輔助企業(yè)的整體管理和運(yùn)營;而數(shù)據(jù)挖掘可以對企業(yè)隱藏有價值的數(shù)據(jù),企業(yè)要想更好地發(fā)展,就必須處理好當(dāng)前企業(yè)發(fā)展中存在的問題,重點關(guān)注企業(yè)的發(fā)展未來的企業(yè)。數(shù)據(jù)分析和數(shù)據(jù)挖掘在企業(yè)中的實際應(yīng)用,可以更好地支持企業(yè)的經(jīng)營管理,為企業(yè)向更高、更遠(yuǎn)的方向發(fā)展提供決策分析。