數(shù)據(jù)處理5個(gè)基本流程？整個(gè)處理流程可以概括為五個(gè)步驟，即采集、預(yù)處理和集成、統(tǒng)計(jì)和分析、挖掘、數(shù)據(jù)可視化和應(yīng)用。收集大數(shù)據(jù)的采集是指使用多個(gè)數(shù)據(jù)庫(kù)從客戶(hù)端接收數(shù)據(jù)，用戶(hù)可以通過(guò)這些數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)單的查詢(xún)

數(shù)據(jù)處理5個(gè)基本流程？

整個(gè)處理流程可以概括為五個(gè)步驟，即采集、預(yù)處理和集成、統(tǒng)計(jì)和分析、挖掘、數(shù)據(jù)可視化和應(yīng)用。

收集

大數(shù)據(jù)的采集是指使用多個(gè)數(shù)據(jù)庫(kù)從客戶(hù)端接收數(shù)據(jù)，用戶(hù)可以通過(guò)這些數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)單的查詢(xún)和處理。R

數(shù)據(jù)處理5個(gè)基本流程？

什么是大數(shù)據(jù)處理的主要？

大數(shù)據(jù)的收集是指使用多個(gè)數(shù)據(jù)庫(kù)從客戶(hù)端(Web、App或傳感器等)接收數(shù)據(jù)。)，用戶(hù)可以通過(guò)這些數(shù)據(jù)庫(kù)進(jìn)行簡(jiǎn)單的查詢(xún)和處理。例如，電子商務(wù)公司使用傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)如MySQL和Oracle來(lái)存儲(chǔ)每筆交易的數(shù)據(jù)。此外，Redis和MongoDB等NoSQL數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)收集。

在收集大數(shù)據(jù)的過(guò)程中它的主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)榭赡軙?huì)有上千個(gè)用戶(hù)同時(shí)訪(fǎng)問(wèn)和操作，比如火車(chē)票售票網(wǎng)站和淘寶，其并發(fā)訪(fǎng)問(wèn)量高峰時(shí)達(dá)到數(shù)百萬(wàn)，所以需要在采集端部署大量的數(shù)據(jù)庫(kù)來(lái)支撐。而如何在這些數(shù)據(jù)庫(kù)之間進(jìn)行負(fù)載均衡和碎片化，確實(shí)需要深入的思考和設(shè)計(jì)。

2.大數(shù)據(jù)處理II:導(dǎo)入/預(yù)處理

雖然采集終端本身有很多數(shù)據(jù)庫(kù)，但是要想有效的分析這些海量數(shù)據(jù)，就要把這些數(shù)據(jù)從前端導(dǎo)入到一個(gè)集中式的大型分布式數(shù)據(jù)庫(kù)或者分布式存儲(chǔ)集群中，在導(dǎo)入的基礎(chǔ)上可以做一些簡(jiǎn)單的清理和預(yù)處理。也有一些用戶(hù)在導(dǎo)入時(shí)會(huì)使用來(lái)自Twitter的Storm來(lái)流數(shù)據(jù)，以滿(mǎn)足一些業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。

導(dǎo)入和預(yù)處理過(guò)程的特點(diǎn)和挑戰(zhàn)主要是導(dǎo)入數(shù)據(jù)量大，往往達(dá)到每秒百兆甚至千兆的水平。

3.大數(shù)據(jù)處理III:統(tǒng)計(jì)/分析

統(tǒng)計(jì)分析主要是利用分布式數(shù)據(jù)庫(kù)或分布式計(jì)算集群，對(duì)存儲(chǔ)在其中的海量數(shù)據(jù)進(jìn)行分析歸類(lèi)，以滿(mǎn)足大多數(shù)常見(jiàn)的分析需求。在這方面，一些實(shí)時(shí)需求會(huì)使用EMC的GreenPlum，Oracle的Exadata，基于MySQL的Infobright，一些批量處理或者半結(jié)構(gòu)化的數(shù)據(jù)需求可以使用Hadoop。

統(tǒng)計(jì)與分析的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，會(huì)占用大量的系統(tǒng)資源，尤其是I/O。

4.大數(shù)據(jù)處理IV:挖掘

不同于以往的統(tǒng)計(jì)和分析過(guò)程，數(shù)據(jù)挖掘一般沒(méi)有預(yù)設(shè)的主題，主要基于各種算法對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行計(jì)算，從而達(dá)到預(yù)測(cè)的效果，從而實(shí)現(xiàn)一些高層次數(shù)據(jù)分析的要求。典型的算法包括用于聚類(lèi)的Kmeans、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類(lèi)的NaiveBayes。使用的主要工具是Hadoop 看象人。這個(gè)過(guò)程的特點(diǎn)和挑戰(zhàn)是，用于挖掘的算法非常復(fù)雜，涉及的數(shù)據(jù)量和計(jì)算量非常大。常用的數(shù)據(jù)挖掘算法主要是單線(xiàn)程的。