什么是大數(shù)據(jù)概念？大數(shù)據(jù)(Megadata)，或稱巨量數(shù)據(jù)，是指海量的、高增長(zhǎng)率的、多樣化的信息資產(chǎn)，需要新的處理模式來(lái)具備更強(qiáng)的決策、洞察和流程優(yōu)化能力。目前如果涉及大數(shù)據(jù)技術(shù)，建議系統(tǒng)學(xué)習(xí)。自學(xué)沒(méi)

什么是大數(shù)據(jù)概念？

大數(shù)據(jù)(Megadata)，或稱巨量數(shù)據(jù)，是指海量的、高增長(zhǎng)率的、多樣化的信息資產(chǎn)，需要新的處理模式來(lái)具備更強(qiáng)的決策、洞察和流程優(yōu)化能力。

目前如果涉及大數(shù)據(jù)技術(shù)，建議系統(tǒng)學(xué)習(xí)。自學(xué)沒(méi)有方向，學(xué)習(xí)太碎片化。我推薦一家北京上學(xué)堂。已經(jīng)15年了，課程很專業(yè)。我的一個(gè)同事是經(jīng)過(guò)培訓(xùn)后被他家錄用的，技術(shù)操作和項(xiàng)目實(shí)戰(zhàn)真的可以。我記得他家的線上品牌是百戰(zhàn)程序員，上班族的工作性質(zhì)可以考慮在線學(xué)習(xí)。科技行業(yè)發(fā)展太快，需要學(xué)習(xí)投資，獲得升職加薪。

Victor Mayer-schoenberg和Kenneth Kukeye編制的《大數(shù)據(jù)時(shí)代》大數(shù)據(jù)是指所有數(shù)據(jù)都用于分析和處理，而不是隨機(jī)分析(抽樣調(diào)查)的捷徑。大數(shù)據(jù)的4V特征：體量(大數(shù)量)、速度(高速度)、多樣性(多樣性)、價(jià)值(價(jià)值)。

“大數(shù)據(jù)”的研究機(jī)構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是一種巨大的、高增長(zhǎng)的、多樣化的信息資產(chǎn)，需要一種新的處理模式，以具備更強(qiáng)的決策、洞察和流程優(yōu)化能力。

從技術(shù)上講，大數(shù)據(jù)和云計(jì)算的關(guān)系就像硬幣的正反面一樣密不可分。大數(shù)據(jù)不能用單臺(tái)計(jì)算機(jī)處理，必須采用分布式架構(gòu)。其特點(diǎn)在于海量數(shù)據(jù)的分布式數(shù)據(jù)挖掘，但必須依賴云計(jì)算、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)的分布式處理。

隨著云時(shí)代的到來(lái)，大數(shù)據(jù)受到越來(lái)越多的關(guān)注。據(jù)《著云臺(tái)》的分析師團(tuán)隊(duì)介紹，大數(shù)據(jù)通常用來(lái)描述一個(gè)公司創(chuàng)建的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，下載到關(guān)系數(shù)據(jù)庫(kù)進(jìn)行分析會(huì)耗費(fèi)太多的時(shí)間和金錢。大數(shù)據(jù)分析往往與云計(jì)算聯(lián)系在一起，因?yàn)榇髷?shù)據(jù)集的實(shí)時(shí)分析需要MapReduce這樣的框架將工作分配給幾十臺(tái)、幾百臺(tái)甚至幾千臺(tái)計(jì)算機(jī)。

大數(shù)據(jù)需要特殊的技術(shù)來(lái)有效處理大量可以容忍時(shí)間流逝的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理(MPP)數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電力網(wǎng)格、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展存儲(chǔ)系統(tǒng)。

大數(shù)據(jù)的特點(diǎn)。數(shù)據(jù)量大，數(shù)據(jù)類型多，實(shí)時(shí)性要求強(qiáng)，數(shù)據(jù)價(jià)值大。大數(shù)據(jù)存在于各行各業(yè)，但是大量的信息和咨詢是復(fù)雜的。我們需要對(duì)其深層次的規(guī)律進(jìn)行搜索、加工、分析、歸納和總結(jié)。

大數(shù)據(jù)的收集。隨著科學(xué)和互聯(lián)網(wǎng)的發(fā)展，大數(shù)據(jù)時(shí)代正在到來(lái)，各行各業(yè)每天都會(huì)產(chǎn)生大量的數(shù)據(jù)碎片。數(shù)據(jù)計(jì)量單位從字節(jié)、KB、MB、GB、TB發(fā)展到PB、EB、ZB、YB甚至BB、NB、DB。大數(shù)據(jù)時(shí)代，數(shù)據(jù)采集不再是技術(shù)問(wèn)題，但面對(duì)如此多的數(shù)據(jù)，如何才能找到其內(nèi)在規(guī)律？

大數(shù)據(jù)的挖掘和處理。大數(shù)據(jù)不是人腦可以計(jì)算和估計(jì)的，也不是單臺(tái)計(jì)算機(jī)可以處理的。它必須采用分布式計(jì)算架構(gòu)，依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)、云存儲(chǔ)和虛擬化技術(shù)。因此，大數(shù)據(jù)的挖掘和處理必須使用云技術(shù)。