大數(shù)據(jù)包含以下四個特征:

1.巨量:數(shù)據(jù)量巨大，以TB -

從用途上來說大數(shù)據(jù)技術(shù)可以分為？

有很多算法和模型可以解決這些過程中的技術(shù)問題，并且為了方便終端用戶，大部分都進一步封裝，形成了一個相對簡單易用的操作平臺。目前大數(shù)據(jù)技術(shù)平臺有很多，可以按照以下進行分類:

(1)從大數(shù)據(jù)處理的過程來看，包括數(shù)據(jù)存儲、數(shù)據(jù)挖掘和分析，以及為高效分析和挖掘而設(shè)計的計算平臺。它們完成數(shù)據(jù)收集、ETL、存儲、結(jié)構(gòu)化處理、挖掘、分析、預(yù)測和應(yīng)用的功能。

(2)根據(jù)大數(shù)據(jù)處理的數(shù)據(jù)類型，可分為關(guān)系型數(shù)據(jù)、非關(guān)系型數(shù)據(jù)(圖形數(shù)據(jù)、文本數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等)的技術(shù)平臺。)，半結(jié)構(gòu)化數(shù)據(jù)和混合數(shù)據(jù)處理。

(3)從大數(shù)據(jù)處理的來看，可以分為批量處理、實時處理和綜合處理。其中，批量數(shù)據(jù)是對批量數(shù)據(jù)的一次性處理，而實時處理(流處理)對處理延遲有嚴格的要求。綜合處理是指同時存在批處理和實時處理兩種。

(4)從平臺到數(shù)據(jù)部門看可以分為基于內(nèi)存的和基于磁盤的。前者在內(nèi)存中交換分布式系統(tǒng)中的數(shù)據(jù)，后者通過磁盤文件交換數(shù)據(jù)。

此外，技術(shù)平臺可分為分布式和集中式、云環(huán)境和非云環(huán)境。阿里云大數(shù)據(jù)平臺建立在阿里云 s云計算基礎(chǔ)設(shè)施，為用戶提供大數(shù)據(jù)存儲、計算能力、大數(shù)據(jù)分析挖掘、輸出展示等服務(wù)。用戶可以輕松實現(xiàn)BI商業(yè)智能和人工智能服務(wù)，具備一站式數(shù)據(jù)應(yīng)用能力。

不同的大數(shù)據(jù)技術(shù)平臺為這些流程提供支持。有些平臺可能支持多個流程，但側(cè)重點不同，支持的深度也不同。所以在實際應(yīng)用中需要熟悉各種平臺的功能，進行對比分析，才能選擇適合自己需求的技術(shù)平臺。

選擇一個合適的大數(shù)據(jù)技術(shù)平臺非常重要，可以讓大數(shù)據(jù)應(yīng)用開發(fā)更容易，讓開發(fā)者更專注于業(yè)務(wù)層面的數(shù)據(jù)分析和處理。一些常見的基礎(chǔ)問題，比如如何存儲數(shù)據(jù)，如何檢索數(shù)據(jù)，數(shù)據(jù)統(tǒng)計等等，都可以由平臺來完成。選擇合適的大數(shù)據(jù)技術(shù)平臺應(yīng)考慮以下因素:

(1)平臺的功能和性能:由于不同的平臺側(cè)重于不同的功能，所以平臺的性能有很多方面需要考察。比如對于存儲平臺來說，數(shù)據(jù)存儲效率、讀寫效率、并發(fā)訪問能力、對結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲的支持、提供的數(shù)據(jù)訪問接口更為重要。對于大數(shù)據(jù)挖掘平臺來說，支持的挖掘算法、算法的封裝程度、數(shù)據(jù)挖掘結(jié)果的展現(xiàn)能力、挖掘算法的時空復雜度是更重要的指標。

(2)平臺的集成性:好的平臺應(yīng)該具有較高的集成度，為用戶提供良好的操作界面，完整的幫助和用戶手冊，系統(tǒng)易于配置和移植。同時，隨著目前軟件開源的趨勢，開源平臺有助于其版本的快速升級和盡早發(fā)現(xiàn)bug。此外，開源架構(gòu)更容易擴展和植入更多新算法，這對終端用戶也更重要。

(3)是否符合技術(shù)的發(fā)展趨勢:大數(shù)據(jù)技術(shù)是當前發(fā)展和研究的熱點，最終會逐漸成熟。可以預(yù)見，并不是所有的技術(shù)平臺都能在這個過程中存活下來。只有符合技術(shù)發(fā)展趨勢的技術(shù)平臺，才會被用戶和技術(shù)開發(fā)者所接受。因此，一些不支持分布式和集群計算的平臺只能專注于對少量數(shù)據(jù)的挖掘算法的驗證。與云計算、物聯(lián)網(wǎng)和人工智能密切相關(guān)的技術(shù)平臺將成為技術(shù)發(fā)展的主流和趨勢。

加快了技術(shù)的迭代更新速度。當我們花大量的時間去熟悉某個技術(shù)平臺的時候，可能會出現(xiàn)一個新的更好的技術(shù)平臺，導致我們?nèi)ド孀愀鞣N各樣的技術(shù)平臺。所以，最好的策略是滿倉。系統(tǒng)掌握大數(shù)據(jù)技術(shù)的原理和實現(xiàn)方案，學習新的技術(shù)平臺就容易了。