數(shù)學(xué)差是連機(jī)器學(xué)習(xí)都學(xué)不了嗎？數(shù)學(xué)在機(jī)器學(xué)習(xí)中的重要性毋庸置疑，建議盡量掌握機(jī)器學(xué)習(xí)的相關(guān)數(shù)學(xué)知識(shí)。當(dāng)然，對(duì)于初學(xué)者，你不 開(kāi)始機(jī)器學(xué)習(xí)不一定需要掌握大量的數(shù)學(xué)知識(shí)。學(xué)習(xí)數(shù)學(xué)的同時(shí)可以掌握更多的算法和

數(shù)學(xué)差是連機(jī)器學(xué)習(xí)都學(xué)不了嗎？

數(shù)學(xué)在機(jī)器學(xué)習(xí)中的重要性毋庸置疑，建議盡量掌握機(jī)器學(xué)習(xí)的相關(guān)數(shù)學(xué)知識(shí)。當(dāng)然，對(duì)于初學(xué)者，你不 開(kāi)始機(jī)器學(xué)習(xí)不一定需要掌握大量的數(shù)學(xué)知識(shí)。學(xué)習(xí)數(shù)學(xué)的同時(shí)可以掌握更多的算法和技巧。

最近出現(xiàn)了很多簡(jiǎn)單易用的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的安裝包，比如scikit-learn、weka、tensorflow、r-caret等。機(jī)器學(xué)習(xí)的理論與統(tǒng)計(jì)學(xué)、概率論、計(jì)算機(jī)科學(xué)和算法相關(guān)，可用于構(gòu)建智能應(yīng)用。雖然機(jī)器和深度學(xué)習(xí)前景廣闊，但就這些技術(shù)而言，透徹的數(shù)學(xué)理解對(duì)于掌握內(nèi)部運(yùn)算和獲得更好的結(jié)果是非常必要的。

數(shù)學(xué)對(duì)機(jī)器學(xué)習(xí)的重要性在于，比如:1。選擇合適的算法，包括考慮精度、訓(xùn)練時(shí)間、模型復(fù)雜度、參數(shù)和定量特征；2.選擇參數(shù)設(shè)置和驗(yàn)證策略；3.通過(guò)理解偏差方差的權(quán)衡來(lái)識(shí)別欠擬合和過(guò)擬合；4.估計(jì)正確的置信區(qū)間和不確定性。

機(jī)器學(xué)習(xí)中的許多數(shù)學(xué)公式和理論仍在研究中，研究人員正在開(kāi)發(fā)更先進(jìn)的技術(shù)。一般來(lái)說(shuō)，成為機(jī)器學(xué)習(xí)科學(xué)家/工程師所需的最低數(shù)學(xué)水平主要包括:

1.線(xiàn)性代數(shù):在ML中，線(xiàn)性代數(shù)無(wú)處不在。主成分分析(PCA)、奇異值分解(SVD)、矩陣的特征分解、LU分解、QR分解/因式分解、對(duì)稱(chēng)矩陣、正交化和正交化、矩陣運(yùn)算、投影、特征值和特征向量、向量空間和歸一化都是理解機(jī)器學(xué)習(xí)及其優(yōu)化方法所必需的。麻省理工學(xué)院(麻省理工學(xué)院(Gilb

數(shù)據(jù)分析需要用什么技術(shù)？java還python好一點(diǎn)？

我猜樓主問(wèn)這個(gè)問(wèn)題主要是因?yàn)樗麤](méi)有 我不太懂?dāng)?shù)據(jù)分析技術(shù)。

讓 讓我們從結(jié)論開(kāi)始:

如果你想建立一個(gè)完整的數(shù)據(jù)分析解決方案，從存儲(chǔ)，數(shù)據(jù)處理和清洗，分析和可視化，那么使用java。畢竟java里有很多解決方案和框架，比如hadoop，spark，flink Flink。

如果你只是純數(shù)據(jù)分析，數(shù)據(jù)集相對(duì)簡(jiǎn)單，比如你想在excel或者數(shù)據(jù)庫(kù)中快速檢索、查詢(xún)、提煉你想要的數(shù)據(jù)，那就用python。

讓 讓我們來(lái)看看企業(yè)當(dāng)前對(duì)數(shù)據(jù)分析的需求:

20%的數(shù)據(jù)發(fā)揮80%的商業(yè)價(jià)值；

80%的數(shù)據(jù)請(qǐng)求只針對(duì)20%的數(shù)據(jù)。

目前，無(wú)論是數(shù)據(jù)存儲(chǔ)、處理、分析還是挖掘，最完整、最成熟的生態(tài)系統(tǒng)都是基于關(guān)系數(shù)據(jù)庫(kù)，如報(bào)表、在線(xiàn)分析等工具；此外，數(shù)據(jù)分析師對(duì)SQL、R、Python數(shù)據(jù)分析包等查詢(xún)分析語(yǔ)言的重視程度要高于編程語(yǔ)言。

"28 "企業(yè)大數(shù)據(jù)平臺(tái)建設(shè)原理是將20%最有價(jià)值的數(shù)據(jù)以結(jié)構(gòu)化的形式存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，供業(yè)務(wù)人員查詢(xún)分析；而80%的數(shù)據(jù)以非結(jié)構(gòu)化和原始的形式存儲(chǔ)在Hadoop等相對(duì)廉價(jià)的平臺(tái)上，供具有一定數(shù)據(jù)挖掘技術(shù)的數(shù)據(jù)分析師或數(shù)據(jù)工程師進(jìn)行下一步的數(shù)據(jù)處理。處理后的數(shù)據(jù)可以以數(shù)據(jù)集市或數(shù)據(jù)模型的形式存儲(chǔ)在NoSQL數(shù)據(jù)庫(kù)中，這也是 "離線(xiàn) "和 "在線(xiàn) "后面要提到的數(shù)據(jù)。

數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)是交易型數(shù)據(jù)到分析型數(shù)據(jù)的轉(zhuǎn)換，需要包括:分析的主題、數(shù)據(jù)的維度和層次、數(shù)據(jù)的歷史變化等。對(duì)于大數(shù)據(jù)平臺(tái)，對(duì)分析的需求會(huì)更加細(xì)致，包括:

查詢(xún):快速響應(yīng)組合條件查詢(xún)、模糊查詢(xún)和標(biāo)簽。

搜索:包括搜索非結(jié)構(gòu)化文檔和對(duì)返回的結(jié)果進(jìn)行排序。

統(tǒng)計(jì):實(shí)時(shí)反映變化，如網(wǎng)上銷(xiāo)售訂單、電商平臺(tái)發(fā)貨計(jì)算的庫(kù)存顯示等。

挖掘:支持挖掘算法和機(jī)器學(xué)習(xí)的訓(xùn)練集。

根據(jù)不同的數(shù)據(jù)處理需求，可能需要設(shè)計(jì)不同的數(shù)據(jù)存儲(chǔ)，也需要考慮如何快速將數(shù)據(jù)復(fù)制到相應(yīng)的存儲(chǔ)點(diǎn)，并進(jìn)行適當(dāng)?shù)慕Y(jié)構(gòu)轉(zhuǎn)換，以便分析師快速響應(yīng)業(yè)務(wù)需求。

JAVA技術(shù)堆棧:

Hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)設(shè)施。

它解決了大數(shù)據(jù)的可靠存儲(chǔ)(HDFS)和MapReduce問(wèn)題(大到一臺(tái)計(jì)算機(jī)無(wú)法存儲(chǔ)，一臺(tái)計(jì)算機(jī)無(wú)法在要求的時(shí)間內(nèi)處理)。

Hive建立在Hadoop之上，是一個(gè)以Hadoop為底層存儲(chǔ)的批處理系統(tǒng)。(可以理解為MapReduce的一個(gè)外殼)

蜂巢是為了減少馬生產(chǎn)作業(yè)的匯編。

HBaseHBase是一個(gè)鍵/值系統(tǒng)，在HDFS上運(yùn)行。

Hbase是為了解決Hadoop的實(shí)時(shí)性要求。

Spark和StormSpark和Storm都是通用的并行計(jì)算框架。

解決Hadoop只適合離線(xiàn)數(shù)據(jù)處理，不能提供實(shí)時(shí)數(shù)據(jù)處理能力的問(wèn)題。

差異:

1.Spark的思想是，當(dāng)數(shù)據(jù)龐大時(shí)，將計(jì)算過(guò)程轉(zhuǎn)移到數(shù)據(jù)上比將數(shù)據(jù)轉(zhuǎn)移到計(jì)算過(guò)程上更有效率。Storm將數(shù)據(jù)傳遞給計(jì)算過(guò)程。

2.基于不同的設(shè)計(jì)理念，其應(yīng)用領(lǐng)域也有所不同。Spark在現(xiàn)有數(shù)據(jù)集(比如Hadoop數(shù)據(jù))上工作，已經(jīng)導(dǎo)入Spark集群。Spark可以基于內(nèi)存管理掃描flash，最小化迭代算法的全局I/O操作。Storm更擅長(zhǎng)動(dòng)態(tài)處理大量生成的 "小數(shù)據(jù)塊 "(比如在Twitter數(shù)據(jù)流上實(shí)時(shí)計(jì)算一些聚合函數(shù)或者分析)。

Python技術(shù)棧

一張圖搞定

Python技術(shù)棧