設計算法需要考慮什么 機器學習需要哪些數(shù)學基礎?
機器學習需要哪些數(shù)學基礎?對于搞機器學習的同學來說,高等數(shù)學、線性代數(shù)和概率論與數(shù)理統(tǒng)計是最重要的三門的數(shù)學基礎了。下面我來分別說明這三方面在機器學習中的作用一. 高等數(shù)學高等數(shù)學里面的微積分、牛頓迭
機器學習需要哪些數(shù)學基礎?
對于搞機器學習的同學來說,高等數(shù)學、線性代數(shù)和概率論與數(shù)理統(tǒng)計是最重要的三門的數(shù)學基礎了。下面我來分別說明這三方面在機器學習中的作用
一. 高等數(shù)學高等數(shù)學里面的微積分、牛頓迭代、拉格朗日乘數(shù)法、泰勒展開等等知識點在機器學習中都有應用到。例如在邏輯回歸模型求梯度時候需要求偏導、優(yōu)化目標使用的牛頓迭代方法、帶約束優(yōu)化問題的SVM需要用到拉格朗日乘數(shù)法等等,還有其它高等數(shù)學的知識點在機器學習中或多或少都有體現(xiàn)。
二. 線性代數(shù)推薦系統(tǒng)使用的SVD分解、張量分解、非負矩陣分解NMF,PCA主成分分析中求特征值、矩陣運算。下面我貼一下之前我用矩陣求導解最小二乘問題的公式推導過程,可以體會一下線性代數(shù)的重要程度。
最小二乘的解,可以通過梯度下降迭代或牛頓迭代方法求解,但也可以基于矩陣求導來計算,它的計算更加簡潔高效,不需要大量迭代,只需解一個正規(guī)方程組。
總之,線性代數(shù)對于機器學習來說比高數(shù)還重要。
三. 概率論與數(shù)理統(tǒng)計概率論與數(shù)理統(tǒng)計那就更重要了,比如樸素貝葉斯分類和概率圖模型用到的貝葉斯公式,高斯過程、最大熵模型,采樣方法,NLP領域的大部分算法都與概率論相關,像基于LDA的主題模型、基于CRF的序列標注模型、分詞系統(tǒng)等等。
所以要搞機器學習,高等數(shù)學、線性代數(shù)和概率論與數(shù)理統(tǒng)計都是必不可少的數(shù)學基礎。
優(yōu)化算法有哪些?
優(yōu)化算法有很多,關鍵是針對不同的優(yōu)化問題,例如可行解變量的取值(連續(xù)還是離散)、目標函數(shù)和約束條件的復雜程度(線性還是非線性)等,應用不同的算法。
對于連續(xù)和線性等較簡單的問題,可以選擇一些經典算法,如梯度、Hessian 矩陣、拉格朗日乘數(shù)、單純形法、梯度下降法等。而對于更復雜的問題,則可考慮用一些智能優(yōu)化算法,如遺傳算法和蟻群算法,此外還包括模擬退火、禁忌搜索、粒子群算法等。
機械本科,要不要轉行算法領域?
作為一名科技領域的從業(yè)者,我來回答一下這個問題。
首先,目前算法崗位的人才培養(yǎng)主要以研究生教育為主,本科生轉向算法崗位具有較大的難度,一方面算法的設計、訓練和驗證需要數(shù)據(jù)和算力的支撐,另一方面算法設計領域的迭代速度也比較快,初學者在脫離課題的情況下,學習難度還是比較大的,也很難會深入下去。
算法崗位在大數(shù)據(jù)和人工智能技術的推動下,近些年來得到了廣泛的關注,由于科技企業(yè)紛紛布局大數(shù)據(jù)和人工智能領域,所以曾掀起了算法人才的“爭奪戰(zhàn)”,但是隨著人工智能產品目前依然存在落地難問題,所以目前算法崗位的人才招聘下滑趨勢明顯。
從2018年和2019年這兩屆研究生的就業(yè)情況來看,算法崗位的招聘數(shù)量還是比較少的,以往大熱的視覺方向和自然語言處理方向的算法崗位也出現(xiàn)了較為明顯的下滑,所以不少相關方向的研究生都轉向了開發(fā)崗位,這是一個比較明顯的變化。所以,在這個大背景下,機械專業(yè)的本科生要想轉向算法領域,就業(yè)可能存在比較大的問題。
算法崗位招聘數(shù)量下降并不代表大數(shù)據(jù)和人工智能的研發(fā)放緩了腳步,實際上導致這種情況的主要原因是早期不少科技企業(yè)在沒有做好實際規(guī)劃的情況下,就招聘了大量的算法人才,而由于算法設計往往需要一個系統(tǒng)的過程,所以算法人才的崗位迭代速度并沒有開發(fā)崗位那么快,所以未來算法崗位的招聘將很難再出現(xiàn)大面積爆發(fā)的情況。
最后,近兩年大數(shù)據(jù)開發(fā)崗位的人才需求量還是比較大的,可以重點考慮一下。
我從事互聯(lián)網行業(yè)多年,目前也在帶計算機專業(yè)的研究生,主要的研究方向集中在大數(shù)據(jù)和人工智能領域,我會陸續(xù)寫一些關于互聯(lián)網技術方面的文章,感興趣的朋友可以關注我,相信一定會有所收獲。
如果有互聯(lián)網、大數(shù)據(jù)、人工智能等方面的問題,或者是考研方面的問題,都可以在評論區(qū)留言,或者私信我!