大數(shù)據(jù)很難學(xué)嘛，我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù)，有大神指點(diǎn)一下嘛？碰巧我有很多大數(shù)據(jù)經(jīng)驗(yàn)要分享。大數(shù)據(jù)有幾個(gè)入口點(diǎn)：業(yè)務(wù)分析工程師、數(shù)據(jù)建模工程師和應(yīng)用程序開(kāi)發(fā)工程師。首先是業(yè)務(wù)分析工程師需要的技能因?yàn)榇髷?shù)據(jù)

大數(shù)據(jù)很難學(xué)嘛，我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù)，有大神指點(diǎn)一下嘛？

碰巧我有很多大數(shù)據(jù)經(jīng)驗(yàn)要分享。

大數(shù)據(jù)有幾個(gè)入口點(diǎn)：業(yè)務(wù)分析工程師、數(shù)據(jù)建模工程師和應(yīng)用程序開(kāi)發(fā)工程師。

首先是業(yè)務(wù)分析工程師需要的技能

因?yàn)榇髷?shù)據(jù)是用來(lái)產(chǎn)生業(yè)務(wù)的，20年前，大數(shù)據(jù)的典型應(yīng)用場(chǎng)景是商業(yè)智能（BI）

BI是在企業(yè)客戶多年積累的業(yè)務(wù)數(shù)據(jù)基礎(chǔ)上進(jìn)行二次挖掘，提取有意義的分析統(tǒng)計(jì)數(shù)據(jù)，方便企業(yè)決策者進(jìn)行決策分析。

業(yè)務(wù)分析工程師應(yīng)熟悉行業(yè)的業(yè)務(wù)邏輯，例如電信行業(yè)的復(fù)雜業(yè)務(wù)邏輯。它涉及到收款系統(tǒng)、票據(jù)生成、綜合業(yè)務(wù)臺(tái)賬和大客戶業(yè)務(wù)。

從業(yè)務(wù)邏輯上提出分析主題，讓設(shè)計(jì)工程師進(jìn)一步設(shè)計(jì)系統(tǒng)。

第二，數(shù)據(jù)建模工程師的技能

原來(lái)，我們需要Pb、數(shù)據(jù)庫(kù)等工具來(lái)建立數(shù)據(jù)庫(kù)，編寫(xiě)數(shù)據(jù)倉(cāng)庫(kù)的ETL腳本。

現(xiàn)在進(jìn)入機(jī)器學(xué)習(xí)和深度學(xué)習(xí)階段，需要對(duì)文本數(shù)據(jù)、音頻數(shù)據(jù)、圖像數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理，這比原來(lái)的要求要高。

最后，應(yīng)用程序開(kāi)發(fā)工程師

應(yīng)用程序開(kāi)發(fā)工程師，采用流行的開(kāi)源框架，編碼好，界面好，數(shù)據(jù)接口好。使用的軟件和框架基本上取決于每個(gè)公司繼續(xù)使用什么。一般來(lái)說(shuō)，它已經(jīng)積累多年，有自己的一套。

以上是我的一份。一言以蔽之，所謂萬(wàn)時(shí)法則，在長(zhǎng)期沉浸于一個(gè)行業(yè)之后，就可以成為專(zhuān)家，只要你堅(jiān)持，就能成功

如何用spark實(shí)現(xiàn)好友推薦？

1. Spark-mllib是用推薦程序?qū)崿F(xiàn)的，它封裝了als（alternativeleastsquares）來(lái)求解用戶項(xiàng)目評(píng)分矩陣的空值，只要應(yīng)用了數(shù)據(jù)就可以使用。缺點(diǎn)是不能增量計(jì)算，占用大量?jī)?nèi)存。

2. 協(xié)同過(guò)濾、基于項(xiàng)目或用戶的聚類(lèi)、SVM/Bayes的封裝，具體思路應(yīng)該不用多說(shuō)。實(shí)施強(qiáng)化學(xué)習(xí)，實(shí)時(shí)反饋更新模型，推送給用戶。這是最困難和最時(shí)尚的

一開(kāi)始，你不必學(xué)好算法。但是隨著技術(shù)的發(fā)展，仍然需要算法，否則只能做一些工作。

1. 學(xué)好軟件開(kāi)發(fā)離不開(kāi)計(jì)算機(jī)理論基礎(chǔ)，比如數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、網(wǎng)絡(luò)技術(shù)、算法研究等，如果你喜歡這項(xiàng)技術(shù)，那就不是問(wèn)題。先開(kāi)始，你可以彌補(bǔ)。

2. 算法是軟件開(kāi)發(fā)的靈魂。好的算法寫(xiě)不出好的程序。

3. 如何學(xué)習(xí)算法，首先選擇經(jīng)典算法教材?；镜目梢詮臄?shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)，其中包含一些基本的算法，然后再學(xué)習(xí)特殊的算法（實(shí)際上，在數(shù)據(jù)結(jié)構(gòu)領(lǐng)域?qū)W習(xí)算法一般就足夠了）。為了吸引網(wǎng)絡(luò)論壇的關(guān)注，有很多簡(jiǎn)單的算法。大多數(shù)算法都是C語(yǔ)言，但是語(yǔ)言在算法層次上是相互聯(lián)系的，因此理解算法模型是最重要的。

4. 萬(wàn)事開(kāi)頭難。只要你開(kāi)始，剩下的就是慢慢操作這項(xiàng)技術(shù)。該算法在實(shí)際應(yīng)用中是最快、最強(qiáng)的。

我希望我能幫助你