產(chǎn)品架構(gòu) 大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點(diǎn)一下嘛?
大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點(diǎn)一下嘛?碰巧我有很多大數(shù)據(jù)經(jīng)驗(yàn)要分享。大數(shù)據(jù)有幾個(gè)入口點(diǎn):業(yè)務(wù)分析工程師、數(shù)據(jù)建模工程師和應(yīng)用程序開(kāi)發(fā)工程師。首先是業(yè)務(wù)分析工程師需要的技能因?yàn)榇髷?shù)據(jù)
大數(shù)據(jù)很難學(xué)嘛,我轉(zhuǎn)行想要學(xué)習(xí)it技術(shù),有大神指點(diǎn)一下嘛?
碰巧我有很多大數(shù)據(jù)經(jīng)驗(yàn)要分享。
大數(shù)據(jù)有幾個(gè)入口點(diǎn):業(yè)務(wù)分析工程師、數(shù)據(jù)建模工程師和應(yīng)用程序開(kāi)發(fā)工程師。
首先是業(yè)務(wù)分析工程師需要的技能
因?yàn)榇髷?shù)據(jù)是用來(lái)產(chǎn)生業(yè)務(wù)的,20年前,大數(shù)據(jù)的典型應(yīng)用場(chǎng)景是商業(yè)智能(BI)
BI是在企業(yè)客戶(hù)多年積累的業(yè)務(wù)數(shù)據(jù)基礎(chǔ)上進(jìn)行二次挖掘,提取有意義的分析統(tǒng)計(jì)數(shù)據(jù),方便企業(yè)決策者進(jìn)行決策分析。
業(yè)務(wù)分析工程師應(yīng)熟悉行業(yè)的業(yè)務(wù)邏輯,例如電信行業(yè)的復(fù)雜業(yè)務(wù)邏輯。它涉及到收款系統(tǒng)、票據(jù)生成、綜合業(yè)務(wù)臺(tái)賬和大客戶(hù)業(yè)務(wù)。
從業(yè)務(wù)邏輯上提出分析主題,讓設(shè)計(jì)工程師進(jìn)一步設(shè)計(jì)系統(tǒng)。
第二,數(shù)據(jù)建模工程師的技能
原來(lái),我們需要Pb、數(shù)據(jù)庫(kù)等工具來(lái)建立數(shù)據(jù)庫(kù),編寫(xiě)數(shù)據(jù)倉(cāng)庫(kù)的ETL腳本。
現(xiàn)在進(jìn)入機(jī)器學(xué)習(xí)和深度學(xué)習(xí)階段,需要對(duì)文本數(shù)據(jù)、音頻數(shù)據(jù)、圖像數(shù)據(jù)等非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行管理,這比原來(lái)的要求要高。
最后,應(yīng)用程序開(kāi)發(fā)工程師
應(yīng)用程序開(kāi)發(fā)工程師,采用流行的開(kāi)源框架,編碼好,界面好,數(shù)據(jù)接口好。使用的軟件和框架基本上取決于每個(gè)公司繼續(xù)使用什么。一般來(lái)說(shuō),它已經(jīng)積累多年,有自己的一套。
以上是我的一份。一言以蔽之,所謂萬(wàn)時(shí)法則,在長(zhǎng)期沉浸于一個(gè)行業(yè)之后,就可以成為專(zhuān)家,只要你堅(jiān)持,就能成功
學(xué)大數(shù)據(jù)之后能做什么工作?
1. 數(shù)據(jù)挖掘工程師
要做數(shù)據(jù)挖掘,我們需要一定的數(shù)學(xué)知識(shí)從海量數(shù)據(jù)中發(fā)現(xiàn)規(guī)律,如線(xiàn)性代數(shù)、高等代數(shù)、凸優(yōu)化、概率論等
PS:常用的語(yǔ)言有python、Java、C或C,有些人用的python或Java更多。有時(shí),MapReduce用于編寫(xiě)程序,然后Hadoop或Hyp用于處理數(shù)據(jù)。如果使用Python,它將與spark相結(jié)合。
2. Hadoop開(kāi)發(fā)工程師
精通整個(gè)Hadoop生態(tài)系統(tǒng)的組件,如紗線(xiàn)、HBase、蜂巢、豬等重要組件,可以實(shí)現(xiàn)平臺(tái)監(jiān)控和輔助運(yùn)維系統(tǒng)的開(kāi)發(fā)。Hadoop工程師主要關(guān)注開(kāi)發(fā)層面,即圍繞大數(shù)據(jù)平臺(tái)的系統(tǒng)級(jí)研發(fā)人員,精通Hadoop大數(shù)據(jù)平臺(tái)的核心框架,能夠使用Hadoop提供的通用算法,
3。數(shù)據(jù)分析員
數(shù)據(jù)分析員是一種數(shù)據(jù)分析員[“det????n],是指從事行業(yè)數(shù)據(jù)收集、整理和分析,并根據(jù)數(shù)據(jù)進(jìn)行行業(yè)研究、評(píng)估和預(yù)測(cè)的不同行業(yè)的專(zhuān)業(yè)人員。
PS:作為一名數(shù)據(jù)分析師,您至少需要精通SPSS、static、Eviews、SAS等數(shù)據(jù)分析軟件。一個(gè)優(yōu)秀的數(shù)據(jù)分析師不應(yīng)該在業(yè)務(wù)、管理、分析、工具和設(shè)計(jì)方面落后。
4. 大數(shù)據(jù)分析師
流行點(diǎn),這是集Hadoop開(kāi)發(fā)工程師和數(shù)據(jù)分析師、數(shù)據(jù)挖掘工程師為一體的大人才。如果你能做到所有這些并且有一些經(jīng)驗(yàn),那么薪水就不用說(shuō)了。
5. 大數(shù)據(jù)可視化工程師
需要獨(dú)立熟悉storm、spark等計(jì)算框架、Scala/Python語(yǔ)言、java開(kāi)發(fā)、SSM項(xiàng)目、NoSQL如redis或mongodb、Linux基本操作、java多線(xiàn)程開(kāi)發(fā)能力、程序設(shè)計(jì)模式、數(shù)據(jù)庫(kù)和ETL流程。
在現(xiàn)代和當(dāng)代的培訓(xùn)行業(yè),如果你想賺錢(qián),你必須跟上進(jìn)步的步伐,踏上新技術(shù)的熱潮。