開發(fā)spark用java合適嗎 java開發(fā),轉(zhuǎn)大數(shù)據(jù)好還是機器學(xué)習?
java開發(fā),轉(zhuǎn)大數(shù)據(jù)好還是機器學(xué)習?謝謝。我建議轉(zhuǎn)向大數(shù)據(jù)。我也從事java開發(fā),我對這個主題的糾纏也有同樣的感受。畢竟,如果我精通Java,我已經(jīng)付出了大量的學(xué)習精力。如果我學(xué)習機器學(xué)習,我基本上
java開發(fā),轉(zhuǎn)大數(shù)據(jù)好還是機器學(xué)習?
謝謝。我建議轉(zhuǎn)向大數(shù)據(jù)。
我也從事java開發(fā),我對這個主題的糾纏也有同樣的感受。畢竟,如果我精通Java,我已經(jīng)付出了大量的學(xué)習精力。如果我學(xué)習機器學(xué)習,我基本上想告別Java,這無疑是一個非常不幸的選擇。
此外,轉(zhuǎn)向機器學(xué)習不僅需要深入了解python,還需要掌握數(shù)學(xué)算法,這是不可能一蹴而就的。因此,轉(zhuǎn)向人工智能的風險相對較高,很容易打亂一個人的職業(yè)規(guī)劃。
目前,大數(shù)據(jù)方向仍是一個需求量大、前景好的工作方向。Java廣泛應(yīng)用于大數(shù)據(jù)領(lǐng)域。單憑Hadoop生態(tài)系統(tǒng)就足以完成大量的大數(shù)據(jù)工作,而Hadoop和Java是分不開的。
最重要的是大數(shù)據(jù)方向不會低于機器學(xué)習的工資,機器學(xué)習還處于初級階段。別擔心工資問題。
大數(shù)據(jù)處理為何選擇spark?
Spark是大數(shù)據(jù)時代的產(chǎn)物。它可以基于HDFS中存儲的海量數(shù)據(jù),對每個數(shù)據(jù)節(jié)點上的任務(wù)進行分布式處理。Spark將大規(guī)模計算任務(wù)分解為有向無環(huán)圖,并按拓撲順序執(zhí)行圖中的任務(wù)。通過yarn的調(diào)度,可以充分利用分布式系統(tǒng)的計算資源(主要是CPU和內(nèi)存)。與MapReduce相比,spark可以基于內(nèi)存計算(內(nèi)存不足時重新存儲磁盤)進行改進,而MapReduce基于磁盤計算,因此spark的計算速度相當快,可以將普通MapReduce的耗時壓縮10倍。在我們的日常工作中,我們可以早點完成數(shù)據(jù)處理,早點下班。
在大數(shù)據(jù)場景下,如果使用傳統(tǒng)的MySQL數(shù)據(jù)庫通過SQL進行查詢,需要花費大量精力將數(shù)據(jù)庫和表分開,維護數(shù)據(jù),并且經(jīng)常面臨數(shù)據(jù)庫查詢速度慢的問題。您仍然需要有一個基于HDFS的數(shù)據(jù)倉庫,并使用spark進行數(shù)據(jù)處理。快用火花!