你為什么從后端開(kāi)發(fā)（JAVA/golang）轉(zhuǎn)到大數(shù)據(jù)開(kāi)發(fā)（Hadoop/Spark）？這個(gè)問(wèn)題有點(diǎn)難回答。作為過(guò)路人，試著回答。無(wú)論是Java、go還是Hadoop spark，都沒(méi)有本質(zhì)的區(qū)別。它

你為什么從后端開(kāi)發(fā)（JAVA/golang）轉(zhuǎn)到大數(shù)據(jù)開(kāi)發(fā)（Hadoop/Spark）？

這個(gè)問(wèn)題有點(diǎn)難回答。作為過(guò)路人，試著回答。

無(wú)論是Java、go還是Hadoop spark，都沒(méi)有本質(zhì)的區(qū)別。它們都是針對(duì)特定業(yè)務(wù)場(chǎng)景的開(kāi)發(fā)服務(wù)。

比如Java go主要用于業(yè)務(wù)開(kāi)發(fā)，比如各種業(yè)務(wù)系統(tǒng)的后臺(tái)，各種應(yīng)用或者PC服務(wù)，比如淘寶。要解決的主要矛盾是實(shí)現(xiàn)業(yè)務(wù)需求，要提高規(guī)模。矛盾在于如何解決并發(fā)、流量、服務(wù)管理、容量擴(kuò)展、存儲(chǔ)和災(zāi)難恢復(fù)等問(wèn)題。

Hadoop spark是為了解決大數(shù)據(jù)問(wèn)題而產(chǎn)生的，解決問(wèn)題的場(chǎng)景是圍繞大數(shù)據(jù)的存儲(chǔ)和計(jì)算而產(chǎn)生的。當(dāng)業(yè)務(wù)規(guī)模不上來(lái)時(shí)，數(shù)據(jù)的存儲(chǔ)和計(jì)算都不是問(wèn)題，比如用戶行為的統(tǒng)計(jì)、點(diǎn)擊、用戶分析等。這些大數(shù)據(jù)框架根本不需要。通常，一臺(tái)機(jī)器就可以做到。如果一臺(tái)機(jī)器可以做到這一點(diǎn)，它當(dāng)然不需要多臺(tái)機(jī)器分布式。

當(dāng)業(yè)務(wù)規(guī)模擴(kuò)大時(shí)，單臺(tái)機(jī)器或。即使是多機(jī)的，沒(méi)有這些大數(shù)據(jù)包，從頭開(kāi)始構(gòu)建輪子也是不明智和經(jīng)濟(jì)的。例如，這家餐館過(guò)去常常雇人洗碗。如果餐館生意好一點(diǎn)，可以通過(guò)雇傭更多的人來(lái)做。經(jīng)過(guò)發(fā)展，生意越來(lái)越好。研究發(fā)現(xiàn)，直接購(gòu)買(mǎi)洗碗機(jī)或外包給洗碗機(jī)公司，效率更高，質(zhì)量更好。我們的生意也一樣。當(dāng)我們擴(kuò)大規(guī)模時(shí)，我們必須將這些Hadoop spark用于大數(shù)據(jù)。又快又好。

說(shuō)了這么多，基本上是基于業(yè)務(wù)規(guī)模。與其無(wú)緣無(wú)故地轉(zhuǎn)向，不如有轉(zhuǎn)向的動(dòng)力。

另一方面，對(duì)于個(gè)人來(lái)說(shuō)，等待業(yè)務(wù)再次改變有點(diǎn)晚了。當(dāng)技術(shù)出現(xiàn)時(shí)，它是對(duì)個(gè)人技術(shù)洞察力的一次巨大考驗(yàn)。畢竟，一個(gè)人的經(jīng)驗(yàn)是有限的。選擇一種天花板高、應(yīng)用廣泛的技術(shù)路線是非常重要的。提前學(xué)習(xí)布局。2010年，在Hadoop剛剛興起的時(shí)候，如果你對(duì)Hadoop數(shù)字很熟悉，也很專業(yè)，比如成為Hadoop的提交者，那么毫無(wú)疑問(wèn)，它一定是業(yè)界的一頭大牛。阿里巴巴、百度和騰訊隨意進(jìn)入。所以你看，選擇和努力一樣重要。

一個(gè)是業(yè)務(wù)需求，另一個(gè)是個(gè)人技術(shù)見(jiàn)解和高級(jí)布局。hadoopspark在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)一直是一種需求量很大的技術(shù)。然而，經(jīng)過(guò)近10年的發(fā)展，大數(shù)據(jù)如今已經(jīng)遍地開(kāi)花。例如，弗林克有取代火花的傾向。

總之，我們應(yīng)該向內(nèi)看業(yè)務(wù)需要，向外看行業(yè)需要。

歡迎關(guān)注代碼老王，他已經(jīng)專業(yè)玩代碼30年了。

Spark支持通過(guò)GO語(yǔ)言編寫(xiě)程序嗎？

最新的官方API接口不支持go。