Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計算系統(tǒng)框架？Hadoop支持python。我的理解是，任務(wù)通過yarn分配到工作節(jié)點，并通過shell調(diào)用。這種方法比原生Mr速

Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計算系統(tǒng)框架？

Hadoop支持python。我的理解是，任務(wù)通過yarn分配到工作節(jié)點，并通過shell調(diào)用。這種方法比原生Mr速度慢，因此沒有得到廣泛的應(yīng)用。

Spark應(yīng)該是Python的友好框架。要說缺點，畢竟是Scala或Java風(fēng)格的API，這對于Python是不夠的。在使用了panda和numpy之后，我覺得spark的API是比較基本的。

此外，python建議您學(xué)習(xí)dask和芹菜。Dask基于numpy和panda進行封裝，兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面?？偟膩碚f，這是個不錯的選擇。

作為一個分布式任務(wù)調(diào)度框架，cellery并不是專門為ETL設(shè)計的，所以它的性能比dask差。但我覺得作為一個生產(chǎn)體系，芹菜比較穩(wěn)定。

Python主要學(xué)習(xí)那幾個主流框架？

，Django，flag，tornado；

，scrapy；]，numpy，pandas，Matplotlib；]，tensorflow。

關(guān)注優(yōu)秀就業(yè)，多學(xué)習(xí)it知識。

學(xué)Python一定要會算法嗎？

開始時，您不必很好地學(xué)習(xí)算法。但是隨著技術(shù)的發(fā)展，仍然需要算法，否則只能做一些工作。

1. 學(xué)好軟件開發(fā)離不開計算機理論基礎(chǔ)，比如數(shù)據(jù)結(jié)構(gòu)、操作系統(tǒng)、網(wǎng)絡(luò)技術(shù)、算法研究等，如果你喜歡這項技術(shù)，那就不是問題。先開始，你可以彌補。

2. 算法是軟件開發(fā)的靈魂。好的算法寫不出好的程序。

3. 如何學(xué)習(xí)算法，首先選擇經(jīng)典算法教材?；镜目梢詮臄?shù)據(jù)結(jié)構(gòu)中學(xué)習(xí)，其中包含一些基本的算法，然后再學(xué)習(xí)特殊的算法（實際上，在數(shù)據(jù)結(jié)構(gòu)領(lǐng)域?qū)W習(xí)算法一般就足夠了）。網(wǎng)上還有很多論壇、算法網(wǎng)站，為了吸引眼球，它們一般都很通俗易懂。大多數(shù)算法都是C語言，但是語言在算法層次上是相互聯(lián)系的，因此理解算法模型是最重要的。

4. 萬事開頭難。只要你開始，剩下的就是慢慢操作這項技術(shù)。該算法在實際應(yīng)用中是最快、最強的。

希望對您有所幫助

1、web應(yīng)用程序開發(fā)

網(wǎng)站后臺程序員：使用它單一網(wǎng)站，后臺服務(wù)更容易維護。

類似的平臺，如Gmail、youtube、智湖、豆瓣等

2、網(wǎng)絡(luò)爬蟲

爬蟲是一個操作較多的場景，爬蟲獲取或處理大量信息：批量下載美劇，運行投資策略，爬經(jīng)適房，抓取各大網(wǎng)站的折扣信息，獲得最佳選擇；收集并分類社交網(wǎng)絡(luò)上的演講，生成情感地圖，分析語言習(xí)慣；抓取網(wǎng)易云音樂某類歌曲的所有評論，生成word cloud；通過條件過濾得到豆瓣的信息，生成電影、書籍和表格。

3. 艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾艾。Python在科學(xué)計算領(lǐng)域享有很好的聲譽。其簡潔明了的語法和豐富的計算工具深受該領(lǐng)域開發(fā)人員的喜愛。

4. 數(shù)據(jù)分析

一般來說，當(dāng)我們使用爬蟲來抓取大量的數(shù)據(jù)后，我們需要對數(shù)據(jù)進行分析處理。否則，爬蟲將徒勞地爬行，我們的最終目標(biāo)是分析數(shù)據(jù)。Python在這方面有非常豐富的數(shù)據(jù)分析庫，可以制作各種圖形分析圖。也很方便。Python擁有成熟的模塊來完成大數(shù)據(jù)分析所涉及的分布式計算、數(shù)據(jù)可視化和數(shù)據(jù)庫操作等功能。

5. 自動運維：自動處理大量運維任務(wù)

6。游戲開發(fā)者：一般嵌入游戲中作為游戲腳本

7。自動測試：作為一個簡單的實現(xiàn)腳本編寫，在selenium/LR中實現(xiàn)自動化。

8. 網(wǎng)站開發(fā)：借助Django和flash框架建立自己的網(wǎng)站。

近幾年熱火的Python語言，你認(rèn)為Python可以干什么？

大數(shù)據(jù)有很多方向。這取決于你的興趣、背景和職業(yè)發(fā)展計劃。比如：大數(shù)據(jù)架構(gòu)、大數(shù)據(jù)平臺運維、大數(shù)據(jù)開發(fā)、大數(shù)據(jù)算法、大數(shù)據(jù)分析、大數(shù)據(jù)可視化、大數(shù)據(jù)業(yè)務(wù)分析等，具體可以在排隊或請咖啡找大數(shù)據(jù)專家給你提建議。