Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計算系統(tǒng)框架？Hadoop支持python。我的理解是，任務通過yarn分配到工作節(jié)點，并通過shell調用。這種方法比原生Mr速

Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計算系統(tǒng)框架？

Hadoop支持python。我的理解是，任務通過yarn分配到工作節(jié)點，并通過shell調用。這種方法比原生Mr速度慢，因此沒有得到廣泛的應用。

Spark應該是Python的友好框架。要說缺點，畢竟是Scala或Java風格的API，這對于Python是不夠的。在使用了panda和numpy之后，我覺得spark的API是比較基本的。

此外，python建議您學習dask和芹菜。Dask基于numpy和panda進行封裝，兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面?？偟膩碚f，這是個不錯的選擇。

作為一個分布式任務調度框架，cellery并不是專門為ETL設計的，所以它的性能比dask差。但我覺得作為一個生產(chǎn)體系，芹菜比較穩(wěn)定。

從事python后端需要學什么技術？

對于Python學習者來說，他們需要掌握以下技術

網(wǎng)絡編程。網(wǎng)絡編程在生活和發(fā)展中無處不在。哪里有通信，哪里就有網(wǎng)絡。它可以稱為一切發(fā)展的“基石”。對于所有的編程開發(fā)人員來說，我們必須知道它是什么，為什么是這樣，所以網(wǎng)絡部分將從協(xié)議、包、解包等底層進行深入的分析。

2. 爬蟲開發(fā)。所有網(wǎng)絡數(shù)據(jù)作為資源，通過自動化程序進行有針對性的數(shù)據(jù)采集和處理。爬蟲開發(fā)項目包括跨越式反爬蟲策略、高性能異步IO、分布式爬蟲等，并對scrapy框架的源代碼進行分析，了解其原理，實現(xiàn)定制的爬蟲框架。

3. 網(wǎng)絡開發(fā)。Web開發(fā)包括前端和后端兩部分。前端部分將您從“黑白”帶到“彩色”世界，而動態(tài)網(wǎng)頁的后端部分則是手工開發(fā)的。它需要你從10行代碼到n百萬行代碼來實現(xiàn)和使用你自己的微網(wǎng)框架。對框架的解釋涵蓋了數(shù)據(jù)、組件、安全性和其他領域的知識。它可以從底層了解其工作原理，控制任何行業(yè)主流的web框架環(huán)境。

4. It自動化發(fā)展。It運維自動化是根據(jù)It服務需求，將靜態(tài)設備結構轉化為動態(tài)彈性響應的一組策略。目的是減少人工干預，降低人員成本和出錯概率。從設計層面、框架選擇、靈活性、可擴展性、故障處理，以及如何優(yōu)化與各大互聯(lián)網(wǎng)公司的實際案例的聯(lián)系，如fortress machine、CMDB、全網(wǎng)監(jiān)控、主機管理等，可以帶您開發(fā)出企業(yè)中最常用的項目。財務分析。財務分析包括學習財務知識和python相關模塊。它帶你從金融小白到量化交易策略的發(fā)展。學習內容包括numpypandasSciPy數(shù)據(jù)分析模塊和其他常用的金融分析策略，如“雙倍移動平均線”、“周規(guī)則交易”、“羊駝策略”、“雙刺交易策略”等，讓夢想成真，進入金融行業(yè)不再是夢想。

6. 人工智能機器學習。隨著人工智能時代的到來，首先介紹了深度機器學習課程。它包括機器學習的基本概念和公共知識，如分類、聚類、回歸、神經(jīng)網(wǎng)絡和公共類庫，并根據(jù)周圍的事件作為案例，逐步經(jīng)過預處理、建模、訓練、評價和參數(shù)化。人工智能是未來科學技術發(fā)展的新趨勢。Python作為最重要的編程語言，必將有很好的發(fā)展前景?，F(xiàn)在也是學習python的好機會。

大型平臺的后臺都是用什么語言開發(fā)的？

大型互聯(lián)網(wǎng)平臺的后端實現(xiàn)通常是一個復雜的過程。許多平臺將使用各種不同的編程語言，為用戶提供更快、更安全、更穩(wěn)定的體驗。

從技術實現(xiàn)的角度來看，目前的互聯(lián)網(wǎng)平臺更多的是基于三大技術，一是分布式計算；二是分布式存儲；三是資源調度管理。這三項技術也是當前大數(shù)據(jù)和云計算技術的基礎。

如果我們考慮技術解決方案的穩(wěn)定性和可擴展性，更多的互聯(lián)網(wǎng)平臺將選擇使用java語言。一方面Java語言的性能比較穩(wěn)定，另一方面Java的生態(tài)系統(tǒng)比較健全，Java語言的成功案例很多，開發(fā)風險也會大大降低。與具體應用層的實現(xiàn)相比，在構建平臺（容器）的過程中，我們更注重性能和可擴展性，而不是特別注重開發(fā)周期的長短和調整的方便性。因此，Java語言無疑是一個更合適的選擇。當然，在構建平臺的過程中，也會調用用C語言或C語言構建的資源管理模塊。

除了Java之外，PHP和python也是常見的選擇。使用PHP進行平臺開發(fā)往往具有較快的開發(fā)速度，但后期的擴展，尤其是性能的提高，更多的依賴于云計算平臺的支持。然而，由于PHP具有自然熱部署的特性，PHP在后端開發(fā)領域得到了廣泛的應用。另外，Python也是后端開發(fā)的通用編程語言。雖然Python和Java在性能上有一定的差距，但Python語言具有很強的資源管理能力和可擴展性。