Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計(jì)算系統(tǒng)框架？Hadoop支持python。我的理解是，任務(wù)通過(guò)yarn分配到工作節(jié)點(diǎn)，并通過(guò)shell調(diào)用。這種方法比原生Mr速

Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計(jì)算系統(tǒng)框架？

Hadoop支持python。我的理解是，任務(wù)通過(guò)yarn分配到工作節(jié)點(diǎn)，并通過(guò)shell調(diào)用。這種方法比原生Mr速度慢，因此沒(méi)有得到廣泛的應(yīng)用。

Spark應(yīng)該是Python的友好框架。要說(shuō)缺點(diǎn)，畢竟是Scala或Java風(fēng)格的API，這對(duì)于Python是不夠的。在使用了panda和numpy之后，我覺(jué)得spark的API是比較基本的。

此外，python建議您學(xué)習(xí)dask和芹菜。Dask基于numpy和panda進(jìn)行封裝，兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面?？偟膩?lái)說(shuō)，這是個(gè)不錯(cuò)的選擇。

作為一個(gè)分布式任務(wù)調(diào)度框架，cellery并不是專門為ETL設(shè)計(jì)的，所以它的性能比dask差。但我覺(jué)得作為一個(gè)生產(chǎn)體系，芹菜比較穩(wěn)定。

Python和大數(shù)據(jù)有什么區(qū)別，學(xué)哪個(gè)以后好就業(yè)？

Python是一種新的編程語(yǔ)言，類似于C#，大數(shù)據(jù)是一種大規(guī)模的數(shù)據(jù)集，如海量圖像。大數(shù)據(jù)技術(shù)是指獲取、存儲(chǔ)、分析和管理大數(shù)據(jù)的技術(shù)的總稱。基于Python和tensorflow，可以對(duì)圖像大數(shù)據(jù)進(jìn)行處理和深度學(xué)習(xí)。