java和python在爬蟲方面的優(yōu)勢和劣勢是什么？Python強大的網(wǎng)絡(luò)功能，模擬登陸，解析JavaScript，缺點是網(wǎng)頁解析Python編寫程序非常方便，著名的Python爬蟲有scratch等

java和python在爬蟲方面的優(yōu)勢和劣勢是什么？

Python

強大的網(wǎng)絡(luò)功能，模擬登陸，解析JavaScript，缺點是網(wǎng)頁解析Python編寫程序非常方便，著名的Python爬蟲有scratch等

Java

Java有很多解析器，對網(wǎng)頁的解析支持非常好，缺點是有網(wǎng)絡(luò)上有很多Java開源爬蟲，比如nutch，中國有優(yōu)秀的webmagicjava解析器，比如Htmlparser和jsoup，可以滿足Java和python的通用需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復(fù)雜的網(wǎng)頁，解析網(wǎng)頁內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細解析網(wǎng)頁內(nèi)容，可以選擇Java。

分布式任務(wù)調(diào)度框架選型，如何選擇一個合適的框架？

首先，這樣的框架現(xiàn)在可以在市場上買到。強烈建議不要重復(fù)制造車輪。

首先，我們將介紹幾種主流技術(shù)。

Elastic job是當當網(wǎng)的開源分布式調(diào)度解決方案。它支持任務(wù)碎片化，能夠充分利用資源。Elastic job有兩個獨立的子項目：Elastic job lite和Elastic job cloud。具體實現(xiàn)可以參考官方教程。總體架構(gòu)如下。

彈性工作的特點：1。分布式調(diào)度。高可用性工作。切片任務(wù)執(zhí)行。

此外，還有其他可用于比較的框架。例如TBSchedule是阿里巴巴的一個開源分布式調(diào)度框架，完全由Java實現(xiàn)，目前正在淘寶、阿里巴巴、支付寶、京東、汽車之家等應(yīng)用。公開評論的開源XXL作業(yè)也是一種廣泛使用的分布式調(diào)度任務(wù)。

目前，我已經(jīng)使用彈性工作和XXL工作。兩個功能都非常強大，后臺管理也比較完善。開始很容易。能滿足日常工作的需要。區(qū)別在于彈性作業(yè)依賴于ZK，而XXL作業(yè)不依賴于ZK，只依賴于數(shù)據(jù)庫。

目前市場上應(yīng)該還有一些其他的框架，但是以上都是比較主流的，你可以根據(jù)自己的需要來選擇。記住不要反復(fù)造輪子。這需要很多時間來驗證。它會讓你遠離深淵。

謝謝。我希望它能幫助你。如果你有什么問題，可以留言。我們一起討論吧

Hadoop支持用python開發(fā)嗎？還有哪些支持python的分布式計算系統(tǒng)框架？

Hadoop支持python。我的理解是，任務(wù)通過yarn分配到工作節(jié)點，并通過shell調(diào)用。這種方法比原生Mr速度慢，因此沒有得到廣泛的應(yīng)用。

Spark應(yīng)該是Python的友好框架。要說缺點，畢竟是Scala或Java風格的API，這對于Python是不夠的。在使用了panda和numpy之后，我覺得spark的API是比較基本的。

此外，python建議您學(xué)習dask和芹菜。Dask基于numpy和panda進行封裝，兼容大多數(shù)NP和PD接口。它還支持分布式和可視化界面?？偟膩碚f，這是個不錯的選擇。

作為一個分布式任務(wù)調(diào)度框架，cellery并不是專門為ETL設(shè)計的，所以它的性能比dask差。但我覺得作為一個生產(chǎn)體系，芹菜比較穩(wěn)定。

為什么很多爬蟲用python，用PHP不行嗎？

任何語言幾乎都是一樣的，Python的時間效率不一定很快。只是蟒蛇在早上被列為爬蟲。。另外，大多數(shù)所謂的爬蟲都是翻頁和數(shù)據(jù)解析的基本過程，這種語言很容易完成。

Python主要學(xué)習那幾個主流框架？

，Django，flag，tornado；

，scrapy；]，numpy，pandas，Matplotlib；]，tensorflow。

關(guān)注優(yōu)秀就業(yè)，多學(xué)習it知識。

python已經(jīng)自動化了，大家一般用什么測試框架？

謝謝

！Python中似乎只有一個瀏覽器測試框架，它是模仿ruby框架制作的。它似乎可以更好地應(yīng)用于ie。非常舊的框架。JS支持不好。然而，Python很容易編寫測試框架。這很容易做到?；跒g覽器的測試也很容易做到。因為您可以使用pyqt，所以這個庫中有一個基于WebKit的瀏覽器?；旧?，你可以隨心所欲。最近，我聽說有幾個新的BDD框架正在開發(fā)中。我不知道怎么做。實際上，對于Python來說，框架的成本太低了。所以最好不要成為一個框架。它有一個叫做dry的基本編程原理。不要重復(fù)你自己的話，不要重新發(fā)明方向盤。直接使用現(xiàn)有的Python測試套件，結(jié)合進程、線程模型和QT，輕松組裝測試模塊。