為什么Python效率這么低，還這么火？在許多情況下，性能不是瓶頸。大約80%的應(yīng)用程序不需要高性能。如何優(yōu)化Python爬蟲的速度？您可以評估爬網(wǎng)程序是Io密集型還是CPU密集型。IO密集型：程序?qū)?/p>

為什么Python效率這么低，還這么火？

在許多情況下，性能不是瓶頸。大約80%的應(yīng)用程序不需要高性能。

如何優(yōu)化Python爬蟲的速度？

您可以評估爬網(wǎng)程序是Io密集型還是CPU密集型。

IO密集型：程序?qū)⒋蟛糠謺r間用于等待IO，如網(wǎng)絡(luò)IO，即HTTP請求、磁盤IO，即文件讀寫等

CPU密集型：程序?qū)⒋蟛糠謺r間用于CPU計算，如文本處理、數(shù)值計算等

如果是IO密集型，然后您可以通過線程池或協(xié)程池來使用函數(shù)的這一部分來實現(xiàn)并發(fā)，從而提高了速度。

但是，這里的網(wǎng)絡(luò)IO有一個前提。你的帶寬不是你的爬蟲的瓶頸。

如果這是CPU密集型的，那么這部分工作可以通過進程池（多進程）并行處理，從而提高速度。多處理意味著你的機器是多核的。

不過，還是有一些地方值得優(yōu)化，比如一些庫的選擇，比如靚湯。雖然它非常方便，但是有更快的實現(xiàn)方法，比如selectolax，它要快得多。

如果你不能判斷，先多線程，然后多進程。

如果單臺機器無法解決，請使用工作隊列，例如cell。多機并行，當(dāng)然可以提高速度，而且是橫向擴展，當(dāng)然這也要讓你的任務(wù)可以分布。

Python到底有多慢？

首先，我們用10個坐標(biāo)點來模擬城市的位置。由于我們平時對Python的使用比較多，也比較熟悉，所以我們首先選擇Python作為編程語言來實現(xiàn)蟻群算法，但是我們在第一時間就等著睡著了。猜猜看有多長時間，超過六分鐘，這是效率的可怕之處。你不能讓老師等6分鐘在最后的回答中選擇最佳路徑。恐怕要暫停了。用C語言對蟻群算法進行了優(yōu)化，優(yōu)化結(jié)果不到1min。沒有比較就沒有壞處。在這之后，我深刻地認(rèn)識到Python執(zhí)行效率的可怕方面。

有些人可能想知道為什么C和Java比python更高效。事實上，它與語言的底層代碼有關(guān)。C語言是匯編語言的二次開發(fā)，Java大多是C和C的二次開發(fā)，但是我們的Python可以分為兩種情況，一種是Cpython，另一種是jpython，分別是C和Java的二次開發(fā)，所以效率比這兩種語言要低。我看到消息說，為了解決python的效率問題，政府計劃重新開發(fā)底層python代碼。最近，我沒有看到任何相關(guān)的新聞。畢竟，這個工作量是非常巨大的。