用Python寫爬蟲時應該注意哪些坑？首先，最好用Python編寫crawler。豐富的生態(tài)（各種工具）和簡潔的語言是核心亮點。作為一名專業(yè)的Python爬蟲工程師，我不知道如何回答你的問題，因為這很

用Python寫爬蟲時應該注意哪些坑？

首先，最好用Python編寫crawler。豐富的生態(tài)（各種工具）和簡潔的語言是核心亮點。作為一名專業(yè)的Python爬蟲工程師，我不知道如何回答你的問題，因為這很尷尬。我來談談編寫爬蟲程序時遇到的問題：反爬蟲是攀爬大型網站時遇到的常見問題（字體加密、界面加密、UA驗證、cookie驗證、各種驗證碼、用戶封條IP等）。以上都是爬蟲遇到的問題，但要解決這些問題，不僅需要python，還需要其他知識。Python只是一個工具，如果你意識到你的想法。

當然，如果你想學習crawler，你可以使用任何語言（許多公司的crawler只招募Java或Python）。如果你想學習Python crawler或Java，你可以關注我。長期寫干貨。

python學習爬蟲，不會前端和全棧可以嗎？為何？

我認為我們需要學習。要成為一個爬蟲，我們不僅要了解Python本身的基礎，還要了解HTTP的基本知識。我們無法理解整個堆棧。從靜態(tài)頁面抓取到動態(tài)生成內容抓取，還需要web前端（尤其是DOM）。另外，是否需要進一步控制瀏覽器？硒和CDP（chromedevtools協(xié)議）受到各種神的歡迎。這些都是web前端與HTTP和網絡的深度結合。