如何用python爬取網(wǎng)頁(yè)中隱藏的div內(nèi)容？這是在JS中實(shí)現(xiàn)的。實(shí)際上，靜態(tài)爬蟲在網(wǎng)絡(luò)爬蟲后面。至于解決方案，互聯(lián)網(wǎng)上有幾種方法：一種是使用自動(dòng)化測(cè)試工具，如selenium，它可以模擬點(diǎn)擊和其他操

如何用python爬取網(wǎng)頁(yè)中隱藏的div內(nèi)容？

這是在JS中實(shí)現(xiàn)的。實(shí)際上，靜態(tài)爬蟲在網(wǎng)絡(luò)爬蟲后面。至于解決方案，互聯(lián)網(wǎng)上有幾種方法：一種是使用自動(dòng)化測(cè)試工具，如selenium，它可以模擬點(diǎn)擊和其他操作，但這實(shí)際上與爬蟲程序有很大不同。

第二種方法是使用特定的類庫(kù)在后端調(diào)用JS。Python有，但我不懂Java。

第三是找到相關(guān)頁(yè)面的JS代碼，分析相關(guān)請(qǐng)求URL，直接調(diào)整新URL，但是一般JS是加密壓縮的，但是可以試試。

java和python在爬蟲方面的優(yōu)勢(shì)和劣勢(shì)是什么？

Python

強(qiáng)大的網(wǎng)絡(luò)功能，模擬登陸，解析JavaScript，缺點(diǎn)是網(wǎng)頁(yè)解析Python編寫程序非常方便，著名的Python爬蟲有scratch等

Java

Java有很多解析器，對(duì)網(wǎng)頁(yè)的解析支持非常好，缺點(diǎn)是網(wǎng)絡(luò)上有很多Java開(kāi)源爬蟲，比如nutch，中國(guó)有優(yōu)秀的webmagicjava解析器，比如Htmlparser和jsoup，可以滿足Java和python的通用需求。如果需要模擬登陸和反采集，選擇python更方便。如果需要處理復(fù)雜的網(wǎng)頁(yè)，解析網(wǎng)頁(yè)內(nèi)容生成結(jié)構(gòu)化數(shù)據(jù)或精細(xì)解析網(wǎng)頁(yè)內(nèi)容，可以選擇Java。