java 如何用python爬取網(wǎng)頁中隱藏的div內(nèi)容?
如何用python爬取網(wǎng)頁中隱藏的div內(nèi)容?這是在JS中實(shí)現(xiàn)的。因此,下面的內(nèi)容實(shí)際上是動態(tài)生成的,web爬蟲會抓取靜態(tài)頁面。至于解決方案,互聯(lián)網(wǎng)上有幾種方法:一種是使用自動化測試工具,如selen
如何用python爬取網(wǎng)頁中隱藏的div內(nèi)容?
這是在JS中實(shí)現(xiàn)的。因此,下面的內(nèi)容實(shí)際上是動態(tài)生成的,web爬蟲會抓取靜態(tài)頁面。至于解決方案,互聯(lián)網(wǎng)上有幾種方法:一種是使用自動化測試工具,如selenium,它可以模擬點(diǎn)擊和其他操作,但這實(shí)際上與爬蟲程序有很大不同。
第二種方法是使用特定的類庫在后端調(diào)用JS。Python有,但我不懂Java。
第三是找到相關(guān)頁面的JS代碼,分析相關(guān)請求URL,直接調(diào)整新URL,但是一般JS是加密壓縮的,但是可以試試。