selenium使用 js注入和selenium的優(yōu)缺點?
js注入和selenium的優(yōu)缺點?靜態(tài)爬網(wǎng)方法太多,而且非常簡單。但動態(tài)抓取不一樣,普通網(wǎng)站抓包也能找到接口文件,但大型網(wǎng)站不那么容易找到,所以在數(shù)據(jù)量小的情況下還是乖乖使用selenium來抓取。
js注入和selenium的優(yōu)缺點?
靜態(tài)爬網(wǎng)方法太多,而且非常簡單。
但動態(tài)抓取不一樣,普通網(wǎng)站抓包也能找到接口文件,但大型網(wǎng)站不那么容易找到,所以在數(shù)據(jù)量小的情況下還是乖乖使用selenium來抓取。
硒的優(yōu)點:好像沒有它就爬不上去,操作簡單。
硒的缺點:耗時,效率低,模仿手動點擊。
[求助] python如何爬取,網(wǎng)頁上調(diào)用JS函數(shù)打開的視頻鏈接?
Selenium phantom JS模擬點擊按鈕,或者編寫另一個代碼來實現(xiàn)JS函數(shù)openvideo();按照第一步來解析新頁面,看看是否可以找到視頻的原始地址;如果在第二步中找到視頻的原始地址,請從該頁面的原始地址下載視頻視頻。