python爬蟲怎么寫循環(huán)爬取多個頁面？動態(tài)加載的數(shù)據(jù)是在用戶通過鼠標或鍵盤執(zhí)行某些操作后加載的。所以我們使用selenium提供的webdriver工具調用本地瀏覽器，讓程序代替人類行為，滾動頁面，

python爬蟲怎么寫循環(huán)爬取多個頁面？

動態(tài)加載的數(shù)據(jù)是在用戶通過鼠標或鍵盤執(zhí)行某些操作后加載的。

所以我們使用selenium提供的webdriver工具調用本地瀏覽器，讓程序代替人類行為，滾動頁面，單擊按鈕，提交表單等等。從而得到所需的數(shù)據(jù)。所以我認為使用selenium方法抓取動態(tài)頁面的中心思想是模擬人類行為。

python爬蟲問題，如何爬取多個頁面？

在這里我想到兩種：

1。要爬網的鏈接是規(guī)則的，例如按順序增長的頁碼。你可以在for和1

2鏈接不規(guī)則的循環(huán)中讀取頁面，你可以抓取一個初始頁面的鏈接，然后分析頁面中所有符合條件的URL地址，并將地址保存在鏈表中。另一個程序不斷地從鏈表中讀取數(shù)據(jù)，分析頁面，抓取新頁面中的鏈接，并將其存儲在鏈表中，從而不斷地生成新的鏈接，可以不斷地抓取