python爬蟲問(wèn)題，如何爬取多個(gè)頁(yè)面？這里我想到兩種：1。要爬網(wǎng)的鏈接是規(guī)則的，例如按順序增長(zhǎng)的頁(yè)碼。你可以在for和12的循環(huán)中閱讀網(wǎng)頁(yè)鏈接是不規(guī)則的。您可以在初始頁(yè)面中獲取一個(gè)鏈接，然后分析該頁(yè)

python爬蟲問(wèn)題，如何爬取多個(gè)頁(yè)面？

這里我想到兩種：

1。要爬網(wǎng)的鏈接是規(guī)則的，例如按順序增長(zhǎng)的頁(yè)碼。你可以在for和1

2的循環(huán)中閱讀網(wǎng)頁(yè)鏈接是不規(guī)則的。您可以在初始頁(yè)面中獲取一個(gè)鏈接，然后分析該頁(yè)面中符合條件的所有URL地址，并將地址保存在鏈接列表中。另一個(gè)程序不斷地從鏈表中讀取數(shù)據(jù)，分析頁(yè)面，獲取新頁(yè)面中的鏈接，并將其存儲(chǔ)在鏈表中。這樣，新的鏈接會(huì)不斷生成，你可以不斷地抓取它們

動(dòng)態(tài)加載的數(shù)據(jù)是在用戶通過(guò)鼠標(biāo)或鍵盤執(zhí)行某些操作后加載的。

所以我們使用selenium提供的webdriver工具調(diào)用本地瀏覽器，讓程序代替人類行為，滾動(dòng)頁(yè)面，單擊按鈕，提交表單等等。從而得到所需的數(shù)據(jù)。所以我認(rèn)為使用selenium方法抓取動(dòng)態(tài)頁(yè)面的中心思想是模擬人類行為。

python爬蟲怎么寫循環(huán)爬取多個(gè)頁(yè)面？

首先，我們需要弄清楚，我們能看到的所有網(wǎng)頁(yè)，無(wú)論是文本、圖片還是動(dòng)畫，都用HTML標(biāo)記。然后瀏覽器以視覺(jué)和美學(xué)的方式向我們顯示這些標(biāo)簽。如果我們想成為一個(gè)網(wǎng)絡(luò)爬蟲，那么我們的爬蟲沒(méi)有遠(yuǎn)見，只有邏輯。在爬蟲的眼中，只有HTML標(biāo)記，其他樣式正在使用中爬蟲的眼中有云，所以爬蟲實(shí)際上讀取HTML標(biāo)記（這里涉及的一個(gè)知識(shí)點(diǎn)是獲取HTML標(biāo)記）。庫(kù)是請(qǐng)求庫(kù)，它可以通過(guò)web請(qǐng)求獲取HTML元素，然后在HTML標(biāo)記中顯示所需內(nèi)容。這是一個(gè)網(wǎng)絡(luò)爬蟲。邏輯就這么簡(jiǎn)單。如果您有使用python的經(jīng)驗(yàn)，建議您使用crawler框架scratch