如何用python爬取網(wǎng)頁(yè)中隱藏的div內(nèi)容？你說(shuō)的隱藏div內(nèi)容應(yīng)該是動(dòng)態(tài)加載的數(shù)據(jù)，并沒(méi)有在網(wǎng)頁(yè)的源代碼中顯示，只是要求在網(wǎng)頁(yè)加載時(shí)顯示。在正常情況下，這種數(shù)據(jù)保存在json文件中。只要抓取包并分

如何用python爬取網(wǎng)頁(yè)中隱藏的div內(nèi)容？

你說(shuō)的隱藏div內(nèi)容應(yīng)該是動(dòng)態(tài)加載的數(shù)據(jù)，并沒(méi)有在網(wǎng)頁(yè)的源代碼中顯示，只是要求在網(wǎng)頁(yè)加載時(shí)顯示。在正常情況下，這種數(shù)據(jù)保存在json文件中。只要抓取包并分析這個(gè)json文件的url地址，然后根據(jù)json文件結(jié)構(gòu)進(jìn)行分析，很快就可以得到動(dòng)態(tài)加載的div數(shù)據(jù)。我以抓取人人貸上的零散數(shù)據(jù)為例，簡(jiǎn)單介紹一下python是如何抓取div動(dòng)態(tài)加載的數(shù)據(jù)的。實(shí)驗(yàn)環(huán)境為win10 python3.6 pycharm5.0，主要步驟如下:

1.首先打開(kāi)競(jìng)價(jià)數(shù)據(jù)，如下。抓取的信息主要包括五個(gè)字段:年利率、貸款名稱、期限、金額、進(jìn)度:

右鍵單擊相應(yīng)的元素進(jìn)行檢查，可以看到所有數(shù)據(jù)都嵌套在div標(biāo)記中，如下所示:

打開(kāi)網(wǎng)頁(yè)源代碼，按Ctrl F找到對(duì)應(yīng)的數(shù)據(jù)，就會(huì)發(fā)現(xiàn)我們要找的數(shù)據(jù)不在網(wǎng)頁(yè)源代碼里，如下，也就是數(shù)據(jù)是動(dòng)態(tài)加載的，所以我們可以 不能通過(guò)直接解析原始網(wǎng)頁(yè)來(lái)找到嵌套在div中的數(shù)據(jù):

2.然后，我們按F12調(diào)出開(kāi)發(fā)者工具，點(diǎn)擊 "網(wǎng)絡(luò) "-gt "xhr "接下來(lái)，F(xiàn)5刷新頁(yè)面，您將看到動(dòng)態(tài)加載的json文件?？纯催@個(gè)文件，左邊是json文件的url地址，右邊是我們需要抓取的div數(shù)據(jù):

3.最后，對(duì)應(yīng)上面的json文件，我們可以直接獲取并解析json。這里主要使用兩個(gè)模塊，r

請(qǐng)問(wèn)自學(xué)Python需要具備什么？

我很高興回答你的問(wèn)題。

自學(xué)python一定是興趣愛(ài)好的引導(dǎo)或者工作要求的強(qiáng)制要求。我學(xué)皮托語(yǔ)。n是自考前報(bào)班，因?yàn)閳?bào)班和我在網(wǎng)上找的資料差不多。

第一個(gè)硬性要求

你需要有一臺(tái)電腦，有Windows系統(tǒng)的電腦就行。除非你有Linux系統(tǒng)的基礎(chǔ)，否則先用Windows系統(tǒng)的電腦。

第二個(gè)軟需求

1.下載并安裝python

作為python初學(xué)者，下載安裝是一個(gè)很大的挑戰(zhàn)。但是唐 不要怕，如果你是這一類的，我簡(jiǎn)單介紹一下如何下載安裝:看看我之前回答的問(wèn)題，有一個(gè)專門介紹了如何下載安裝。

2.環(huán)境變量的配置

環(huán)境變量仍然必須配置，因?yàn)閜ython是開(kāi)源的，很多第三方庫(kù)會(huì)使用pip模塊進(jìn)行安裝。這些都是在線和命令行中的操作。如何配置？

步驟1:打開(kāi)計(jì)算機(jī)系統(tǒng)屬性。

步驟2:高級(jí)系統(tǒng)設(shè)置

第三步:環(huán)境變量

步驟4:用下面的系統(tǒng)變量找到路徑。

步驟5:將下載并安裝的python路徑放入。

教科書(shū)課程

推薦書(shū)籍:python3網(wǎng)絡(luò)爬蟲(chóng)開(kāi)發(fā)實(shí)用書(shū)籍。價(jià)格在70左右。

推薦視頻:我這里之前有全套視頻，從基礎(chǔ)到人工智能。我只是還沒(méi)有 我還沒(méi)整理好。有需要可以聯(lián)系我。

推薦學(xué)習(xí)網(wǎng)站:python官網(wǎng)，百度搜索python官網(wǎng)，有一些不錯(cuò)的python學(xué)習(xí)文檔。

更多精彩，敬請(qǐng)期待！