網(wǎng)頁(yè)不能查看源代碼，這種網(wǎng)頁(yè)怎么爬?。繘]有不能查看源代碼的網(wǎng)頁(yè)，點(diǎn)一下F12?；蛘撸?、抓包，找到真正的url，模擬post或get；2、用selenium phantomjs 或firefox 或c

網(wǎng)頁(yè)不能查看源代碼，這種網(wǎng)頁(yè)怎么爬?。?/h2>

沒有不能查看源代碼的網(wǎng)頁(yè)，點(diǎn)一下F12。

或者：

1、抓包，找到真正的url，模擬post或get；

2、用selenium phantomjs 或firefox 或chrome。

如何用python爬取知網(wǎng)論文數(shù)據(jù)？

爬取不了，爬取本質(zhì)就是用腳本批量訪問。跟你訪問無(wú)數(shù)次是一樣的。

爬取知網(wǎng)首先需要知網(wǎng)的訪問權(quán)限。

沒有權(quán)限無(wú)論如何是爬取不了的。

第二即使你有訪問權(quán)限，也無(wú)法批量下載，知網(wǎng)對(duì)訪問量有限制。你爬取20篇以上論文就會(huì)被鎖定賬號(hào)無(wú)法繼續(xù)下載。

Python爬鏈接爬蟲怎么寫？

首先我們要清晰一點(diǎn)是，所有的網(wǎng)頁(yè)我們能看到的不管是文字還是圖片還是動(dòng)畫，都是以html標(biāo)記的，然后瀏覽器把這些標(biāo)記可視化的美觀的展示給我們，如果我們要做網(wǎng)絡(luò)爬蟲，那么我們的爬蟲是沒有視覺的，只有邏輯，在爬蟲眼里只有html標(biāo)簽，其他的樣式在爬蟲眼里都是浮云，所以爬蟲其實(shí)就是讀取html標(biāo)簽(這里涉及一個(gè)知識(shí)點(diǎn)就是要能得到html標(biāo)簽，需要用到一個(gè)庫(kù)是request庫(kù)，通過網(wǎng)絡(luò)請(qǐng)求拿到html元素)，然后把html標(biāo)簽中自己想要的東西給提取出來，這個(gè)就是一個(gè)網(wǎng)絡(luò)爬蟲了。 邏輯就這么簡(jiǎn)單。 如果有python使用經(jīng)驗(yàn)的，建議使用爬蟲框架scrapy