搜索引擎爬蟲(chóng)在不知道域名的情況下如何搜索到網(wǎng)站？這個(gè)做不到吧？我們以在國(guó)內(nèi)最主要的百度爬蟲(chóng)為例。你有一個(gè)新網(wǎng)站，你希望他來(lái)抓取你，需要先到百度站長(zhǎng)平臺(tái)提交你的網(wǎng)站。這就要滿足一些要求，比如有域名，域名

搜索引擎爬蟲(chóng)在不知道域名的情況下如何搜索到網(wǎng)站？

這個(gè)做不到吧？我們以在國(guó)內(nèi)最主要的百度爬蟲(chóng)為例。你有一個(gè)新網(wǎng)站，你希望他來(lái)抓取你，需要先到百度站長(zhǎng)平臺(tái)提交你的網(wǎng)站。這就要滿足一些要求，比如有域名，域名要完成備案。百度爬蟲(chóng)通過(guò)多種維度對(duì)你的網(wǎng)站進(jìn)行評(píng)級(jí)，來(lái)決定抓取的頻次，評(píng)級(jí)越高越會(huì)經(jīng)常來(lái)抓取你的網(wǎng)站。所以沒(méi)有域名沒(méi)有完成備案應(yīng)該是不滿足最基本的要求的。還有，那你現(xiàn)在只能用ip訪問(wèn)網(wǎng)站唄，等以后有了域名，又改用域名訪問(wèn)導(dǎo)致鏈接變化，這樣很不好會(huì)掉權(quán)重的。

Python爬鏈接爬蟲(chóng)怎么寫(xiě)？

首先我們要清晰一點(diǎn)是，所有的網(wǎng)頁(yè)我們能看到的不管是文字還是圖片還是動(dòng)畫(huà)，都是以html標(biāo)記的，然后瀏覽器把這些標(biāo)記可視化的美觀的展示給我們，如果我們要做網(wǎng)絡(luò)爬蟲(chóng)，那么我們的爬蟲(chóng)是沒(méi)有視覺(jué)的，只有邏輯，在爬蟲(chóng)眼里只有html標(biāo)簽，其他的樣式在爬蟲(chóng)眼里都是浮云，所以爬蟲(chóng)其實(shí)就是讀取html標(biāo)簽(這里涉及一個(gè)知識(shí)點(diǎn)就是要能得到html標(biāo)簽，需要用到一個(gè)庫(kù)是request庫(kù)，通過(guò)網(wǎng)絡(luò)請(qǐng)求拿到html元素)，然后把html標(biāo)簽中自己想要的東西給提取出來(lái)，這個(gè)就是一個(gè)網(wǎng)絡(luò)爬蟲(chóng)了。 邏輯就這么簡(jiǎn)單。 如果有python使用經(jīng)驗(yàn)的，建議使用爬蟲(chóng)框架scrapy