爬蟲技術(shù)抓取網(wǎng)站數(shù)據(jù) 想要用python做爬蟲,是使用scrapy框架還是用requests、bs4等庫?
想要用python做爬蟲,是使用scrapy框架還是用requests、bs4等庫?我個人推薦scrapy。實(shí)施起來太方便了。我覺得這個框架太棒了,我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己
想要用python做爬蟲,是使用scrapy框架還是用requests、bs4等庫?
我個人推薦scrapy。實(shí)施起來太方便了。我覺得這個框架太棒了,我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己的使用過程。
最近,我看到我想爬詩歌。就在不久前,我學(xué)會了如何爬詩。我想我會把它和scratch結(jié)合起來做一個爬蟲。想一想就開始,目標(biāo)網(wǎng)站的首選是詩網(wǎng)。我更喜歡辛棄疾,所以我以辛棄疾的詩為對象。
當(dāng)然,我們還需要將爬網(wǎng)結(jié)果存儲在服務(wù)器中。在這里我選擇mongodb。這部分也很方便。只需編寫一個類將數(shù)據(jù)寫入mongodb。