零基礎(chǔ)小白如何在最短的時(shí)間快速入門(mén)python爬蟲(chóng)？我的看法是首先需要有Python的基礎(chǔ)，在有基礎(chǔ)的前提下，利用框架是最快，可以短時(shí)間實(shí)現(xiàn)爬蟲(chóng)。在這里我推薦scrapy，scrapy是基于pytho

零基礎(chǔ)小白如何在最短的時(shí)間快速入門(mén)python爬蟲(chóng)？

我的看法是首先需要有Python的基礎(chǔ)，在有基礎(chǔ)的前提下，利用框架是最快，可以短時(shí)間實(shí)現(xiàn)爬蟲(chóng)。在這里我推薦scrapy，scrapy是基于python開(kāi)發(fā)的開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)框架，scrapy簡(jiǎn)單易用、靈活、易擴(kuò)展、跨平臺(tái)等特性，使得scrapy受廣大用友的歡迎。

使用scrapy也很簡(jiǎn)單，只需要重點(diǎn)編寫(xiě)spider這一個(gè)文件就可以里，其實(shí)是我們網(wǎng)頁(yè)數(shù)據(jù)處理的部分，以詩(shī)詞網(wǎng)-爬取詩(shī)詞為例。我們可以在spider里這樣寫(xiě)：

上面的代碼整體上就兩部分內(nèi)容，一部分是提取網(wǎng)頁(yè)中的URL，另一部分是提取詩(shī)詞詳情頁(yè)面我們需要爬取的內(nèi)容，在這里我選擇爬取的數(shù)據(jù)是詩(shī)詞的作者、內(nèi)容、網(wǎng)站打的標(biāo)簽等一些內(nèi)容。

是不是很方便，如果你不用存儲(chǔ)數(shù)據(jù)，到這里其實(shí)差不多夠了，定義一下Item字段就可以實(shí)現(xiàn)數(shù)據(jù)的爬取，如果需要存儲(chǔ)到數(shù)據(jù)庫(kù)，這個(gè)時(shí)候需要在Pipeline里定義一個(gè)類(lèi)，用于存儲(chǔ)數(shù)據(jù)

如上圖所示，定義的mongodb的類(lèi)，這樣我們就可以實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)到Mongodb中。

總的來(lái)說(shuō)，scrapy是一個(gè)可以幫助我們快速入門(mén)爬蟲(chóng)的框架，可以讓我們感受到爬蟲(chóng)的魅力，希望對(duì)大家有幫助，也歡迎大家留言探討。