想要用python做爬蟲，是使用scrapy框架還是用requests、bs4等庫？我個(gè)人推薦scrapy。實(shí)施起來太方便了。我覺得這個(gè)框架太棒了，我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己

想要用python做爬蟲，是使用scrapy框架還是用requests、bs4等庫？

我個(gè)人推薦scrapy。實(shí)施起來太方便了。我覺得這個(gè)框架太棒了，我不需要寫任何代碼。是爬蟲寫的。讓我們分享一下我自己的使用過程。

最近，我看到我想爬詩歌。就在不久前，我學(xué)會(huì)了如何爬詩。我想我會(huì)把它和scratch結(jié)合起來做一個(gè)爬蟲。想一想就開始，目標(biāo)網(wǎng)站的首選是詩網(wǎng)。我更喜歡辛棄疾，所以我以辛棄疾的詩為對(duì)象。

當(dāng)然，我們還需要將爬網(wǎng)結(jié)果存儲(chǔ)在服務(wù)器中。在這里我選擇mongodb。這部分也很方便。只需編寫一個(gè)類將數(shù)據(jù)寫入mongodb。

scrapy-redis和scrapy有什么區(qū)別？

Scratch是一個(gè)通用的爬蟲框架，它的功能比較完善，可以幫助你快速編寫一個(gè)簡單的爬蟲，并運(yùn)行。為了更方便地實(shí)現(xiàn)碎片的分布式抓取，scrapredis提供了一些基于redis的組件（注意scrapredis只是一些組件，不是一個(gè)完整的框架）。你可以把它想象成一個(gè)能生產(chǎn)你想要的蜘蛛的工廠。為了幫助工廠更好地實(shí)現(xiàn)一些功能，其他廠家制造了一些設(shè)備來代替工廠原有的設(shè)備。

因此，如果要運(yùn)行分布式，應(yīng)首先設(shè)置場(chǎng)景工廠，然后使用場(chǎng)景redis設(shè)備替換一些場(chǎng)景設(shè)備。

那么這些組件的特點(diǎn)是什么？他們使用redis數(shù)據(jù)庫來替換原始草圖中使用的deque。如果數(shù)據(jù)結(jié)構(gòu)改變了，相應(yīng)的操作當(dāng)然也會(huì)改變。因此，與隊(duì)列相關(guān)的這些組件已被替換。

python都有哪些框架？

嗯，有很多。你可以去pypi看看

在你學(xué)習(xí)科學(xué)之前，你需要掌握很多基礎(chǔ)知識(shí)，否則就很難學(xué)習(xí)

]首先，你需要掌握前端、HTML、CSS和JS的基礎(chǔ)知識(shí)?？茖W(xué)是用來寫爬蟲的。你爬過的是這些網(wǎng)頁，你需要了解這些前端知識(shí)來了解你自己和他人；

還有網(wǎng)頁分析方面，學(xué)習(xí)如何使用chrome和其他瀏覽器來分析網(wǎng)頁非常重要。我們?cè)诮坛讨薪?jīng)常忽略這一點(diǎn)，但對(duì)于新手來說，這一內(nèi)容需要在學(xué)習(xí)過程中不斷探索，很難快速掌握

接下來是python的基礎(chǔ)知識(shí)，python語法的使用，request，beautiful soup等相關(guān)類庫；

最后，這是抓撓本身的學(xué)習(xí)。因?yàn)閟cratch是一個(gè)框架，所以它也是一個(gè)相對(duì)復(fù)雜的機(jī)器。它涵蓋了一系列的過程，供網(wǎng)絡(luò)爬蟲訪問網(wǎng)頁，獲取響應(yīng)，分析響應(yīng)，處理數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)。我們不需要掌握它的原理，我們可以使用它。

事實(shí)上，說這么多很困難，但聯(lián)系和做一些項(xiàng)目并不是那么困難。相信你能學(xué)好這個(gè)框架，讓我們一起加油吧

為什么覺得Scrapy很難？

安裝python時(shí)，請(qǐng)檢查高級(jí)選項(xiàng)步驟中與vs2015相關(guān)的最后一個(gè)選項(xiàng)。這樣，當(dāng)您下載這些碎片時(shí)，就可以直接PIP安裝這些碎片并正確安裝它們。不需要單獨(dú)安裝twisted，方便快捷。選中vs2015選項(xiàng)以解決所有相關(guān)問題。如果不是，其他需要vs2015的包也會(huì)有問題。

scrapy框架安裝時(shí)報(bào)錯(cuò)該如何處理？

主要簡單易用，支持高并發(fā)爬蟲