scrapy-redis和scrapy有什么區(qū)別？不應(yīng)討論scratch和scratch redis之間的區(qū)別。Scratch是一個通用的爬蟲框架，它的功能比較完善，可以幫助你快速編寫一個簡單的爬蟲，

scrapy-redis和scrapy有什么區(qū)別？

不應(yīng)討論scratch和scratch redis之間的區(qū)別。Scratch是一個通用的爬蟲框架，它的功能比較完善，可以幫助你快速編寫一個簡單的爬蟲，并運(yùn)行。為了更方便地實(shí)現(xiàn)碎片的分布式抓取，scrapredis提供了一些基于redis的組件（注意scrapredis只是一些組件，不是一個完整的框架）。你可以把它想象成一個能生產(chǎn)你想要的蜘蛛的工廠。為了幫助工廠更好地實(shí)現(xiàn)一些功能，其他廠家制造了一些設(shè)備來代替工廠原有的設(shè)備。因此，如果要運(yùn)行分布式，應(yīng)該首先設(shè)置場景工廠，然后使用場景redis設(shè)備替換一些場景設(shè)備。

Windows電腦可以實(shí)現(xiàn)分布式爬蟲嗎？

分布式爬蟲聽起來不錯，但是scrapy的redis組件可以非常簡單地實(shí)現(xiàn)這個功能。只要每個服務(wù)器都可以相互訪問，就可以輕松構(gòu)建分布式爬蟲。有一定的基礎(chǔ)，可以看看scratch-redis的源代碼。其核心是與redis建立一個共享的任務(wù)隊(duì)列，保證每臺機(jī)器在同一時間爬行，并且任務(wù)不同。

python自學(xué)的好找工作嗎？

scrapy-redis和scrapy有什么區(qū)別？

sketch的請求存儲在內(nèi)存中，然后通過schedule進(jìn)行調(diào)度，并通過twisted進(jìn)行并發(fā)。為了分配，需要多個刮片參與調(diào)度。利用redis數(shù)據(jù)庫重寫了在調(diào)度表中存儲和分發(fā)請求的方法。多個scrape通過遠(yuǎn)程鏈接到redis數(shù)據(jù)庫，同時參與調(diào)度。

另外，使用redis的set存儲結(jié)構(gòu)重寫重復(fù)數(shù)據(jù)消除方法。

碰巧我也在學(xué)習(xí)速寫redis，這是我現(xiàn)在的觀點(diǎn)