scrapy去重原理 scrapy-redis和scrapy有什么區(qū)別？
scrapy-redis和scrapy有什么區(qū)別？scrapy的請求存儲在內(nèi)存中，然后通過schedule進行調(diào)度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調(diào)度。利用redis數(shù)據(jù)庫重寫
scrapy-redis和scrapy有什么區(qū)別？
scrapy的請求存儲在內(nèi)存中，然后通過schedule進行調(diào)度，通過twisted進行并發(fā)。為了分配，需要多個刮片參與調(diào)度。利用redis數(shù)據(jù)庫重寫了在調(diào)度表中存儲和分發(fā)請求的方法。多個scrape通過遠程鏈接到redis數(shù)據(jù)庫，同時參與調(diào)度。
另外，使用redis的set存儲結(jié)構(gòu)重寫重復數(shù)據(jù)消除方法。
碰巧我也在學習速寫redis，這是我現(xiàn)在的觀點