scrapy在爬網(wǎng)頁的時(shí)候是自動(dòng)采用多線程的嗎？[scrapy是自動(dòng)多線程的]Scrapy帶有一個(gè)扭曲的線程池，默認(rèn)是10個(gè)線程。您可以通過修改設(shè)置文件中REACTOR_THREADPOOL_MAXS

scrapy在爬網(wǎng)頁的時(shí)候是自動(dòng)采用多線程的嗎？

[scrapy是自動(dòng)多線程的]

Scrapy帶有一個(gè)扭曲的線程池，默認(rèn)是10個(gè)線程。您可以通過修改設(shè)置文件中REACTOR_THREADPOOL_MAXSIZE的配置來修改線程池的數(shù)量。比如調(diào)整到20，它的效率就會(huì)提高。

[scrapy提高性能]

1.增加并發(fā)性。scrapy中的默認(rèn)并發(fā)數(shù)是32。您還可以通過修改設(shè)置文件中的CONCURRENT_REQUESTS參數(shù)來增加并發(fā)性。

2.增加線程池的數(shù)量，如上所述，不再贅述；

3.降低日志級(jí)別，增加設(shè)置文件中LOG_LEVEL參數(shù)的設(shè)置，如WARNING。

或INFO，以減少因日志過多而導(dǎo)致的CPU過度占用；

4.禁止重試，R

硬盤檢測(cè)問題，本人用MHDD檢測(cè)完后，在右下角有三個(gè)提示，都是Warning是什么意思，是硬盤有壞道嗎？

....

500毫秒

以上是面試時(shí)間，質(zhì)量越小越好。

跳過超時(shí)時(shí)間

X UNC錯(cuò)誤無法更正。

！ABRT命令異常退出。

找不到S IDNF(扇區(qū))ID。

找不到AMNF(扇區(qū))地址掩碼。

找不到0軌道。

* BBK邏輯塊損壞。

警告: ;衰老跡象的磁場(chǎng)

如果你能在保證期內(nèi)更換它，我不介意。;我認(rèn)為它不會(huì)為你而改變。能在保障之外用就用吧。