redis、memcache和mongodb各自的優(yōu)點是什么，怎么選擇呢？Mongodb不應該與redis/Memcache相比，因為它們的應用場景完全不同。Mongodb是介于內(nèi)存數(shù)據(jù)庫和關系數(shù)據(jù)庫

redis、memcache和mongodb各自的優(yōu)點是什么，怎么選擇呢？

Mongodb不應該與redis/Memcache相比，因為它們的應用場景完全不同。

Mongodb是介于內(nèi)存數(shù)據(jù)庫和關系數(shù)據(jù)庫之間的數(shù)據(jù)庫。它是一個高性能、無模式的文檔數(shù)據(jù)庫。

Mongodb數(shù)據(jù)存儲在磁盤上。只有在必要時，才會通過MMAP映射到內(nèi)存，并在內(nèi)存中進行修改。修改后，操作系統(tǒng)負責刷新磁盤。

優(yōu)點：支持復雜的數(shù)據(jù)結構，能存儲海量數(shù)據(jù)，能提供關系數(shù)據(jù)庫等強大的查詢功能。

Redis是一個開源的鍵值存儲系統(tǒng)。所有數(shù)據(jù)都存儲在內(nèi)存中。持久性處于RDB模式或AOF模式。只支持key、string、hash、list和set。優(yōu)點：讀寫速度非?？臁Ｈ秉c：受內(nèi)存限制，不能存儲太多的數(shù)據(jù)，不能提供強大的查詢功能，只能使用單核。

Memcache是一個高性能的分布式內(nèi)存對象緩存系統(tǒng)，用于動態(tài)web應用程序以減少數(shù)據(jù)庫負載。Memcache只支持簡單的鍵值結構，但使用多核。

在爬蟲中，經(jīng)常使用redis mongodb的方式。Mongodb用來存儲被爬網(wǎng)的海量數(shù)據(jù)，redis用來消除重復并保存被爬網(wǎng)的URL。

爬蟲的數(shù)據(jù)庫選型，redis、leveldb、 mongodb、 mysql應該選哪個？

如果選擇mongodb，爬蟲表的字段是不確定的，變化很大，所以像MySQL這樣的關系型數(shù)據(jù)庫是不合適的，不方便開發(fā)。redis的數(shù)據(jù)查詢功能相對較弱，有時被爬網(wǎng)的數(shù)據(jù)需要使用一些條件查詢進行數(shù)據(jù)分析，這對條件查詢redis很有幫助。我不熟悉leveldb。Mongo基本上可以滿足上述所有要求，比如動態(tài)字段和條件查詢，因此非常適合存儲爬蟲數(shù)據(jù)。