如何防止網(wǎng)站被爬蟲爬取的幾種辦法？您可以添加機器人.txt文件，防止爬蟲程序爬網(wǎng)。被別人爬蟲了，應該怎么找出來？首先，爬蟲有一定的特點。爬蟲一般有以下特點：單IP訪問頻率非常規(guī)律，我們經(jīng)常遇到一個問題

如何防止網(wǎng)站被爬蟲爬取的幾種辦法？

您可以添加機器人.txt文件，防止爬蟲程序爬網(wǎng)。

被別人爬蟲了，應該怎么找出來？

首先，爬蟲有一定的特點。爬蟲一般有以下特點：

單IP訪問頻率非常規(guī)律，我們經(jīng)常遇到一個問題，當我們在網(wǎng)站上發(fā)帖時，會提示“發(fā)帖太快，請等待XX秒”，或提示“刷新頻率太快，請休息一會兒”，這是網(wǎng)站為了緩解對“用戶”的壓力而做出的一些限制，而爬蟲是相關用戶比較猖獗，訪問頻率比較快，如果單個IP訪問頻率很高，那么就會判斷為“爬蟲”，然后進行限制。

請問怎么才能禁止一個網(wǎng)站的訪問？

如果您知道URL并想阻止它，它非常簡單。修改主機后，所有瀏覽器都無法訪問它。詳情如下：

1。首先，單擊[this computer]并根據(jù)[C:windowssystem32driversetc]的路徑打開存儲主機的文件夾。由于該操作需要管理員權限，請右鍵單擊[hosts]文件，單擊屬性，然后切換到[hosts property]頁上的[security]選項卡。如圖所示：

2。單擊[組或用戶名]框下的[編輯]，如圖所示：

3。用記事本打開hosts，在末尾添加一行，然后輸入“127.0.0.1 URL you want to block”。最后，它將生效。

例如，我現(xiàn)在添加127.0.0.1百度網(wǎng)

瀏覽器效果如下：