什么是Robots協(xié)議？機器人是一個英語單詞。懂英語的人都知道機器人在中文里是機器人的意思。我們通常指的是機器人協(xié)議，機器人.txt稱為robot或robots協(xié)議（又稱crawler協(xié)議、robot

什么是Robots協(xié)議？

機器人是一個英語單詞。懂英語的人都知道機器人在中文里是機器人的意思。我們通常指的是機器人協(xié)議，機器人.txt稱為robot或robots協(xié)議（又稱crawler協(xié)議、robot協(xié)議等），全稱為“Internet crawler exclusion protocol”，也是搜索引擎的國際默認協(xié)議。我們的網站可以通過robots協(xié)議告訴搜索引擎蜘蛛哪些頁面可以被爬網，哪些頁面不能被爬網。robots協(xié)議的實質是網站與搜索引擎crawler之間的通信方式，用來指導搜索引擎更好地捕獲網站的內容。例如，當搜索蜘蛛訪問一個網站時，它檢查的第一個文件是該網站的根目錄中是否有一個文件機器人.txt文件。如果有，爬行器將根據文件中的條件代碼確定可以訪問哪些頁面或內容；如果沒有協(xié)議文件，所有搜索爬行器將能夠訪問網站上不受協(xié)議限制的所有內容頁面。而百度的官方建議是：只有當你的網站包含你不想被搜索引擎收錄的內容時，你才需要使用它機器人.txt篩選文件。如果你想讓搜索引擎包含網站上的所有內容，請不要創(chuàng)建機器人.txt文件。

新建的網站，這個robots是什么意思？

禁止搜索引擎爬網意味著您使用phpcms。機器人協(xié)議（也稱為爬蟲協(xié)議、機器人協(xié)議等）的全稱是“網絡爬蟲排除標準”。該網站通過robots協(xié)議告訴搜索引擎哪些頁面可以被爬網，哪些頁面不能被爬網。如果網站運營商通過文件協(xié)議進行限制，則搜索界面會提示由于機器人.txt文件中有一個限制指令。