robots文件怎么制作 mcp016是什么東西？
mcp016是什么東西？是mcp016的博客，由于該網站的robots.txt文件存在限制指令。怎么讓別人在搜索引擎上搜索不到自己的信息？不做SEO優(yōu)化，設置robots.txt文件拒絕所有搜索引擎訪
mcp016是什么東西？
是mcp016的博客，由于該網站的robots.txt文件存在限制指令。
怎么讓別人在搜索引擎上搜索不到自己的信息？
不做SEO優(yōu)化，設置robots.txt文件拒絕所有搜索引擎訪問，這樣你就不會被別人搜到。如果你是只想讓某個人看不到，在網站后臺屏蔽它的ip，把他拉入黑名單就可以了，至于它的ip可以在網站訪問日志看到。
測試的網站不想被百度抓取，也不想搜索關鍵詞排名，應該怎設置？
有些站長比較喜歡將站點上線測試（不喜歡在本地測試），但是又不想被百度等搜索引擎抓取，那么應該怎么暫時屏蔽呢？今天boke112就跟大家簡單介紹幾種方法。
方法一：WordPress站點的直接后臺設置WordPress站點可以直接登錄站點后臺 gtgt 設置 gtgt 閱讀 gtgt 勾選“建議搜索引擎不索引本站點”并點擊【保存更改】即可。
方法二：通過robots.txt禁止直接在網站根目錄中新建一個robots.txt文件，然后在文件中添加以下代碼：
User-Agent: *
Disallow: /
方法三：通過noindex標記來禁止直接在站點的頭文件文件中添加以下代碼：
ltmeta namerobots contentnoindex gt
方法四：通過PHP代碼禁止（WordPress站點為例）將以下代碼添加到主題目錄的當中：
ob_start(Deny_Spider_Advanced)
function Deny_Spider_Advanced() {
$UA $_SERVER[HTTP_USER_AGENT]
$Spider_UA /(spider|bot|)/i //定義需要禁止的蜘蛛UA，一般是spider和bot
//如果檢測到UA不為空而且發(fā)現是蜘蛛則返回404
if($UA ampamp preg_match_all($Spider_UA,$UA)) {
header(HTTP/1.1 403 )
header(status: 403 )
}
}
可以自行替換或添加以上的spider|bot，多個用|隔開即可。
方法五：Nginx禁止在server{}中添加以下代碼：
#如果抓取的UA中含有spider或bot時返回403
if ($http_user_agent ~* spider|bot) {
return 403 #如果是刪除已收錄的，則可以返回404
break
}
可以自行替換或添加以上的spider|bot，多個用|隔開即可。
方法六：Apache禁止在.htaccess中添加以下代碼：
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|spider|bot) [NC]
RewriteRule ^(.*)$ - [F]
可以自行替換或添加以上的spider|bot，多個用|隔開即可。
總結
理論上以上6種方法都有效，建議找適合自己站點的一種辦法來使用即可。一般采用方法二比較普遍，如果能夠結合方法五或六來使用估計效果更佳。