Copyright ? 2015 深圳市鑫惠廣網絡科技有限公司 粵ICP備2023111395號
很多時候,我們都不會去把百度蜘蛛去屏蔽掉,但是也有需要去屏蔽一些不必要的抓取,比如一些大型的網站門戶網,有登錄頁面或者是注冊頁面,還有一些不想讓百度蜘蛛抓取文件都可以利用robots協議來完成,那么重慶SEO徐三就講解哈屏蔽百度蜘蛛的具體方法。
一、robots協議
robots協議相信大家都不陌生,首先既然要用到robots協議,那么我們就要先創建一個記事本,把記事本重命名為robots,然后我們寫下robots協議具體如下:
User-agent: BadBot
Disallow: /
然后保存后通過FTP工具上傳到網站根目錄即可。
二、robots Meta標簽
robots?Meta標簽也可以屏蔽百度蜘蛛抓取,這種方法與robots類似,但是還是部分搜索引擎不支持,robots?Meta用來對某幾個頁面單獨設置時使用。其代碼是寫在“<head></head>”之間,如下所示:
<head>
<meta?name=”robots”?content=”index,follow”?/>
</head>
三、.htaccess屏蔽
如果說使用robots協議無法全部屏蔽你的網站,那么你可以在你的網站根目錄下找到.htaccess屏蔽代碼如下:
方法1:
RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* – [F]
方法2:
SetEnvIfNoCase User-Agent “^Baiduspider” bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
總結:百度蜘蛛屏蔽方法有許多,以上方法可參考,重慶SEO徐三覺得還是以robots協議較好,所以其他方法及時可以用,但是也不建議去做,因為一步小心搞錯了,就會導致麻煩不斷!
Copyright ? 2015 深圳市鑫惠廣網絡科技有限公司 粵ICP備2023111395號