
專注用戶體驗設(shè)計與開發(fā)
-
商務(wù)合作
- 郵箱:123456789@qq.com
- 手機(jī):15323711532
- 座機(jī):0755-84185494
- 地址:廣東省深圳市龍崗區(qū)布吉中興路21號基業(yè)大廈
Copyright ? 2015 深圳市鑫惠廣網(wǎng)絡(luò)科技有限公司 粵ICP備2023111395號
robots協(xié)議如何去寫?其實很簡單,但是在學(xué)習(xí)如何寫robots協(xié)議前,重慶SEO徐三將先為大家講一下,robots協(xié)議的符號理解!這樣才能有效的運(yùn)用好robots協(xié)議!
一、robots協(xié)議是什么
robots協(xié)議就是指定搜索引擎蜘蛛根據(jù)所寫的robots協(xié)議爬尋,并且關(guān)系到所寫的命令去執(zhí)行。
二、robots協(xié)議里的符號介紹與寫法
1.User-agent: 給不同的蜘蛛定義相應(yīng)的規(guī)則
2.Disallow: 不需要訪問的某一條路徑
3.Allow: 允許某一條路徑抓取
舉例說明;
User-agent: * ?(以下內(nèi)容適用所有搜索引擎)
Disallow: / (禁止搜索引擎抓取網(wǎng)站內(nèi)任何內(nèi)容)
Disallow: /*?* (禁止搜索引擎抓取動態(tài)頁)
Disallow: /admin/(禁止搜索引擎抓取管理員的內(nèi)容)
Allow: /page/ (允許搜索引擎抓取的某條連接)
Sitemap: (希望百度抓取的網(wǎng)站地圖)
Sitemap: (希望谷歌抓取的網(wǎng)站地圖)
鏈接:在網(wǎng)站中出現(xiàn)死鏈的時候,我們就可以用robots.txt來屏蔽一下,告知搜索引擎,這些鏈接不要被抓取。
地圖:希望搜索引擎抓取網(wǎng)站地圖時,我們就可以把網(wǎng)站地圖放到robots.txt文件內(nèi)。
總結(jié):robots協(xié)議寫法有很多,如果不是很懂千萬不要去整,不然你的網(wǎng)站會有不一樣的效果出現(xiàn)的(哈哈),寫的時候也要注意一定認(rèn)真看清楚,不然被屏蔽了也找不到什么原因!所以在此提醒大家寫robots協(xié)議一定要注意!
專注用戶體驗設(shè)計與開發(fā)
Copyright ? 2015 深圳市鑫惠廣網(wǎng)絡(luò)科技有限公司 粵ICP備2023111395號