重慶空降SEO

首頁 網站建設正文

網站的robots文件的寫法禁止搜索搜索蜘蛛

重慶空降SEO2020-06-21540

網站的robots文件的寫法禁止搜索搜索蜘蛛

07.jpg

對于大部分做seo優化的童鞋來說,一定都熟悉robots文件。今天北京SEO優化公司空降科技就跟大家聊一聊網站的robots文件的寫法利用robots文件禁止搜索蜘蛛或者限制爬蟲的范圍

robots文件是屬于網站的一個協議文件,對網站跟搜索引擎之間的一份協議,大部分搜索引擎都會遵守這份robot文件的內容,它就好比是我們去一個旅游景點,在每個景點的入口處,都會有一份游客須知的公告,跟我們說清楚,好比景區內哪些地方可以去,哪些地方禁止去等。

  這份網站協議也同樣具有這樣的作用,它告訴到我們網站的蜘蛛,哪些頁面可以抓取,哪些頁面是禁止抓取的。這樣對我們做seo網站優化來說是非常有幫助的,可以讓我們不需要參與排名的頁面不讓蜘蛛去抓取,重點去抓取那些我們需要用來做排名的頁面。

  robots文件的寫法十分簡單,但是要使用好它,卻不是一件容易的事情需要注意一下三點。
   
     一、它包含三個命令值
    

  1、user-agent: 這個代表用戶代理(定義搜索引擎),例如針對百度搜索引擎的規則,可以寫成:user-agent: baiduspider

  2、Disallow:禁止(填寫禁止蜘蛛抓取的路徑地址)

  3、Allow:允許(填寫允許蜘蛛抓取的路徑地址)
    

  二、兩個通配符
    

  1、* 匹配數字0-9以及字母a-z多個任意字符

  2、$ 匹配行結束符(針對帶各種后綴的文件) 例如:jpg$、png$
    

  三、一個簡單的robots文件寫法的例子
    

  user-agent: baiduspider

  Disallow:

  網站seo優化公司 空降科技http://www.voatnf.tw

  這個就是允許蜘蛛抓取網站的所有內容,一般建議剛做網站的新手朋友寫一個這樣的robots文件上傳到根目錄即可。等熟悉網站的結構之后,再根據個人的需求進行修改。

  最后一句sitemap是放置網站地圖的鏈接地址,如果不會制作網站地圖的朋友可以參考:網站地圖的制作。

  以上就是關于網站的robots文件的寫法,雖然它寫法簡單,但是要把它完全用好,還需要好好琢磨,童鞋們看明白了嗎?如果還有什么問題可以到空降科技qq群提問。

上一篇:網站SEO之交換友情鏈接注意事項

下一篇:網站關鍵詞布局方式

(?_?) 還不快點搶沙發?。?!

最新評論

猜你還喜歡這些...

服務熱線

15023688498

qrcode

掃一掃二維碼,微信咨詢

快3玩法绝招