摘要：
日照網(wǎng)站公司分析，robots協(xié)議對于我們的網(wǎng)站建設(shè)很重要的，可以很好的保護我們網(wǎng)站一些文件不會裸露在搜索引擎之下，進而就會有效的控制搜索引擎蜘蛛的抓取路徑，為我們站長做好網(wǎng)站seo創(chuàng)造必要的條件。特別是我們的網(wǎng)站剛剛創(chuàng)建，有些內(nèi)容還不是很完善，暫時還不想被搜索引擎收錄時，就可以很好的使用robots協(xié)議，發(fā)揮robots協(xié)議大的價值。
日照網(wǎng)站公司案例
robots.txt協(xié)議文件屬于網(wǎng)站的一個純文本文件，主要是給搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行到我們的網(wǎng)站，步就是抓取這個文件--robots協(xié)議，根據(jù)里面描述的內(nèi)容來決定對我們網(wǎng)站文件訪問的大概框架。
在一個站點上不僅擁有唯一一個"/robots.txt"文件，而且文件名的每個字母要求全部是小寫。
robots.txt文件用法舉例
例1.禁止所有搜索引擎訪問網(wǎng)站的任何部分
下載該robots.txt文件User-agent:*
Disallow:/
例2.允許所有的robot訪問
(或者也可以建一個空文件"/robots.txt"file)
User-agent:*
Disallow:
例3.禁止某個搜索引擎的訪問
User-agent:BadBot
Disallow:/
例4.允許某個搜索引擎的訪問
User-agent:搜索引擎spider
Disallow:
User-agent:*
Disallow:/
一個簡單例子
在這個例子中，該網(wǎng)站有三個目錄對搜索引擎的訪問做了限制，即搜索引擎不會訪問這三個目錄。
日照網(wǎng)站公司-鼎欣提醒大家需要注意的是對每一個目錄必須分開聲明，而不要成"Disallow:/cgi-bin//tmp/"。
User-agent:后的*具有特殊的含義，代表"anyrobot"，所以在該文件中不能有"Disallow:
/tmp/*"or"Disallow:*.gif"這樣的記錄出現(xiàn).
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
