首先開門見山第一個(gè)問題：
什么是robots.txt? 這是一個(gè)文本文件，是搜索引擎爬行網(wǎng)頁要查看的第一個(gè)文件，你可以告訴搜索引擎哪些文件可以被查看，哪些禁止。
當(dāng)搜索機(jī)器人（也叫搜索蜘蛛）訪問一個(gè)站點(diǎn)時(shí)，它首先會(huì)檢查根目錄是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。
可以看出，robots.txt是放在網(wǎng)站根目錄的，另外而且
文件名全部使用小寫。
robots.txt基本語法我們先看一個(gè)簡(jiǎn)單的例子：
http://www.seo0592.com/robots.txt# robots.txt file from
http://www.seo0592.com# All robots will spider the domain
User-agent: *
Disallow: /
這個(gè)是
廈門SEO技術(shù)站點(diǎn)的一個(gè)例子，我們?cè)谡f這四行是什么意思之前來先看看robots.txt的幾個(gè)關(guān)鍵語法：
a、User-agent: 應(yīng)用下文規(guī)則的漫游器，比如Googlebot,Baiduspider等。
b、Disallow: 要攔截的網(wǎng)址,不允許機(jī)器人訪問。
c、Allow: 允許訪問的網(wǎng)址
d、"*" : 通配符---匹配0或多個(gè)任意字符。
e、"$" : 匹配行結(jié)束符。
f、"#" : 注釋---說明性的文字,不寫也可。
g、Googlebot: 谷歌搜索機(jī)器人(也叫搜索蜘蛛)。
h、Baiduspider: 百度搜索機(jī)器人(也叫搜索蜘蛛)。
i、目錄、網(wǎng)址的寫法:都以以正斜線 (/) 開頭。
如Disallow:/
Disallow:/images/
Disallow:/admin/
Disallow:/css/
等等……
由此可看：上面例子所表示的意思是禁止所有搜索引擎訪問網(wǎng)站的任何部分。
下面，我們列舉一些robots.txt 具體用法：
1、允許所有的robot訪問
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一個(gè)空文件"robots.txt"即可。
2、僅禁止某個(gè)機(jī)器人訪問您的網(wǎng)站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
3、僅允許某個(gè)機(jī)器人訪問您的網(wǎng)站，如Baiduspider。
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
4、禁止訪問特定目錄
User-agent: *
Disallow: /admin/
Disallow: /css/
Disallow: /*script/
5、允許訪問特定目錄中的部分url
User-agent: *
Allow: /admin/user/
Allow: /data/d.html
Disallow: /admin/
Disallow: /data/
6、使用"*"限制訪問url
User-agent: *
Disallow: /upload/*.jspx
禁止訪問/upload/目錄下的所有以".jspx"為后綴的URL(包含子目錄)。
7、使用"$"限制訪問url
User-agent: *
Allow: .htm$
Disallow: /
僅允許訪問以".htm"為后綴的URL。
8、禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面
User-agent: *
Disallow: /*?*
9、禁止Baiduspider抓取網(wǎng)站上所有圖片
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
10、僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片
怎么樣，例子也不難理解吧... 緊接著再來看下一個(gè)問題：
robots.txt文件里還可以直接包括在sitemap文件的鏈接。
就像這樣：
Sitemap: http://www.yourhost.com/sitemap.xml但加上這句話時(shí)，請(qǐng)?zhí)貏e讀下面這段話：
目前對(duì)此表示支持的搜索引擎公司有
Google, Yahoo, Ask and MSN。而中文搜索引擎公司，顯然不在這個(gè)圈子內(nèi)。這樣做的好處就是，站長(zhǎng)不用到每個(gè)搜索引擎的站長(zhǎng)工具或者相似的站長(zhǎng)部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就會(huì)抓取robots.txt文件，讀取其中的sitemap路徑，接著抓取其中相鏈接的網(wǎng)頁。
注意:
robots.txt的所有指令都區(qū)分大小寫。例如:Disallow: /junk_file.asp 會(huì)攔截
http://www.example.com/junk_file.asp，卻會(huì)允許
http://www.example.com/Junk_file.asp。一般與程序有關(guān)的都是區(qū)分大小寫的，并且要以英文狀態(tài)下編寫。
另：Googlebot 會(huì)忽略 robots.txt 中的空白內(nèi)容（特別是空行）和未知指令。
另外下面進(jìn)行一些擴(kuò)展知識(shí)，對(duì)robots與meta的關(guān)系進(jìn)行一些介紹。
Robots META標(biāo)簽則主要是針對(duì)一個(gè)個(gè)具體的頁面。和其他的META標(biāo)簽（如使用的語言、頁面的描述、關(guān)鍵詞等）一樣，Robots META標(biāo)簽也是放在頁面的<head></head>中，專門用來告訴搜索引擎ROBOTS如何抓取該頁的內(nèi)容。
Robots META標(biāo)簽的寫法：
Robots META標(biāo)簽中沒有大小寫之分，name="Robots"表示所有的搜索引擎，可以針對(duì)某個(gè)具體搜索引擎寫為name="BaiduSpider"。 content部分有四個(gè)指令選項(xiàng)：index、noindex、follow、nofollow，指令間以","分隔。
INDEX 指令告訴搜索機(jī)器人抓取該頁面；
FOLLOW 指令表示搜索機(jī)器人可以沿著該頁面上的鏈接繼續(xù)抓取下去；
Robots Meta標(biāo)簽的缺省值是INDEX和FOLLOW，只有inktomi除外，對(duì)于它，缺省值是INDEX,NOFOLLOW。
這樣，一共有四種組合：
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
其中
<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以寫成>META NAME="ROBOTS" CONTENT="ALL">；
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以寫成<META NAME="ROBOTS" CONTENT="NONE">
目前看來，絕大多數(shù)的搜索引擎機(jī)器人都遵守robots.txt的規(guī)則，而對(duì)于Robots META標(biāo)簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE還增加了一個(gè)指令“archive”，可以限制GOOGLE是否保留網(wǎng)頁快照。例如：
<META NAME="googlebot" CONTENT="index,follow,noarchive">
表示抓取該站點(diǎn)中頁面并沿著頁面中鏈接抓取，但是不在GOOLGE上保留該頁面的網(wǎng)頁快照。
最后再簡(jiǎn)單說說我們?yōu)楹涡枰胷obots.txt這個(gè)文件來告訴搜索機(jī)器人不要爬行我們的部分網(wǎng)頁，比如：后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片和背景圖片等等。說到底了，這些頁面或文件被搜索引擎收錄了，用戶也看不了，多數(shù)需要口令才能進(jìn)入或是數(shù)據(jù)文件。既然這樣，又讓搜索機(jī)器人爬行的話，就
浪費(fèi)了服務(wù)器資源，增加了服務(wù)器的壓力，因此我們可以用robots.txt告訴機(jī)器人集中注意力去收錄我們的文章頁面。增強(qiáng)用戶體驗(yàn)。再提醒廣大建站朋友的是，在建站初期，并上服務(wù)器測(cè)試時(shí)，最好寫一個(gè)robots.txt以禁止搜索引擎收錄，以免造成不白之冤。建好后再放開懷抱，與搜索引擎攀上友好關(guān)系，共同服務(wù)于廣大客戶。篇幅短短，并不長(zhǎng)。但包含網(wǎng)友所關(guān)心的：robots.txt、robots.txt文件、robots.txt問題、robots.txt 如何寫、robots.txt技巧、robots.txt 怎么寫、robots.txt 寫法、robots.txt 具體用法等系列問題。相信，您要是從頭一字不漏地看到這，并深刻理解再一結(jié)合上面的例子通過舉一反三便可以寫出適合自己網(wǎng)站的一個(gè)robots.txt。這樣廣大網(wǎng)友們就不必打開搜索引擎帶著robots.txt相關(guān)問題到處亂竄了。
src="http://www.seo0592.com/PLUGIN/copytofriends/copy.js" type="text/javascript">
