robots.txt和sitema.xml基本的東西大家隨便百度下，都會里了解的很清楚，在seo牛人網(wǎng)里kekewolf說下robots文件、sitemap大件應(yīng)該注意的事！
【robots.txt的優(yōu)點】
1. 幾乎所有的搜索引擎Spider都遵循robots.txt給出的爬行規(guī)則，協(xié)議規(guī)定搜索引擎Spider進(jìn)入某個網(wǎng)站的入口即是該網(wǎng)站的robots.txt，當(dāng)然，前提是該網(wǎng)站存在此文件。對于沒有配置robots.txt的網(wǎng)站，Spider將會被重定向至404 錯誤頁面，相關(guān)研究表明，如果網(wǎng)站采用了自定義的404錯誤頁面，那么Spider將會把其視作robots.txt——雖然其并非一個純粹的文本文件——這將給Spider索引網(wǎng)站帶來很大的困擾，影響搜索引擎對網(wǎng)站頁面的收錄。
2. robots.txt可以制止不必要的搜索引擎占用服務(wù)器的寶貴帶寬，如email retrievers，這類搜索引擎對大多數(shù)網(wǎng)站是沒有意義的；再如image strippers，對于大多數(shù)非圖形類網(wǎng)站來說其也沒有太大意義，但卻耗用大量帶寬。
3. robots.txt可以制止搜索引擎對非公開頁面的爬行與索引，如網(wǎng)站的后臺程序、管理程序，事實上，對于某些在運行中產(chǎn)生臨時頁面的網(wǎng)站來說，如果未配置robots.txt，搜索引擎甚至?xí)饕切┡R時文件。
4. 對于內(nèi)容豐富、存在很多頁面的網(wǎng)站來說，配置robots.txt的意義更為重大，因為很多時候其會遭遇到搜索引擎Spider給予網(wǎng)站的巨大壓力：洪水般的Spider訪問，如果不加控制，甚至?xí)绊懢W(wǎng)站的正常訪問。
5. 同樣地，如果網(wǎng)站內(nèi)存在重復(fù)內(nèi)容，使用robots.txt限制部分頁面不被搜索引擎索引和收錄，可以避免網(wǎng)站受到搜索引擎關(guān)于 duplicate content的懲罰，保證網(wǎng)站的排名不受影響。
【溫馨提示：robots.txt帶來的風(fēng)險及解決】
1. 凡事有利必有弊，robots.txt同時也帶來了一定的風(fēng)險：其也給攻擊者指明了網(wǎng)站的目錄結(jié)構(gòu)和私密數(shù)據(jù)所在的位置。雖然在Web服務(wù)器的安全措施配置得當(dāng)?shù)那疤嵯逻@不是一個嚴(yán)重的問題，但畢竟降低了那些不懷好意者的攻擊難度。
比如說，如果網(wǎng)站中的私密數(shù)據(jù)通過http://www.seoniuren.com/private/index.html 訪問，那么，在robots.txt的設(shè)置可能如下：
User-agent: *
Disallow: /private/
這樣，攻擊者只需看一下robots.txt即可知你要隱藏的內(nèi)容在哪里，在瀏覽器中輸入http://www.seoniuren.com/private/ 便可訪問我們不欲公開的內(nèi)容。對這種情況，一般采取如下的辦法：
設(shè)置訪問權(quán)限，對/private/中的內(nèi)容實施密碼保護(hù)，這樣，攻擊者便無從進(jìn)入。
另一種辦法是將缺省的目錄主文件index.html更名為其他，比如說abc-protect.html，這樣，該內(nèi)容的地址即變成http://www.seoniuren.com/private/abc-protect.htm，同時，制作一個新的index.html文件，內(nèi)容大致為“你沒有權(quán)限訪問此頁”之類，這樣，攻擊者因不知實際的文件名而無法訪問私密內(nèi)容。
2. 如果設(shè)置不對，將導(dǎo)致搜索引擎將索引的數(shù)據(jù)全部刪除。
User-agent: *
Disallow: /
上述代碼將禁止所有的搜索引擎索引數(shù)據(jù)。
======附ZAC【這個名人你可以百度下】對自己電子商務(wù)網(wǎng)站的robots的設(shè)置：===========
# robots.txt for http://www.chinamyhosting.com
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /footer.txt
Disallow: /lefter.txt
Disallow: /header.txt
Disallow: /form.txt
Disallow: /kb/print/
Disallow: /kb/comment/
Disallow: /seoblog/go/
User-agent: Googlebot
Disallow: /*/*/*/*/*/feed/
Disallow: /*/*/*/*/*/trackback/
Disallow: /seoblog/index.php?image=*
Disallow: /kb/print/
Disallow: /kb/comment/
Disallow: /seoblog/go/
Disallow: /seoblog/?r=*
Disallow: /seoblog/page/*/?*
User-Agent: Yahoo! Slurp
Disallow: /*/*/*/*/*/feed/
Disallow: /*/*/*/*/*/trackback/
Disallow: /seoblog/index.php?image=*
Disallow: /kb/print/
Disallow: /kb/comment/
Disallow: /seoblog/go/
Disallow: /seoblog/?r=*
User-Agent: MJ12bot
Disallow:
二、sitemap索引文件
Sitemap.xml文件大家都知道，這里我就說說sitemap索引文件！索引文件的作用是指引搜索引擎爬行你真正的sitemap文件的。一般情況下，當(dāng)你的sitemap文件至少在兩個或以上時，才建議設(shè)立sitemap索引文件。在根目錄下建立以sitemap.xml命名的索引文件指向你真正的sitemap文件。
sitemap.xml命名的索引文件建立如下：
該 sitemap索引列出了三個 sitemap：
該 sitemap索引列出了三個 sitemap：
<?xml version=”1.0″ encoding=”UTF-8″?>
<sitemapindex xmlns=”http://www.google.com/schemas/sitemap/0.84″>
<sitemap>
<loc>http://www.seoniuren.com/sitemap.xml</loc>
<lastmod>2009-07-23</lastmod>
</sitemap>
<sitemap>
<loc>http://www.seoniuren.com/xml/sitemap2.xml.gz</loc>
<lastmod>2009-07-23</lastmod>
</sitemap>
<sitemap>
<loc>http://www.seoniuren.com/xml/sitemap2.xml.gz</loc>
<lastmod>2009-07-23</lastmod>
</sitemap>
</sitemapindex>
<loc>標(biāo)記并用其來識別 Sitemap的位置。
<lastmod>是可選標(biāo)記，用于指示Sitemap文件的修改時間。
<sitemap>封裝單個 Sitemaps 的相關(guān)信息。
<sitemapindex>會壓縮有關(guān)文件中的所有 Sitemaps 的信息。
前面這些大多數(shù)人通過網(wǎng)絡(luò)都可以了解到，對于示例中的
http://www.xxx.com/sitemap1.xml.gz后的gz卻有點不解，其實很簡單，gz格式為xml的壓縮格式。gz為gzip的縮寫，gzip最初用于UNIX系統(tǒng)的文件壓縮，現(xiàn)今已經(jīng)成為Internet 上使用非常普遍的一種數(shù)據(jù)壓縮格式，或者說一種文件格式。
轉(zhuǎn)載請寫明出處：http://www.seoniuren.com/thread-2062-1-1.html
關(guān)鍵詞：【SEO牛人網(wǎng)kekewolf】 robots.txt優(yōu)缺點 sitemap索引文件
