九色国产,午夜在线视频,新黄色网址,九九色综合,天天做夜夜做久久做狠狠,天天躁夜夜躁狠狠躁2021a,久久不卡一区二区三区

前言

wordpress設(shè)置好robots.txt十分地重要，會很大程度地影響搜索引擎對網(wǎng)站的爬取，因此，設(shè)置一個好的wordpress得robots.txt成為必須的要求。

設(shè)置步驟

wordpress設(shè)置robots.txt

其實(shí)設(shè)置robots.txt也不需要那么麻煩了，只要重要的后臺不要被抓取就夠了

wordpress的后臺是/wp-admin，所以，理論上只要不要抓取這個目錄就好了

本站的robots.txt因?yàn)檫€有其他東西，所以多加了一點(diǎn)，具體可以參考下面的代碼：

6User-agent: *Disallow: /wp-admin/Disallow: /wp-includes/Disallow: /feedDisallow: /go/*Sitemap: http://www.fenxiangwu.net/sitemap.xml

禁止wp-admin是最基礎(chǔ)的，保護(hù)網(wǎng)站安全

而wp-includes含一些wordpress關(guān)鍵運(yùn)行文件，但一般不含有資源文件，因此可以放心禁用

禁止/feed是因?yàn)檫@個頁面會導(dǎo)致生成大量的無內(nèi)容頁面，從而導(dǎo)致搜索引擎拋棄小站QAQ

/go/是小站設(shè)置的跳轉(zhuǎn)文件，鏈接到的是外站，如果google抓取的話，會導(dǎo)致權(quán)重降低等多種負(fù)面影響，所以也要禁止

最后一行sitemap是本站的網(wǎng)站目錄，寫出來能幫助搜索引擎更好地抓取網(wǎng)站