動(dòng)態(tài)網(wǎng)頁的搜索引擎優(yōu)化

作者：不詳
日期：2005-8-25
來自： 搜索引擎排名研究

編譯：Karen
動(dòng)態(tài)生成的網(wǎng)頁：
　　對于那些動(dòng)態(tài)生成網(wǎng)頁，我們這些實(shí)際的訪問者可以通過肉眼看到。但對于大多數(shù)搜索引擎的蜘蛛程序卻往往是不可見的，這也就是動(dòng)態(tài)網(wǎng)頁很難被搜索引擎的SPIDER檢索的原因。因而，要想讓你的動(dòng)態(tài)網(wǎng)頁能夠出現(xiàn)在搜索引擎的搜索結(jié)果中，只要保證你的網(wǎng)站內(nèi)容對搜索引擎是可見的，即搜索引擎的Spider程序能夠看到你網(wǎng)站的內(nèi)容就可以了。
　　所謂動(dòng)態(tài)網(wǎng)頁一般指的是采用ASP，PHP，Cold Fusion，CGI等程序動(dòng)態(tài)生成的頁面，該網(wǎng)頁中的大部分內(nèi)容來自與網(wǎng)站相連的數(shù)據(jù)庫。在網(wǎng)絡(luò)空間中并不存在這個(gè)頁面，只有接到用戶的訪問要求后才生成并傳輸?shù)接脩舻臑g覽器中。而且由于訪問者能夠?qū)崟r(shí)得到他們想要的數(shù)據(jù)，動(dòng)態(tài)網(wǎng)頁往往容易給人留下深刻的印象。此外，動(dòng)態(tài)網(wǎng)頁還具有容易維護(hù)和更新的優(yōu)點(diǎn)。例如，對于一個(gè)新產(chǎn)品或價(jià)格的調(diào)整。網(wǎng)站管理員只要對數(shù)據(jù)庫做一下簡單的改動(dòng)就可以了，根本不需要去修改每個(gè)單獨(dú)的靜態(tài)頁面。
　　我們可以看出，從用戶角度來考慮，動(dòng)態(tài)網(wǎng)頁確實(shí)非常棒。但如果在搜索引擎的角度來看，結(jié)論卻不同了。
動(dòng)態(tài)網(wǎng)頁的問題所在：
　　問題就出在這些動(dòng)態(tài)網(wǎng)頁在網(wǎng)絡(luò)空間中并不是實(shí)際存在的，只有當(dāng)用戶在變量區(qū)中輸入一個(gè)值以后它們才會(huì)生成。而我們大家也都知道，搜索引擎的Spider再聰明，它也只是一個(gè)搜索程序，它們無法象真正的人那樣選擇變量并輸入數(shù)值。
　　亦可將查詢編入主頁上的一個(gè)鏈接中，使得該鏈接成為一個(gè)預(yù)先定義的網(wǎng)站目錄的查詢。用戶可在一個(gè)搜索表格中鍵入查詢條件來查詢，通常動(dòng)態(tài)腳本需要某些信息來返回頁面內(nèi)容，最常見的如Cookie數(shù)據(jù)，Session ID或一個(gè)環(huán)境變量。但對搜索引擎的Spider程序來說，它們壓根不可能知道去使用你的搜索功能，或者該問什么問題。就是因?yàn)槿绱?，Spider對網(wǎng)站的檢索往往會(huì)在一個(gè)動(dòng)態(tài)站點(diǎn)前不得不止步。
　　此外，在動(dòng)態(tài)頁的URL中包含了問號(hào)(?)和百分號(hào)(%)。還有一些符號(hào)諸如&，%，+和$等在一個(gè)動(dòng)態(tài)頁的URL中也經(jīng)常能看到。這樣的URL被稱作“環(huán)境變量”(query string)。不過大多數(shù)SPIDER都無法解讀符號(hào)“?”后的字符。例如，對于這樣一個(gè)URL：http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet大多數(shù)SPIDER都只能讀取符號(hào)“?”之前的字符。URL中的“?”對它們來說是一個(gè)“停止標(biāo)記”，這樣它們最終檢索到的URL只能是：http://www.americanbooks.com/cgi-bin/items.cgi
　　很顯然，由于這個(gè)URL并不實(shí)際存在，所以它們一無所獲。因此，如果你的整個(gè)網(wǎng)站或網(wǎng)站上有大部分網(wǎng)頁都是采用動(dòng)態(tài)來生成的，為了使SPIDER易于讀取你網(wǎng)站上的內(nèi)容，你需要對網(wǎng)站做一定的修改。
　　還有一些搜索引擎在對頁面進(jìn)行檢索時(shí)往往也會(huì)拒絕對cgi-bin目錄下的靜態(tài)頁面(即被保存成靜態(tài)頁面的動(dòng)態(tài)頁)URL進(jìn)行檢索。例如，對下面兩個(gè)URL它們就不提供檢索：
　　http://www.americanbooks.com/cgi-bin/items.html
　　http://www.americanbooks.com/cgi/items.html
搜索引擎為何不讀取符號(hào)“?”后的內(nèi)容：
　　搜索引擎的SPIDER不愿意讀取放在cgi-bin目錄下的網(wǎng)頁，或是URL中包含了符號(hào)“?”的字符。其原因就在于，如果在CGI中提供了“無窮”數(shù)量的URL，那么SPIDER往往就會(huì)因?yàn)閷@些“無窮”網(wǎng)頁的檢索而被牢牢套住，陷入死循環(huán)。這就是所謂的蜘蛛陷阱(spider traps)。數(shù)據(jù)庫程序?qū)PIDER亦有可能創(chuàng)建一個(gè)與此類似的情形。因而為避開可能的陷阱，Spider對于那些帶有符號(hào)“?”的URL中的“?”之后的字符一概不予讀取。
　　倘若Spider被你的服務(wù)器套住，不只是對Spider本身不妙，Spider對你網(wǎng)站頁面的重復(fù)訪問請求也會(huì)導(dǎo)致你的服務(wù)器系統(tǒng)徹底癱瘓。
動(dòng)態(tài)網(wǎng)頁的優(yōu)化方案：
　　以http://www.americanbooks.com/cgi-bin/items.cgi?name=naturaldiet 為例：從其URL中我們可以看出，它表明網(wǎng)站americanbooks.com中提供有天然減肥產(chǎn)品相關(guān)的內(nèi)容。遺憾的是，由于Spider不支持動(dòng)態(tài)生成頁，從而導(dǎo)致了該動(dòng)態(tài)頁上的相關(guān)內(nèi)容無法得到搜索引擎的索引。假設(shè)現(xiàn)在有一個(gè)競爭者，他也有一個(gè)與天然減肥產(chǎn)品類似內(nèi)容的網(wǎng)頁，但由于他的網(wǎng)頁是靜態(tài)頁面，所以能夠得到搜索引擎的索引。那么可想而知，那些搜索“天然減肥產(chǎn)品”的用戶最后訪問的會(huì)是誰的網(wǎng)站。而且，就算americanbooks.com上提供的具體內(nèi)容比它的競爭者再好又能怎樣呢？就因?yàn)樗鼰o法出現(xiàn)在搜索引擎的搜索結(jié)果中，所以只能把網(wǎng)上銷售的好機(jī)會(huì)拱手讓給他的競爭者了。
　　對這個(gè)問題的解決方案可以遵循一個(gè)思想：即更改動(dòng)態(tài)網(wǎng)頁的URL，使URL中不再包含符號(hào)“?”“=”和其它類似的符號(hào)，看起來象一個(gè)靜態(tài)的URL。
不同程序開發(fā)的動(dòng)態(tài)頁的不同解決方案：
CGI/ Perl
　　如果你在網(wǎng)站中使用的是CGI或者Perl，可用一個(gè)腳本拾取環(huán)境變量前的所有字符，再將URL中剩余的字符賦值給一個(gè)變量。這樣，你就可以在URL中使用該變量了。
　　路徑信息(或腳本名稱)是動(dòng)態(tài)應(yīng)用程序中的一個(gè)變量，該變量包含了完整的URL地址和環(huán)境變量信息。這樣，腳本就從路徑信息變量中獲取環(huán)境變量前的字符，并將剩余字符代入一變量。
　　不過，對于那些內(nèi)置了部分SSI(Server-Side Include：服務(wù)器端嵌入)內(nèi)容的網(wǎng)頁，主要的搜索引擎都能夠提供索引支持。那些以.shtml為后綴名的網(wǎng)頁也被解析成SSI文件，相當(dāng)于通常的.html文件。但如果這些網(wǎng)頁在其URL中使用的是cgi-bin路徑，則仍有可能不被搜索引擎索引。
ASP
　　ASP(Active Server Pages: Web 服務(wù)器端動(dòng)態(tài)網(wǎng)頁開發(fā)技術(shù))被用于基于微軟的網(wǎng)絡(luò)服務(wù)器中。使用ASP開發(fā)的網(wǎng)頁，一般后綴名為.asp。ASP 由于其簡單功能實(shí)用等方面受到廣大朋友的喜歡，再加上微軟的強(qiáng)大支持，可說是時(shí)下網(wǎng)頁開發(fā)最為流行的語言之一。只要避免在URL中使用符號(hào)“?”，大多數(shù)搜索引擎都能夠支持用ASP開發(fā)的動(dòng)態(tài)網(wǎng)頁。
　　那么對用了“?”的URL怎么辦呢？針對這個(gè)問題，有家名叫“Exception Digital Enterprise Solutions”的公司推出了他們的解決方案 –xqasp。這是一個(gè)升級軟件。它允許將URL中的符號(hào)“?”通過網(wǎng)絡(luò)服務(wù)器轉(zhuǎn)換為“/”。更多相關(guān)信息請?jiān)L問：http://www.xde.net/products/product_xqasp.htm 還有一些價(jià)格相對低廉一些的解決方案，象ASPSpiderBait和 PortalPageFilter。
Cold Fusion
　　如果你使用的是Cold Fusion，那么你就需要在你的服務(wù)器端重新對其進(jìn)行配置。用Cold Fusion進(jìn)行開發(fā)的網(wǎng)頁一般都以.cfm為文件擴(kuò)展名。一般情況下，數(shù)據(jù)庫使用符號(hào)“?”來取回網(wǎng)頁。你可對Cold Fusion設(shè)置重新進(jìn)行配置，使其能夠?qū)⒁粋€(gè)環(huán)境變量中的符號(hào)“?”用符號(hào)“/”代替，并將替換后的數(shù)值傳給URL。這樣一來，最后到達(dá)瀏覽器端的就是一個(gè)靜態(tài)的URL頁。即對于URLhttp://www.americanbooks.com/items.cfm?item_id=11667，最后返回瀏覽器的將是 http://www.americanbooks.com/items.cfm/11667，當(dāng)搜索引擎對該轉(zhuǎn)換后的文件進(jìn)行檢索時(shí)，它不會(huì)遭遇“?”，因而可繼續(xù)對整個(gè)動(dòng)態(tài)頁的索引，從而使你的動(dòng)態(tài)網(wǎng)頁對搜索引擎仍然具有可讀性。
Apache 服務(wù)器
　　Apache是最流行的HTTP服務(wù)器軟件之一。它有一個(gè)叫做 mod_rewrite的重寫模塊，該模塊能夠使你將包含環(huán)境變量的URL轉(zhuǎn)換為能夠?yàn)樗阉饕嬷С值腢RL類型。不過Mod_rewrite不是Apache軟件安裝中的缺省模塊，所以你應(yīng)當(dāng)與你的主機(jī)托管公司進(jìn)行協(xié)商，看看在你的服務(wù)器上是否有此模塊。
　　還是用上面的URL作為例子：使用mod_rewrite模塊后，該URL http://www.americanbooks.com/items.htm?cat=natural_diet 就變成了如下格式： http://www.americanbooks.com/natural_diet/index.htm 欲了解更多該模塊的相關(guān)信息，請?jiān)L問http://httpd.apache.org/docs/mod/mod_rewrite.html
可通過付費(fèi)收錄程序直接提交動(dòng)態(tài)網(wǎng)頁：
　　直接將動(dòng)態(tài)網(wǎng)站提交到AltaVista可增加你的網(wǎng)站為其收錄的機(jī)會(huì)。如果將其經(jīng)由AltaVista或Inktomi的付費(fèi)收錄程序進(jìn)行提交，就一定能夠保證網(wǎng)站的收錄。
文件擴(kuò)展名：
　　如今，你的文件名后綴是什么。對搜索引擎來說已經(jīng)不再是問題了，即使你的網(wǎng)頁不是以.html或.htm為擴(kuò)展名的，只要在URL中不包含符號(hào)“?”，仍有可能得到索引。相形之下，搜索引擎Northern ight尤為靈活，它能夠索引任何以.html, .htm, .shtml, .stm, .asp, .phtml, .cfm, .php3, .php, .jsp, .jhtml, .asc, .text和.txt為擴(kuò)展名的文件。不過它對后綴是.cgi的文件仍然不提供支持。如果你的網(wǎng)站上存在它不支持的擴(kuò)展名文件，它會(huì)在網(wǎng)站提交的過程中通知你。
結(jié)束語：
　　問問你自己，是不是確實(shí)需要使用動(dòng)態(tài)網(wǎng)頁？數(shù)據(jù)庫通常用作頁面生成工具，你可以用它創(chuàng)建靜態(tài)頁面，尤其對于網(wǎng)站上不常更動(dòng)的那些區(qū)域，可以考慮使用數(shù)據(jù)庫來生成靜態(tài)的頁面內(nèi)容。為了保證搜索引擎的索引，你也可以考慮為你的動(dòng)態(tài)內(nèi)容創(chuàng)建鏡象靜態(tài)的網(wǎng)頁。
　　大多數(shù)的搜索引擎還是不習(xí)慣對動(dòng)態(tài)網(wǎng)頁的索引，到現(xiàn)在也如此。這是由于對一個(gè)動(dòng)態(tài)生成網(wǎng)頁的檢索可能會(huì)導(dǎo)致搜索引擎的Spider掉進(jìn)死循環(huán)的“陷阱”中而無法脫身。不過現(xiàn)在情況正在逐漸得到改善。 最先支持動(dòng)態(tài)網(wǎng)頁的搜索引擎是Google，在兩千年底它已經(jīng)能夠索引動(dòng)態(tài)頁面(包括URL中的“?”)。此外，HotBot及其它一些搜索引擎也開始支持動(dòng)態(tài)頁面。
　　雖然這些搜索引擎能夠支持動(dòng)態(tài)網(wǎng)頁，但為了確保其Spider程序免遭死循環(huán)之災(zāi)，搜索引擎將不會(huì)對來自動(dòng)態(tài)生成頁面中的鏈接進(jìn)行深入訪問。所以我建議大家要稍微多花點(diǎn)時(shí)間在你的動(dòng)態(tài)生成網(wǎng)頁上，并確保它們中的每一個(gè)都能夠被搜索引擎索引到。事實(shí)上，最后你會(huì)發(fā)現(xiàn)，你所花費(fèi)的這些時(shí)間絕對是一個(gè)非常棒的投資－同時(shí)它還能夠?yàn)槟愕木W(wǎng)站帶來更多的訪問量。