一個站點的URL鏈接有多重要?如同人體內(nèi)無數(shù)的血管，若不暢通，就會產(chǎn)生各種問題。Baidu中URL優(yōu)化的效果與網(wǎng)站的權(quán)重?zé)o關(guān)，但是可以顯著提高網(wǎng)站的權(quán)重檢索，蜘蛛爬蟲和傳播。盡管我很少發(fā)表文章，但是我經(jīng)常發(fā)現(xiàn)，大部分搜索引擎優(yōu)化的問題都是關(guān)于收錄的糟糕，權(quán)重的高低。我瀏覽了許多網(wǎng)站，許多基本的工作都是亂糟糟的。就是想換個思路，站長變成蜘蛛爬你的站，相信大多數(shù)站長自己也跑不了。本文中，我將僅介紹一些重要的URL優(yōu)化點。

　　網(wǎng)站URL地址的一致性

　　URL一致性是一項重要指標(biāo)。建議一本書《走進(jìn)搜索引擎》介紹蜘蛛是一個機(jī)器程序，而不是人腦。盡管是個學(xué)習(xí)過程，但在國內(nèi)卻有數(shù)以千計的網(wǎng)站。每一個站點的URL規(guī)定不一樣。在URL命名規(guī)則混亂的情況下，spider如何能有效識別你的內(nèi)容規(guī)范?這里有一個更好的例子：“下載它”。用戶可訪問網(wǎng)頁下載欄。其基本結(jié)構(gòu)為：首頁=列表頁面=內(nèi)容頁面。

　　網(wǎng)址標(biāo)準(zhǔn)化直接影響網(wǎng)站排名的優(yōu)化。

　　同一站點有90%的流量來自某一目錄，其內(nèi)容類型和內(nèi)容質(zhì)量都一樣。確信你在自己站的過程中有一定的經(jīng)驗，百度會給某一目錄賦權(quán)。鑒于這一點，URL一致性和目錄規(guī)劃變得非常重要。

　　蜘蛛爬行原理收錄深度優(yōu)先和寬度優(yōu)先。

　　網(wǎng)站內(nèi)鏈?zhǔn)且粋€非常重要的優(yōu)化，可以讓蜘蛛更容易抓取網(wǎng)站頁面，提升網(wǎng)站頁面的收錄速度，從而提升網(wǎng)站排名和權(quán)重。

　　Widget：這是我的最愛，我所有的新網(wǎng)站都有這種效果。我自己建了五天站，蜘蛛爬過八百次。結(jié)果顯示，在當(dāng)今的平面上，寬度優(yōu)先使得蜘蛛爬升并返回的效率非常高。URL結(jié)構(gòu)XXX/A/XXX/B/XXX/C/這種叫寬度優(yōu)化，爬升軌跡：首頁-通道頁面A-通道頁面B-頻道頁C/主頁-頻道頁A-內(nèi)容頁A1-內(nèi)容頁a2-內(nèi)容頁A*

　　總而言之。事實上，我們可以看到寬度優(yōu)先的效率明顯高于深度優(yōu)先的效率。而且蜘蛛的任務(wù)類別也比較單一，很容易識別。同一個線程可以爬行幾乎相同類型的頁面，具有相同的頁面樣式和外觀。蜘蛛不必花費太多時間來分析頁面的結(jié)構(gòu)，層次結(jié)構(gòu)很清晰，爬行動物黑洞的問題并不新鮮。