網(wǎng)址規(guī)范化一直是困擾站長以及搜索引擎的一個問題。據(jù)估計，網(wǎng)上有10%-30%的URL是內容相同但URL不一樣的不規(guī)范化網(wǎng)址。

這就造成幾個問題。比如:

• 對站長來說，多個URL存在分散了頁面權重，不利于排名。
• 對搜索引擎來說，浪費資源，浪費帶寬。
• 搜索引擎發(fā)現(xiàn)多個網(wǎng)址內容相同時，不會懲罰，而會盡可能找出那個應該是規(guī)范化的網(wǎng)址。但程序畢竟只是程序，可能出錯，挑出來的可能不是站長想要的那個規(guī)范化網(wǎng)址。
• 網(wǎng)站上網(wǎng)址規(guī)范化問題太嚴重的話，也可能影響收錄。一個權重不很高的域名，能收錄的總頁面數(shù)字是有限的。搜索引擎把資源花在收錄不規(guī)范的網(wǎng)址上，留下給真正不同內容的資源就減少了。

要解決URL規(guī)范化問題也有很多選項，比如：

• 在Google管理員工具中設置帶3W和不帶3W的，哪一個是規(guī)范化版本
• 使用301轉向，把不規(guī)范化URL全部轉向到規(guī)范化URL
• 確保使用的CMS系統(tǒng)只產生規(guī)范化網(wǎng)址
• 確保網(wǎng)站上所有內部鏈接都指向規(guī)范化網(wǎng)址
• 在提交給搜索引擎的網(wǎng)站地圖中全部指定規(guī)范化網(wǎng)址

但這些方法都各有局限。

• Google管理員工具不適用于其他搜索引擎
• 有的站長因為某種原因做不了301轉向
• CMS系統(tǒng)大部分情況下不受自己控制
• 內部鏈接自己可以控制，但其他人鏈接到自己網(wǎng)站上就不受控制了

總之，雖然有解決方法備選，但網(wǎng)址規(guī)范化到目前為止還是個不小的問題。

前幾天Google，雅虎，微軟共同發(fā)布了一個新的標簽canonical tag，用于解決網(wǎng)址規(guī)范化問題。

簡單說，就是在HTML文件的頭部加上這樣一段代碼：

意義就是這個網(wǎng)頁的規(guī)范化網(wǎng)址應該是：

http://www.example.com/product.php?item=swedish-fish

下面這些URL都可以加上這段代碼：

http://www.example.com/product.php?item=swedish-fish&category=gummy-candy

http://www.example.com/product.php?item=swedish-fish&trackingid=1234&sessionid=5678

這些URL的真正規(guī)范化網(wǎng)址就都成為：

http://www.example.com/product.php?item=swedish-fish

簡單說，這個標簽相當是一個頁面內的301轉向。區(qū)別在于用戶并不被轉向，還是停留在不變網(wǎng)址上，而搜索引擎會把它當作是301轉向處理，也就是說把頁面鏈接的權重都集中到代碼中指明的規(guī)范化網(wǎng)址上。

另外有幾個細節(jié)站長需要注意：

• 這個標簽只是一種建議或暗示，而不是指令，它不像robots文件那樣是個指令。所以搜索引擎會很大程度上考慮這個代碼，但并不是百分之百，還會考慮其他情況來判斷規(guī)范化網(wǎng)址。這也防止站長有可能把網(wǎng)址弄錯。
• 這段代碼既可以使用絕對地址，也可以使用相對地址。通常還是建議使用絕對地址比較保險。
• 指定的規(guī)范化網(wǎng)址上的內容，與其他使用這段代碼的非規(guī)范化網(wǎng)址內容可以有一些不同，不一定完全一樣。比如在電子商務網(wǎng)站上有很多按價錢、顏色，、尺寸升降排序，生成的URL全都不一樣，但內容大體相同，只有細小區(qū)別，就可以使用這個標簽。
• 指定的規(guī)范化網(wǎng)址可以是不存在頁面，返回404，也可以是還沒有被收錄的頁面。但是不建議這么做，別沒事找事。
• 這個標簽適用于同一個域名內，包括二級域名。但不適用于不同域名之間，防止有人劫持。
• 別把這個標簽當救命草，首先還是得把網(wǎng)站結構做好，盡量避免出現(xiàn)URL規(guī)范化問題。這只是萬不得已的方法。

敏感的人大概能從這個新標準里看到建立大量外部鏈接的機會。

提一句，這個標準被3大搜索引擎Google，雅虎，微軟同時支持，為什么沒提百度呢？記得看到報道，從搜索量來看，百度是世界上搜索引擎，為什么不帶著我們一起玩？