搜索引擎抓取診斷錯誤原因及解決方法
如果搜索引擎不收錄網站內容頁面、下降掉索引和排名、蜘蛛來訪少,那就要檢查一下抓取的狀態是否正常了,尤其是網站運營大多數用的是免費的環境和條件就更要注意了。
一、域名DNS解析
大部分網站爲了節省開支,用的域名DNS解析是免費版的,雖然大問題沒有,但是存在解析不穩定和異常的情況,導致搜索引擎抓取網站頁面出現DNS錯誤的問題。
解決方法:使用幾十百把塊錢的收費版DNS解析服務,從源頭上避免搜索引擎抓取網站時出現間斷性的不穩定和異常的情況。
二、CDN緩存沒有回源
網站實用CDN緩存是常態化的部署,但是CDN緩存的IP是隨機的,如果沒有做回源處理,就會導致搜索引擎蜘蛛每次抓取的IP是不同的,而且有時候CDN的IP節點因為負載過大而不穩定。
解放方法:開啟CDN緩存回源網站IP,也可以在域名DNS解析中單獨設置搜索引擎指向IP,也就是網站源IP地址。
三、網站更換了IP地址
這就是說網站更換了運營的服務器,那麼IP很大可能也是更換了,但是搜索引擎並不知道,還是抓取了原有的IP地址,這就會導致異常和錯誤的問題。
解決方法:向搜索引擎提交最新的網站源IP地址,通常都在搜索引擎管理後臺的抓取診斷功能中有更新的按鈕提示,如下圖所示:

四、多服務器IP運營沒有唯一指向性
大型網站會用多臺服務器運營,就會有多個IP的情況,這個時候如果沒有針對搜索引擎指向唯一的IP抓取的話,是有可能導致很多不準確的錯誤問題。
解決方法:在域名DNS解析中設置搜索引擎唯一性的指向IP地址。
五。域名URL闇跳轉鏈接
這個很多站長朋友不知道,有時候網站的程序原因,導致網站被搜索引擎蜘蛛抓取時不是真實的URL地址,但顯示是的,實際是闇跳轉了其他鏈接,比如是同域名URL其他路徑。
解決方法:這個需要懂程序技術,最簡單的方法就是把頁面的URL設置唯一性的路徑,就算是有多種URL方式,也要向搜索引擎標註唯一性路徑是多少。
結語:我們常態的觀念中,搜索引擎抓取和診斷的錯誤問題主要是IP有誤,但是大多數問題都是設置不當和未及時更新導致的,必須讓搜索引擎有指定的抓取IP,確保穩定性。