警惕垃圾蜘蛛影響網站SEO收錄排名
最近給一個企業網站診斷SEO問題，看了沒什麼問題，前端優化的不錯，代碼結構也規範，標籤運用也可以，但是網站就是不收錄，做不了SEO，後來就看了他的網站日誌和性能截圖，發現好傢伙，垃圾蜘蛛大部分情況在恰好的時段和搜索引擎蜘蛛在同時抓取頁面，我跟對方說了這個問題後，對方聽不懂，那就細說。
服務器配置和寬帶不足以支撐大量蜘蛛來訪。
國內大部分企業網站的服務器配置1H-2H核心和1G-4G內存，寬帶2M左右，如果用上CDN緩存還是可以支撐欠人快速訪問的，但是如果大量蜘蛛來訪爬取就會出現異常和緩慢，垃圾蜘蛛跟搜索引擎蜘蛛碰撞在一起同時抓取就會極大的消耗服務器性能速度，造成搜索引擎蜘蛛無法準確快速的抓取頁面，這點可以用性能圖示和蜘蛛來訪時間通過經驗去判斷。
網站程序支撐不了蜘蛛頻繁訪問讀取。
垃圾蜘蛛有很多種，有些包含正規公司的，全球有十幾家，比如SEO營銷服務網站平臺的，只要對網站沒有SEO優化作用的蜘蛛是可以都視為垃圾蜘蛛，這些沒有價值的垃圾蜘蛛會每天頻繁的抓取網站頁面，導致程序間斷性和時段性承受不了高頻率的訪問讀取，尤其是一些動態程度比較高的網站，結果就會導致搜索引擎蜘蛛比較難以在每次抓取都是快速成功。
寬帶高峰期不夠蜘蛛爬取。
很多人測試網站的寬帶速度和訪問速度只會在本地單人和幾個人簡單測試一下，但是大多數情況都是低峰期和低負載的狀態，這是完全不符合真實的網絡場景，而搜索引擎的蜘蛛會不定時隨機性來訪爬取頁面，這個時候如果垃圾蜘蛛處於高頻次抓取中就會導致網站寬帶達到極限，無法提供給搜索引擎蜘蛛高速訪問。
垃圾蜘蛛爲了利益最大化，會比較頻繁的來訪抓取。
很多商業蜘蛛，比如MJ12bot、SemrushBot、MegaIndex這些SEO營銷服務的蜘蛛會爲了滿足自己及時獲取全網頁面的數據信息，會頻繁抓取總彙，因為他們要馬上提供給會員查詢外鏈、友鏈、競爭分析、關鍵字等等，全球所有的商業蜘蛛加起來多達十個以上，這對於一個低配低寬帶的網站來說是很大的消耗。
結語：不是說無名蜘蛛纔是垃圾，只要對網站沒有SEO價值的蜘蛛都可以算是垃圾，而且要注意國外那些商業蜘蛛，及時禁止來訪抓取，可以用UA和robots屏蔽。