全球搜索引擎蜘蛛UA標識名稱說明
我們在分析網站日誌時會經常看到很多蜘蛛爬取，通過UA標識名稱可以分析出是哪裏的蜘蛛，然後進行實際的需求屏蔽和開放，對於SEO優化來說是不可小視的，尤其是網站服務器性能和寬帶不足以支撐大量蜘蛛爬取而導致網站訪問很慢。
一、百度蜘蛛UA標識名稱：Baiduspider
二、穀歌蜘蛛UA標識名稱：Googlebot
三、360蜘蛛UA標識名稱：360Spider
四、搜狗蜘蛛UA標識名稱：Sogou web spider和Sogou inst spider
五、SOSO蜘蛛UA標識名稱：Sosospider
六、雅虎蜘蛛UA標識名稱：Yahoo和Slurp
七、有道蜘蛛UA標識名稱：YoudaoBot和YodaoBot
八、MSN蜘蛛UA標識名稱：msnbot-media和msnbot
九、必應蜘蛛UA標識名稱：bingbot
十、一搜(神馬)蜘蛛UA標識名稱：YisouSpider
十一、Alexa蜘蛛UA標識名稱：ia_archiver
十二、宜搜蜘蛛UA標識名稱：EasouSpider
十三、即刻蜘蛛UA標識名稱：JikeSpider
十四、一淘網蜘蛛UA標識名稱：EtaoSpider
十五、俄羅斯蜘蛛UA標識名稱：YandexBot和LinkpadBot
十六、花瓣蜘蛛UA標識名稱：PetalBot
十七、WebMeUp蜘蛛UA標識名稱：BLEXBot
十八、頭條蜘蛛UA標識名稱：Bytespider
通過以上對各路蜘蛛UA標識名稱的認識，我們就可以更好的選擇對哪些蜘蛛開放和屏蔽，理論上是全部開放抓取，實際還是要根據自己的網站需要和特徵決定。
不建議屏蔽搜索引擎的蜘蛛爬取網站，但是要警惕那些不知名和未知的蜘蛛，因為很有可能是來爬取網站內容進行抄襲的。