我们在分析网站日志时会经常看到很多蜘蛛爬取，通过UA标识名称可以分析出是哪里的蜘蛛，然后进行实际的需求屏蔽和开放，对于SEO优化来说是不可小视的，尤其是网站服务器性能和宽带不足以支撑大量蜘蛛爬取而导致网站访问很慢。
一、百度蜘蛛UA标识名称：Baiduspider
二、谷歌蜘蛛UA标识名称：Googlebot
三、360蜘蛛UA标识名称：360Spider
四、搜狗蜘蛛UA标识名称：Sogou web spider和Sogou inst spider
五、SOSO蜘蛛UA标识名称：Sosospider
六、雅虎蜘蛛UA标识名称：Yahoo和Slurp
七、有道蜘蛛UA标识名称：YoudaoBot和YodaoBot
八、MSN蜘蛛UA标识名称：msnbot-media和msnbot
九、必应蜘蛛UA标识名称：bingbot
十、一搜(神马)蜘蛛UA标识名称：YisouSpider
十一、Alexa蜘蛛UA标识名称：ia_archiver
十二、宜搜蜘蛛UA标识名称：EasouSpider
十三、即刻蜘蛛UA标识名称：JikeSpider
十四、一淘网蜘蛛UA标识名称：EtaoSpider
十五、俄罗斯蜘蛛UA标识名称：YandexBot和LinkpadBot
十六、花瓣蜘蛛UA标识名称：PetalBot
十七、WebMeUp蜘蛛UA标识名称：BLEXBot
十八、头条蜘蛛UA标识名称：Bytespider
通过以上对各路蜘蛛UA标识名称的认识，我们就可以更好的选择对哪些蜘蛛开放和屏蔽，理论上是全部开放抓取，实际还是要根据自己的网站需要和特征决定。
不建议屏蔽搜索引擎的蜘蛛爬取网站，但是要警惕那些不知名和未知的蜘蛛，因为很有可能是来爬取网站内容进行抄袭的。