免费分享SEO优化技术、思路、技巧、方式 - 付费运营网站SEO优化服务、网络舆论处理方案
您现在的位置是:首页>搜索引擎

全球搜索引擎蜘蛛UA标识名称说明

作者:SEO私馆时间:2021-10-09 00:14:22分类:搜索引擎阅读:184

我们在分析网站日志时会经常看到很多蜘蛛爬取,通过UA标识名称可以分析出是哪里的蜘蛛,然后进行实际的需求屏蔽和开放,对于SEO优化来说是不可小视的,尤其是网站服务器性能和宽带不足以支撑大量蜘蛛爬取而导致网站访问很慢。

一、百度蜘蛛UA标识名称:Baiduspider

二、谷歌蜘蛛UA标识名称:Googlebot

三、360蜘蛛UA标识名称:360Spider

四、搜狗蜘蛛UA标识名称:Sogou web spider和Sogou inst spider

五、SOSO蜘蛛UA标识名称:Sosospider

六、雅虎蜘蛛UA标识名称:Yahoo和Slurp

七、有道蜘蛛UA标识名称:YoudaoBot和YodaoBot

八、MSN蜘蛛UA标识名称:msnbot-media和msnbot

九、必应蜘蛛UA标识名称:bingbot

十、一搜(神马)蜘蛛UA标识名称:YisouSpider

十一、Alexa蜘蛛UA标识名称:ia_archiver

十二、宜搜蜘蛛UA标识名称:EasouSpider

十三、即刻蜘蛛UA标识名称:JikeSpider

十四、一淘网蜘蛛UA标识名称:EtaoSpider

十五、俄罗斯蜘蛛UA标识名称:YandexBot和LinkpadBot

十六、花瓣蜘蛛UA标识名称:PetalBot

十七、WebMeUp蜘蛛UA标识名称:BLEXBot

十八、头条蜘蛛UA标识名称:Bytespider

通过以上对各路蜘蛛UA标识名称的认识,我们就可以更好的选择对哪些蜘蛛开放和屏蔽,理论上是全部开放抓取,实际还是要根据自己的网站需要和特征决定。

不建议屏蔽搜索引擎的蜘蛛爬取网站,但是要警惕那些不知名和未知的蜘蛛,因为很有可能是来爬取网站内容进行抄袭的。

搜索引擎蜘蛛IP地址说明

原创版权声明
本文章由“SEO私馆”纯手工原创撰写,转载必须以链接形式注明原创出处。

咨询服务QQQQ在线

服务时间:9:00-22:00
添加微信号咨询:seosiguan