{
    "version": "https://jsonfeed.org/version/1.1",
    "title": "SEO私馆",
    "home_page_url": "https://www.seosiguan.com/",
    "feed_url": "https://www.seosiguan.com/post/289.json",
    "language": "zh-Hans",
    "items": [
        {
            "id": "https://www.seosiguan.com/post/289.html",
            "url": "https://www.seosiguan.com/post/289.html",
            "title": "全球搜索引擎蜘蛛UA标识名称说明",
            "content_html": "<p>我们在分析网站日志时会经常看到很多蜘蛛爬取，通过UA标识名称可以分析出是哪里的蜘蛛，然后进行实际的需求屏蔽和开放，对于SEO优化来说是不可小视的，尤其是网站服务器性能和宽带不足以支撑大量蜘蛛爬取而导致网站访问很慢。</p><p>一、百度蜘蛛UA标识名称：Baiduspider</p><p>二、谷歌蜘蛛UA标识名称：Googlebot</p><p>三、360蜘蛛UA标识名称：360Spider</p><p>四、搜狗蜘蛛UA标识名称：Sogou web spider和Sogou inst spider</p><p>五、SOSO蜘蛛UA标识名称：Sosospider</p><p>六、雅虎蜘蛛UA标识名称：Yahoo和Slurp</p><p>七、有道蜘蛛UA标识名称：YoudaoBot和YodaoBot</p><p>八、MSN蜘蛛UA标识名称：msnbot-media和msnbot</p><p>九、必应蜘蛛UA标识名称：bingbot</p><p>十、一搜(神马)蜘蛛UA标识名称：YisouSpider</p><p>十一、Alexa蜘蛛UA标识名称：ia_archiver</p><p>十二、宜搜蜘蛛UA标识名称：EasouSpider</p><p>十三、即刻蜘蛛UA标识名称：JikeSpider</p><p>十四、一淘网蜘蛛UA标识名称：EtaoSpider</p><p>十五、俄罗斯蜘蛛UA标识名称：YandexBot和LinkpadBot</p><p>十六、花瓣蜘蛛UA标识名称：PetalBot</p><p>十七、WebMeUp蜘蛛UA标识名称：BLEXBot</p><p>十八、头条蜘蛛UA标识名称：Bytespider</p><p>通过以上对各路蜘蛛UA标识名称的认识，我们就可以更好的选择对哪些蜘蛛开放和屏蔽，理论上是全部开放抓取，实际还是要根据自己的网站需要和特征决定。</p><p>不建议屏蔽搜索引擎的蜘蛛爬取网站，但是要警惕那些不知名和未知的蜘蛛，因为很有可能是来爬取网站内容进行抄袭的。</p><p><a href=\"https://www.seosiguan.com/post/290.html\" target=\"_blank\" title=\"搜索引擎蜘蛛IP地址说明\">搜索引擎蜘蛛IP地址说明</a><br/></p>",
            "content_text": "我们在分析网站日志时会经常看到很多蜘蛛爬取，通过UA标识名称可以分析出是哪里的蜘蛛，然后进行实际的需求屏蔽和开放，对于SEO优化来说是不可小视的，尤其是网站服务器性能和宽带不足以支撑大量蜘蛛爬取而导致网站访问很慢。一、百度蜘蛛UA标识名称：Baiduspider二、谷歌蜘蛛UA标识名称：Googlebot三、360蜘蛛UA标识名称：360Spider四、搜狗蜘蛛UA标识名称：Sogou web spider和Sogou inst spider五、SOSO蜘蛛UA标识名称：Sosospider六、雅虎蜘蛛UA标识名称：Yahoo和Slurp七、有道蜘蛛UA标识名称：YoudaoBot和YodaoBot八、MSN蜘蛛UA标识名称：msnbot-media和msnbot九、必应蜘蛛UA标识名称：bingbot十、一搜(神马)蜘蛛UA标识名称：YisouSpider十一、Alexa蜘蛛UA标识名称：ia_archiver十二、宜搜蜘蛛UA标识名称：EasouSpider十三、即刻蜘蛛UA标识名称：JikeSpider十四、一淘网蜘蛛UA标识名称：EtaoSpider十五、俄罗斯蜘蛛UA标识名称：YandexBot和LinkpadBot十六、花瓣蜘蛛UA标识名称：PetalBot十七、WebMeUp蜘蛛UA标识名称：BLEXBot十八、头条蜘蛛UA标识名称：Bytespider通过以上对各路蜘蛛UA标识名称的认识，我们就可以更好的选择对哪些蜘蛛开放和屏蔽，理论上是全部开放抓取，实际还是要根据自己的网站需要和特征决定。不建议屏蔽搜索引擎的蜘蛛爬取网站，但是要警惕那些不知名和未知的蜘蛛，因为很有可能是来爬取网站内容进行抄袭的。搜索引擎蜘蛛IP地址说明",
            "date_published": "2021-10-08T16:14:22+00:00",
            "date_modified": "2024-08-19T04:00:13+00:00",
            "summary": "我们在分析网站日志时会经常看到很多蜘蛛爬取，通过UA标识名称可以分析出是哪里的蜘蛛，然后进行实际的需求屏蔽和开放，对于SEO优化来说是不可小视的，尤其是网站服务器性能和宽带不足以支撑大量蜘蛛爬取而导致网站访问很慢。一、百度蜘蛛UA标识名称：Baiduspider二、谷歌蜘蛛UA标识名称：Googlebot三、360蜘蛛UA标识名称：360Spider四、搜狗蜘蛛UA标识名称：Sogou web spider和Sogou inst spider"
        }
    ]
}