最近给一个企业网站诊断SEO问题，看了没什么问题，前端优化的不错，代码结构也规范，标签运用也可以，但是网站就是不收录，做不了SEO，后来就看了他的网站日志和性能截图，发现好家伙，垃圾蜘蛛大部分情况在恰好的时段和搜索引擎蜘蛛在同时抓取页面，我跟对方说了这个问题后，对方听不懂，那就细说。
服务器配置和宽带不足以支撑大量蜘蛛来访。
国内大部分企业网站的服务器配置1H-2H核心和1G-4G内存，宽带2M左右，如果用上CDN缓存还是可以支撑欠人快速访问的，但是如果大量蜘蛛来访爬取就会出现异常和缓慢，垃圾蜘蛛跟搜索引擎蜘蛛碰撞在一起同时抓取就会极大的消耗服务器性能速度，造成搜索引擎蜘蛛无法准确快速的抓取页面，这点可以用性能图示和蜘蛛来访时间通过经验去判断。
网站程序支撑不了蜘蛛频繁访问读取。
垃圾蜘蛛有很多种，有些包含正规公司的，全球有十几家，比如SEO营销服务网站平台的，只要对网站没有SEO优化作用的蜘蛛是可以都视为垃圾蜘蛛，这些没有价值的垃圾蜘蛛会每天频繁的抓取网站页面，导致程序间断性和时段性承受不了高频率的访问读取，尤其是一些动态程度比较高的网站，结果就会导致搜索引擎蜘蛛比较难以在每次抓取都是快速成功。
宽带高峰期不够蜘蛛爬取。
很多人测试网站的宽带速度和访问速度只会在本地单人和几个人简单测试一下，但是大多数情况都是低峰期和低负载的状态，这是完全不符合真实的网络场景，而搜索引擎的蜘蛛会不定时随机性来访爬取页面，这个时候如果垃圾蜘蛛处于高频次抓取中就会导致网站宽带达到极限，无法提供给搜索引擎蜘蛛高速访问。
垃圾蜘蛛为了利益最大化，会比较频繁的来访抓取。
很多商业蜘蛛，比如MJ12bot、SemrushBot、MegaIndex这些SEO营销服务的蜘蛛会为了满足自己及时获取全网页面的数据信息，会频繁抓取总汇，因为他们要马上提供给会员查询外链、友链、竞争分析、关键字等等，全球所有的商业蜘蛛加起来多达十个以上，这对于一个低配低宽带的网站来说是很大的消耗。
结语：不是说无名蜘蛛才是垃圾，只要对网站没有SEO价值的蜘蛛都可以算是垃圾，而且要注意国外那些商业蜘蛛，及时禁止来访抓取，可以用UA和robots屏蔽。
", "content_text": "最近给一个企业网站诊断SEO问题，看了没什么问题，前端优化的不错，代码结构也规范，标签运用也可以，但是网站就是不收录，做不了SEO，后来就看了他的网站日志和性能截图，发现好家伙，垃圾蜘蛛大部分情况在恰好的时段和搜索引擎蜘蛛在同时抓取页面，我跟对方说了这个问题后，对方听不懂，那就细说。服务器配置和宽带不足以支撑大量蜘蛛来访。国内大部分企业网站的服务器配置1H-2H核心和1G-4G内存，宽带2M左右，如果用上CDN缓存还是可以支撑欠人快速访问的，但是如果大量蜘蛛来访爬取就会出现异常和缓慢，垃圾蜘蛛跟搜索引擎蜘蛛碰撞在一起同时抓取就会极大的消耗服务器性能速度，造成搜索引擎蜘蛛无法准确快速的抓取页面，这点可以用性能图示和蜘蛛来访时间通过经验去判断。网站程序支撑不了蜘蛛频繁访问读取。垃圾蜘蛛有很多种，有些包含正规公司的，全球有十几家，比如SEO营销服务网站平台的，只要对网站没有SEO优化作用的蜘蛛是可以都视为垃圾蜘蛛，这些没有价值的垃圾蜘蛛会每天频繁的抓取网站页面，导致程序间断性和时段性承受不了高频率的访问读取，尤其是一些动态程度比较高的网站，结果就会导致搜索引擎蜘蛛比较难以在每次抓取都是快速成功。宽带高峰期不够蜘蛛爬取。很多人测试网站的宽带速度和访问速度只会在本地单人和几个人简单测试一下，但是大多数情况都是低峰期和低负载的状态，这是完全不符合真实的网络场景，而搜索引擎的蜘蛛会不定时随机性来访爬取页面，这个时候如果垃圾蜘蛛处于高频次抓取中就会导致网站宽带达到极限，无法提供给搜索引擎蜘蛛高速访问。垃圾蜘蛛为了利益最大化，会比较频繁的来访抓取。很多商业蜘蛛，比如MJ12bot、SemrushBot、MegaIndex这些SEO营销服务的蜘蛛会为了满足自己及时获取全网页面的数据信息，会频繁抓取总汇，因为他们要马上提供给会员查询外链、友链、竞争分析、关键字等等，全球所有的商业蜘蛛加起来多达十个以上，这对于一个低配低宽带的网站来说是很大的消耗。结语：不是说无名蜘蛛才是垃圾，只要对网站没有SEO价值的蜘蛛都可以算是垃圾，而且要注意国外那些商业蜘蛛，及时禁止来访抓取，可以用UA和robots屏蔽。网站禁止垃圾蜘蛛访问抓取教程说明", "date_published": "2022-03-21T18:22:56+00:00", "date_modified": "2024-08-27T21:59:09+00:00", "summary": "最近给一个企业网站诊断SEO问题，看了没什么问题，前端优化的不错，代码结构也规范，标签运用也可以，但是网站就是不收录，做不了SEO，后来就看了他的网站日志和性能截图，发现好家伙，垃圾蜘蛛大部分情况在恰好的时段和搜索引擎蜘蛛在同时抓取页面，我跟对方说了这个问题后，对方听不懂，那就细说。服务器配置和宽带不足以支撑大量蜘蛛来访。国内大部分企业网站的服务器配置1H-2H核心和1G-4G内存，宽带2M左右，如果用上CDN缓存还是可以支撑欠人快速访问的，但是如果大量蜘蛛来访爬取就会出现异常和缓慢，垃圾蜘蛛跟搜索引擎蜘蛛碰撞在一起同时抓取就会极大的消耗服务器性能速度，造成搜索引擎蜘蛛无法准确快速的抓取页面，这点可以用性能图示和蜘蛛来访时间通过经验去判断。" } ] }