搜索引擎蜘蛛抓取页面为什么不收录

搜索引擎蜘蛛的抓取和访问的区别

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思，但是如果从严谨的定义去看的话，两者是有区别的，但是作用系数又是相互形成的协同结果。1、抓取指的是蜘蛛获取页面的信息、参数和属性，包括内容和代码的结构情况。2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问，包括浏览体验度和阅读流畅性。以百度搜索举例，大多数都会同时有2个IP蜘蛛同时进入网站，目前常见是116和220开头的IP，有些人当作是权重蜘蛛和抓取蜘蛛，这样理解也是可以的。但是其他搜索引擎大多数只有一个IP的蜘蛛，所以就很难分辨是抓取还是访问，也是因为这点原因，...