SEO私馆
问题咨询、疑难诊断、优化运营、培训教学

搜索引擎蜘蛛的抓取和访问的区别

搜索引擎蜘蛛的抓取和访问的区别

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

"SEO私馆"结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

网站做SEO就是做搜索引擎蜘蛛的数量吗?

很多SEO新人问我,网站是不是做SEO就是要搞大量的搜索引擎蜘蛛过来就可以了,为什么大家会问这个问题呢?其实是国内SEO环境是很扭曲的,价值观和认知层面是处于投机取巧和不劳而获的程度,以至于让很大SE...

搜索引擎蜘蛛访问和抓取的区别

我们在做网站SEO优化时有必要搞清楚搜索引擎的蜘蛛对网站的行为是存在访问和抓取的,而且两者是单独存在,也就是说访问不代表抓取,抓取不代表完全访问过了。什么是蜘蛛访问和抓取(爬取)。蜘蛛访问就是类似用户...

各大搜索引擎和蜘蛛的区别

任何人和网站在做SEO优化时都需要对各大搜索引擎的特征比较熟悉,尤其是要掌握蜘蛛的特性,不同的搜索引擎的细则规则和技术能力都有较大的差距,尤其是国内搜索引擎不像国外那样灵活,自信,技术强悍。一、谷歌搜...

网站提高搜索引擎蜘蛛访问频率次数的方法

我们在做网站SEO优化和运营时会经常观察搜索引擎的蜘蛛爬虫来访抓取的频率和次数,因为这可以判断出网站的权重值大概处于什么阶段,也能分析出网站内容页面收录的时长,对优化网站SEO有很重要的参考价值,所以...

搜索引擎蜘蛛不抓取网站页面的原因

我们分析网站日志时会发现搜索引擎的蜘蛛有时候来访很频繁,但是就不抓取内容页面,如果没有经验的SEO人员会一头雾水,甚至会觉得是搜索引擎的问题。其实有一大半还是网站自身存在问题,如果蜘蛛来访频率不低,那...

全球搜索引擎蜘蛛UA标识名称说明

我们在分析网站日志时会经常看到很多蜘蛛爬取,通过UA标识名称可以分析出是哪里的蜘蛛,然后进行实际的需求屏蔽和开放,对于SEO优化来说是不可小视的,尤其是网站服务器性能和宽带不足以支撑大量蜘蛛爬取而导致...

搜索引擎蜘蛛IP地址说明

网站SEO优化时要经常观察搜素引擎的蜘蛛IP爬取动向和来访频次,这样我们能够充分的分析SEO优化程度,知道哪里还需要改进优化,哪里存在问题,所以搜素引擎的蜘蛛IP对于SEO优化来说是比较重要的。百度搜...

搜索引擎蜘蛛爬取JS和CSS文件的原因

我们分析网站日志时会发现搜索引擎会偶尔爬取JS和CSS文件,如果路径没有错,那就不用担心,这是搜索引擎在了解我们网站的代码、结构、排版、渲染、内容,也就是在熟悉网站全套环境,如果出现比较频次的爬取JS...