什麼是蜘蛛抓取(訪問)?

|

蜘蛛抓取指的是獲取頁面的屬性、參數。結構和內容信息,進去初步的診斷頁面品質和價值程度,以先行檢查和判斷做出是否進一步收錄網站的內容頁面,同時提供是否索引的評估,也可以理解抓取是具有掃描和探查的作用。

我們習慣把蜘蛛抓取說是蜘蛛訪問,如果不從細節區分的話,也是符合常識說法的,但是實際上抓取的作用是高於訪問的,大部分經驗豐富的資深SEO人員在查看網站日誌時,其中一項工作就是瞭解蜘蛛的抓取和訪問的情況。

所以你只要記住下麪這幾點就足夠了。

1、蜘蛛抓取等於是訪問,但是強於訪問。

2、蜘蛛抓取是先訪問,再執行,後分析。

3、蜘蛛抓取是索引之前的初步診斷網站情況。

4、蜘蛛抓取主要是對外收集內容信息。

5、蜘蛛抓取頻次可以影響網站SEO效果。

網站SEO第一步就是要解決蜘蛛抓取的需要,比如:新頁面的獲抓、更新頁面的復抓、無效頁面的檢抓、內鏈頁面的深抓、功能頁面的免抓、低質頁面的繞抓,一句話形容就是要把蜘蛛抓取用到恰到好處的地方,而不是浪費蜘蛛資源。

結語:建議不要強制引導蜘蛛抓取,網站按照健康行徑讓蜘蛛去正常抓取,要記住蜘蛛的SEO作用是包含正負兩面性的。

搜索引擎蜘蛛抓取和訪問有什麼區別?