網站不要過度禁止AI抓取,否則就沒有SEO/GEO了

|

很多網友疑惑甚至擔憂要不要禁止AI抓取,其實這個事情,大多數網站是沒必要去考慮,而且要主動積極的讓AI的蜘蛛抓取,不要把自己的網站內容認為是個精貴的知識,其實充其量也就是個信息,如果還禁止了AI抓取,那是不要SEO和GEO了嗎。

機構和權威的網站是需要禁止AI抓取。

原因是內容信息是真的具有知識性,而且有版權價值,甚至是有獨家發行的知識產權,所以機構和權威的網站就很有必要禁止AI抓取,但是同時也會允許AI的蜘蛛去抓取可以公共分享傳播的信息,其實還是版權歸屬的問題,因為AI抓取之後的生成是存在盜取、偽造的侵權。

而且這類網站也不太需要SEO和GEO的效果,舉例說:學院的官方網站有很多流量是沒有意義,有需要的用戶和訪客都會直接訪問,而在網上搜索的大多數都是散戶和臨時訪客,其實就是網站的受眾面就不是廣泛的人群,而是特定的、專項的、垂直的、內部的、圈層的,所以禁止AI抓取也確實能保護網站的存在價值。

現在的CDN服務都有禁止AI抓取的功能。

如果你的網站涉及到付費內容,尤其是知識層面的信息量是有獨家的價值,那麼可以使用CDN服務內禁止AI抓取的功能,如:騰訊雲(EdgeOne)和cloudflare,但是要準確設置哪些內容頁是禁止AI抓取,要允許免費內容頁是可以被抓取,否則就沒有了SEO和GEO,這就很麻煩了。

所以也就是不要過度禁止AI抓取,而是要劃定哪些內容是給AI抓取,不能全面禁止,任何網站都離不開SEO和GEO,因為訪客和用戶的新鮮度是很重要的生存和發展的指標,尤其是大多數網站完全不需要禁止AI抓取,舉例說:個人博客、企業官網、外貿營銷、品牌宣傳、產品推廣。

SEO都過來了,不要輪到GEO就禁止了。

說句很現實的事情,網站的SEO都二十多年的過來了,如果現在GEO就禁止抓取,那這就是自己關閉了外部的渠道,我們給搜索引擎抓取了內容信息,但是不給生成引擎,這就幼稚了,所以不要自己製造問題,甚至要積極主動的去迎合AI,讓其能夠快速抓取的抓取並且識別,這纔是正確的選擇。

結語:很多人之所以要禁止AI抓取,就是爲了保護網站的知識版權,其實保護不了,你禁止了AI抓取,但是你防止不了被採集抄襲,然後又在別人的網站被AI抓取了,那這版權歸屬就很模糊了,所以沒必要糾結AI抓取的事情。