
很多网友疑惑甚至担忧要不要禁止AI抓取,其实这个事情,大多数网站是没必要去考虑,而且要主动积极的让AI的蜘蛛抓取,不要把自己的网站内容认为是个精贵的知识,其实充其量也就是个信息,如果还禁止了AI抓取,那是不要SEO和GEO了吗。
机构和权威的网站是需要禁止AI抓取。
原因是内容信息是真的具有知识性,而且有版权价值,甚至是有独家发行的知识产权,所以机构和权威的网站就很有必要禁止AI抓取,但是同时也会允许AI的蜘蛛去抓取可以公共分享传播的信息,其实还是版权归属的问题,因为AI抓取之后的生成是存在盗取、伪造的侵权。
而且这类网站也不太需要SEO和GEO的效果,举例说:学院的官方网站有很多流量是没有意义,有需要的用户和访客都会直接访问,而在网上搜索的大多数都是散户和临时访客,其实就是网站的受众面就不是广泛的人群,而是特定的、专项的、垂直的、内部的、圈层的,所以禁止AI抓取也确实能保护网站的存在价值。
现在的CDN服务都有禁止AI抓取的功能。
如果你的网站涉及到付费内容,尤其是知识层面的信息量是有独家的价值,那么可以使用CDN服务内禁止AI抓取的功能,如:腾讯云(EdgeOne)和cloudflare,但是要准确设置哪些内容页是禁止AI抓取,要允许免费内容页是可以被抓取,否则就没有了SEO和GEO,这就很麻烦了。
所以也就是不要过度禁止AI抓取,而是要划定哪些内容是给AI抓取,不能全面禁止,任何网站都离不开SEO和GEO,因为访客和用户的新鲜度是很重要的生存和发展的指标,尤其是大多数网站完全不需要禁止AI抓取,举例说:个人博客、企业官网、外贸营销、品牌宣传、产品推广。
SEO都过来了,不要轮到GEO就禁止了。
说句很现实的事情,网站的SEO都二十多年的过来了,如果现在GEO就禁止抓取,那这就是自己关闭了外部的渠道,我们给搜索引擎抓取了内容信息,但是不给生成引擎,这就幼稚了,所以不要自己制造问题,甚至要积极主动的去迎合AI,让其能够快速抓取的抓取并且识别,这才是正确的选择。
"SEO私馆"结语:很多人之所以要禁止AI抓取,就是为了保护网站的知识版权,其实保护不了,你禁止了AI抓取,但是你防止不了被采集抄袭,然后又在别人的网站被AI抓取了,那这版权归属就很模糊了,所以没必要纠结AI抓取的事情。