网站要不要禁止搜索引擎蜘蛛抓取js和css文件

搜索引擎蜘蛛爬取JS和CSS文件的原因

我们分析网站日志时会发现搜索引擎会偶尔爬取JS和CSS文件，如果路径没有错，那就不用担心，这是搜索引擎在了解我们网站的代码、结构、排版、渲染、内容，也就是在熟悉网站全套环境，如果出现比较频次的爬取JS和CSS文件就应该注意了，很有可能网站出现堵塞和阻拦，但是又没有禁止搜索引擎蜘蛛爬取，有的可能因为网站程序和架构原因不适合蜘蛛爬取，这就会浪费蜘蛛资源，对网站权重不利。网站JS和CSS文件要告知搜索引擎有时候网站需要满足观看阅读效果，会采用较大的渲染和调用，而搜索引擎需要对网站作出页面合格率的判断，这个时候为了避免搜索...