{ "version": "https://jsonfeed.org/version/1.1", "title": "SEO私馆", "home_page_url": "https://www.seosiguan.com/", "feed_url": "https://www.seosiguan.com/post/477.json", "language": "zh-Hans", "items": [ { "id": "https://www.seosiguan.com/post/477.html", "url": "https://www.seosiguan.com/post/477.html", "title": "robots协议文件SEO优化方法", "content_html": "

很多人做SEO优化忽视了robots的重要性，大多数认为只要不禁止搜索引擎的蜘蛛抓取就可以了，但是有时候出现的SEO问题就有可能是robots的设置错误。

一、robots避免资源不被抓取

在设置robots时要谨慎不要禁止搜索引擎的蜘蛛抓取资源，虽然禁止抓取也能让搜索引擎知道页面资源情况，但是会延长SEO周期，全凭搜索引擎对网站的分析判断。

二、robots不要禁止JS和CSS文件

CSS文件负责网站展示效果（渲染），JS文件负责网站基础的交互判断(点击事件)，可以理解为两者是有相互相成的因素，而搜索引擎会通过这两个文件分析网站情况，虽然搜索引擎会为了解网站直接通过路径访问JS和CSS文件，但是如果禁止抓取也会造成延长SEO周期的问题。

三、robots不要用通配符号

不建议用通配符号设置robots，一百度为例给出的配符号是*和$，因为这种配符号稍有不慎会导致网站页面不收录，尤其是内容URL路径有几种表达方式，搜索引擎很有可能会出现技术错误的判断，比如只要有相关字母或者数字在URL其中就会不抓取，示例说明： Disallow:/a*，搜索引擎如果出现技术判断错误会把含有a的URL地址都不抓取。

结语：robots对于SEO优化都是细节上的处理，一定要谨慎，仔细的设置，充分考虑搜索引擎的蜘蛛抓取页面时的有效性和正确性。

robots.txt协议文件设置教程

", "content_text": "很多人做SEO优化忽视了robots的重要性，大多数认为只要不禁止搜索引擎的蜘蛛抓取就可以了，但是有时候出现的SEO问题就有可能是robots的设置错误。一、robots避免资源不被抓取在设置robots时要谨慎不要禁止搜索引擎的蜘蛛抓取资源，虽然禁止抓取也能让搜索引擎知道页面资源情况，但是会延长SEO周期，全凭搜索引擎对网站的分析判断。二、robots不要禁止JS和CSS文件CSS文件负责网站展示效果（渲染），JS文件负责网站基础的交互判断(点击事件)，可以理解为两者是有相互相成的因素，而搜索引擎会通过这两个文件分析网站情况，虽然搜索引擎会为了解网站直接通过路径访问JS和CSS文件，但是如果禁止抓取也会造成延长SEO周期的问题。三、robots不要用通配符号不建议用通配符号设置robots，一百度为例给出的配符号是*和$，因为这种配符号稍有不慎会导致网站页面不收录，尤其是内容URL路径有几种表达方式，搜索引擎很有可能会出现技术错误的判断，比如只要有相关字母或者数字在URL其中就会不抓取，示例说明： Disallow:/a*，搜索引擎如果出现技术判断错误会把含有a的URL地址都不抓取。结语：robots对于SEO优化都是细节上的处理，一定要谨慎，仔细的设置，充分考虑搜索引擎的蜘蛛抓取页面时的有效性和正确性。robots.txt协议文件设置教程", "date_published": "2022-01-03T22:15:18+00:00", "date_modified": "2024-08-27T23:08:45+00:00", "summary": "很多人做SEO优化忽视了robots的重要性，大多数认为只要不禁止搜索引擎的蜘蛛抓取就可以了，但是有时候出现的SEO问题就有可能是robots的设置错误。一、robots避免资源不被抓取在设置robots时要谨慎不要禁止搜索引擎的蜘蛛抓取资源，虽然禁止抓取也能让搜索引擎知道页面资源情况，但是会延长SEO周期，全凭搜索引擎对网站的分析判断。二、robots不要禁止JS和CSS文件" } ] }