很多人做SEO优化忽视了robots的重要性，大多数认为只要不禁止搜索引擎的蜘蛛抓取就可以了，但是有时候出现的SEO问题就有可能是robots的设置错误。
一、robots避免资源不被抓取
在设置robots时要谨慎不要禁止搜索引擎的蜘蛛抓取资源，虽然禁止抓取也能让搜索引擎知道页面资源情况，但是会延长SEO周期，全凭搜索引擎对网站的分析判断。
二、robots不要禁止JS和CSS文件
CSS文件负责网站展示效果（渲染），JS文件负责网站基础的交互判断(点击事件)，可以理解为两者是有相互相成的因素，而搜索引擎会通过这两个文件分析网站情况，虽然搜索引擎会为了解网站直接通过路径访问JS和CSS文件，但是如果禁止抓取也会造成延长SEO周期的问题。
三、robots不要用通配符号
不建议用通配符号设置robots，一百度为例给出的配符号是*和$，因为这种配符号稍有不慎会导致网站页面不收录，尤其是内容URL路径有几种表达方式，搜索引擎很有可能会出现技术错误的判断，比如只要有相关字母或者数字在URL其中就会不抓取，示例说明： Disallow:/a*，搜索引擎如果出现技术判断错误会把含有a的URL地址都不抓取。
SEO私馆结束语：robots对于SEO优化都是细节上的处理，一定要谨慎，仔细的设置，充分考虑搜索引擎的蜘蛛抓取页面时的有效性和正确性。