robots協議文件SEO優化方法
很多人做SEO優化忽視了robots的重要性，大多數認為只要不禁止搜索引擎的蜘蛛抓取就可以了，但是有時候出現的SEO問題就有可能是robots的設置錯誤。
一、robots避免資源不被抓取
在設置robots時要謹慎不要禁止搜索引擎的蜘蛛抓取資源，雖然禁止抓取也能讓搜索引擎知道頁面資源情況，但是會延長SEO週期，全憑搜索引擎對網站的分析判斷。
二、robots不要禁止JS和CSS文件
CSS文件負責網站展示效果（渲染），JS文件負責網站基礎的交互判斷(點擊事件)，可以理解為兩者是有相互相成的因素，而搜索引擎會通過這兩個文件分析網站情況，雖然搜索引擎會爲了解網站直接通過路徑訪問JS和CSS文件，但是如果禁止抓取也會造成延長SEO週期的問題。
三、robots不要用通配符號
不建議用通配符號設置robots，一百度為例給出的配符號是*和$，因為這種配符號稍有不慎會導致網站頁面不收錄，尤其是內容URL路徑有幾種表達方式，搜索引擎很有可能會出現技術錯誤的判斷，比如只要有相關字母或者數字在URL其中就會不抓取，示例說明： Disallow:/a*，搜索引擎如果出現技術判斷錯誤會把含有a的URL地址都不抓取。
結語：robots對於SEO優化都是細節上的處理，一定要謹慎，仔細的設置，充分考慮搜索引擎的蜘蛛抓取頁面時的有效性和正確性。