搜索引擎蜘蛛爬取JS和CSS文件的原因
我們分析網站日誌時會發現搜索引擎會偶爾爬取JS和CSS文件，如果路徑沒有錯，那就不用擔心，這是搜索引擎在瞭解我們網站的代碼、結構、排版、渲染、內容，也就是在熟悉網站全套環境，如果出現比較頻次的爬取JS和CSS文件就應該注意了，很有可能網站出現堵塞和阻攔，但是又沒有禁止搜索引擎蜘蛛爬取，有的可能因為網站程序和架構原因不適合蜘蛛爬取，這就會浪費蜘蛛資源，對網站權重不利。
網站JS和CSS文件要告知搜索引擎
有時候網站需要滿足觀看閱讀效果，會採用較大的渲染和調用，而搜索引擎需要對網站作出頁面合格率的判斷，這個時候爲了避免搜索引擎誤判或者蜘蛛無法理解網站頁面效果，就必須作出引導告知的標明。
搜索引擎不是像人為觀看去判斷網站頁面情況，而是通過爬取層層代碼結構進行分析判斷，網站及圖片的寬度長度、位置、文字顯示、內容展覽等等，就算是抓取網站內容也是直接從指定特徵的代碼段落中提取。
網站JS和CSS文件不要隱藏抓取不到
有些網站考慮到安全問題，會隱藏JS和CSS文件，其實這是多此一舉的，而且會導致搜索引擎無法抓取JS和CSS文件去瞭解網站情況，最常見的隱藏就是多層級跳鏈和遞鏈，這種鏈接方式在搜索引擎面前就很容易被判斷為死鏈，最終導致誤判網站處於異常狀態。
尤其是網站內容含在JS文件封裝的，最好給搜索引擎一條簡單直接的路徑爬取分析，避免網站內容不被抓取收錄。
網站始終要保持對搜索引擎的開放，如果涉及到安全機密的JS和CSS可以單獨做個文件隱藏加密，不建議禁止搜索引擎蜘蛛爬取。