网站怎么解决假蜘蛛爬取的问题

冒充搜素引擎的假蜘蛛IP对网站爬取的迹象原因

假蜘蛛也就是冒充搜索引擎蜘蛛爬取网站，可以通过网站日志分析出来，国内最常见的就是冒充百度蜘蛛，大部分网站都存在假蜘蛛爬取的行为，而且是每天频繁来访爬取，这就给我们带来一些困惑，尤其是新人站长更是搞不清楚状况，如果网站处于较高频率的原创文章发布，这就需要我们警惕了。我们可以通过以下这几点判断出假蜘蛛和爬取路径。一、检测蜘蛛的IP真伪来访目的通过分析IP地址和UA标识判断哪些是假蜘蛛，爬取是否正常，是否喜欢去一些现在权限的文件和一些不存在的文件路径，尤其是直接爬取其他常见的网站隐私文件（比如你的网站没有ABC文件，但就...