robots协议(也称爬虫协议、机器人协议)是网站与搜索引擎爬虫之间的一种约定,用来说明网站中哪些内容可以被抓取、哪些内容不应被抓取。它通常以robots.txt文件的形式放在网站根目录下,是SEO工作中最基础也最容易被忽视的配置之一。
robots协议的核心作用是引导爬虫抓取范围,而不是强制安全防护。合理配置可以避免爬虫抓取后台、搜索结果页、重复参数页等低价值URL,减少服务器压力,并让爬虫更集中地抓取重要页面。但要注意,robots协议只是行业惯例,恶意爬虫可能不遵守。
一个典型的robots.txt文件由若干条记录组成,每条记录以User-agent开头,后接Allow或Disallow规则。例如:
规则按最长匹配优先,Allow与Disallow冲突时通常以更具体的规则为准。配置完成后,应使用搜索引擎官方工具进行抓取测试,确认规则生效。
很多站点误以为在robots.txt中屏蔽某个页面就能将其从搜索结果中移除,实际上被robots屏蔽的URL仍可能通过外链被索引,只是无法展示摘要。若要彻底移除,应配合noindex或提交删除请求。此外,robots.txt误屏蔽CSS、JS或重要栏目,会直接影响页面渲染与收录。建议定期检查robots.txt,避免使用Disallow: / 这类全站屏蔽规则,并在网站改版、上线前重点复核。