robots协议是什么?robots协议作用、写法与常见误区解析

📍 WDQWDWQD987AAAAA:216.73.216.186
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /dd629d8ebcec.html
📄

robots协议(也称爬虫协议、机器人协议)是网站与搜索引擎爬虫之间的一种约定,用来说明网站中哪些内容可以被抓取、哪些内容不应被抓取。它通常以robots.txt文件的形式放在网站根目录下,是SEO工作中最基础也最容易被忽视的配置之一。

robots协议的作用

robots协议的核心作用是引导爬虫抓取范围,而不是强制安全防护。合理配置可以避免爬虫抓取后台、搜索结果页、重复参数页等低价值URL,减少服务器压力,并让爬虫更集中地抓取重要页面。但要注意,robots协议只是行业惯例,恶意爬虫可能不遵守。

robots.txt的常见写法

一个典型的robots.txt文件由若干条记录组成,每条记录以User-agent开头,后接Allow或Disallow规则。例如:

规则按最长匹配优先,Allow与Disallow冲突时通常以更具体的规则为准。配置完成后,应使用搜索引擎官方工具进行抓取测试,确认规则生效。

常见误区与注意事项

很多站点误以为在robots.txt中屏蔽某个页面就能将其从搜索结果中移除,实际上被robots屏蔽的URL仍可能通过外链被索引,只是无法展示摘要。若要彻底移除,应配合noindex或提交删除请求。此外,robots.txt误屏蔽CSS、JS或重要栏目,会直接影响页面渲染与收录。建议定期检查robots.txt,避免使用Disallow: / 这类全站屏蔽规则,并在网站改版、上线前重点复核。

图1 图2

nginx