robots.txt规则详解：语法、通配符与抓取优化指南

📍 WDQWDWQD987AAAAA:216.73.216.236
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /54099d33582e.html
📄

robots.txt规则是网站与搜索引擎爬虫沟通的基础协议。正确配置robots.txt规则，不仅能保护敏感目录，还能优化抓取效率，避免服务器资源浪费。本文将系统讲解robots.txt规则的核心语法、常见误区及进阶技巧。

什么是robots.txt规则？

robots.txt是存放在网站根目录下的纯文本文件，用于指示爬虫哪些页面可以抓取，哪些禁止抓取。robots.txt规则由一组或多组记录组成，每条记录包含User-agent和Disallow或Allow指令。爬虫在访问网站前会先读取该文件，并遵循其中的规则。

基本语法与示例

一个典型的robots.txt规则如下：

• User-agent: * — 适用于所有爬虫
• Disallow: /admin/ — 禁止抓取admin目录
• Allow: /public/ — 允许抓取public目录

注意：Disallow和Allow指令需与User-agent配对使用，且规则区分大小写。若未指定Allow，则默认允许所有未被Disallow的路径。

通配符与匹配规则

robots.txt规则支持两种通配符：*匹配任意字符序列，$匹配URL结尾。例如：

• Disallow: /*.pdf$ — 禁止抓取所有PDF文件
• Disallow: /tmp/*/ — 禁止抓取tmp下任意子目录

合理使用通配符可以精确控制抓取范围，但需注意爬虫对通配符的支持程度不同，建议优先使用明确路径。

优先级与常见误区

当Allow与Disallow规则冲突时，最长匹配优先。例如，若同时存在Disallow: /cgi/和Allow: /cgi/public/，则/cgi/public/下的页面仍可被抓取。常见误区包括：

1. 误用Disallow: /导致整站被屏蔽；
2. 忘记设置Sitemap指令，影响抓取效率；
3. 规则未考虑移动端与桌面端差异。

进阶优化建议

为提升robots.txt规则效果，可采取以下措施：

• 使用Sitemap指令指向站点地图，帮助爬虫发现内容；
• 为不同爬虫设置独立规则，如针对Googlebot和Bingbot差异化控制；
• 定期检查服务器日志，确认规则是否生效；
• 避免在robots.txt中泄露敏感目录名称。

总之，robots.txt规则是SEO技术中不可忽视的一环。掌握其语法与逻辑，结合网站实际结构灵活调整，才能实现抓取与安全的平衡。