robots.txt怎么写？从零开始掌握robots文件写法

📍 WDQWDWQD987AAAAA:216.73.216.236
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /718728a7020e.html
📄

robots.txt 是网站与搜索引擎爬虫之间的“沟通协议”，正确编写能有效管理抓取行为。本文将带你从零开始，快速掌握 robots.txt 的写法。

什么是 robots.txt？

robots.txt 是存放在网站根目录下的纯文本文件，用于告诉搜索引擎哪些页面可以抓取，哪些不能。它遵循 “爬虫协议”，是 SEO 的基础配置之一。

robots.txt 的基本语法

文件由若干条记录组成，每条记录包含 User-agent 和 Disallow 或 Allow 指令。常见写法如下：

• User-agent：指定规则针对的爬虫，如 * 表示所有爬虫。
• Disallow：禁止抓取的路径，如 /admin/。
• Allow：允许抓取的路径，通常用于覆盖 Disallow。
• Sitemap：声明网站地图地址，方便爬虫发现内容。

如何编写 robots.txt？

以下是一个通用示例：

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml

注意：Allow 和 Disallow 的路径区分大小写，且 * 和 $ 可用于通配匹配。例如 Disallow: /*.pdf$ 可禁止所有 PDF 文件。

常见错误与最佳实践

1. 拼写错误：如将 Disallow 写成 Dissallow，会导致规则失效。
2. 路径错误：确保路径以 / 开头，且不要包含域名。
3. 过度屏蔽：禁止抓取 CSS/JS 可能影响渲染，建议用 Allow 放行。
4. 及时更新：网站改版后，记得同步修改 robots.txt。

最后，使用搜索引擎的 robots.txt 测试工具验证，确保规则被正确解析。