robots.txt编写指南：语法规则与常见错误解析

📍 WDQWDWQD987AAAAA:216.73.217.111
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /1b22d1d45646.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道桥梁。正确编写 robots.txt，既能保护后台目录和敏感文件不被抓取，又能引导爬虫高效发现优质内容。本文将系统讲解 robots.txt 编写方法，帮助你避开常见陷阱。

robots.txt 基本语法

robots.txt 是一个纯文本文件，必须放置在网站根目录下，文件名严格为小写。其核心指令包括：

• User-agent：指定规则适用的爬虫名称，* 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，常用于覆盖 Disallow 规则。
• Sitemap：声明网站地图地址，帮助爬虫发现页面。

编写步骤与示例

1. 创建 robots.txt 文件并上传至网站根目录。
2. 按爬虫分组编写规则，每组以 User-agent 开头。
3. 使用 Disallow 屏蔽后台、临时目录和重复内容页面。
4. 在文件末尾添加 Sitemap 指令，指向 XML 地图。

示例：禁止所有爬虫访问 /admin/ 和 /tmp/，同时允许访问 /public/，并声明站点地图。注意规则按路径前缀匹配，因此 Disallow: /admin 会同时屏蔽 /admin 与 /admin123。

常见错误与注意事项

• 误写 Disallow: / 导致整站被屏蔽，这是最严重的错误。
• robots.txt 不能阻止页面被索引，若需彻底移除，应使用 noindex 标签或密码保护。
• 规则区分大小写，路径需与实际 URL 一致。
• 不要依赖 robots.txt 隐藏敏感信息，它可被公开访问。

掌握 robots.txt 编写规范，定期检查文件内容，可有效提升网站抓取效率与安全性。