robots txt怎么写？从入门到精通的完整指南

📍 WDQWDWQD987AAAAA:216.73.217.111
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9a6f4bca6101.html
📄

robots txt怎么写是很多站长和SEO从业者经常遇到的问题。robots.txt 是网站根目录下的一个纯文本文件，用于告诉搜索引擎蜘蛛哪些页面可以抓取、哪些不能抓取。正确编写它，既能保护隐私目录，又能引导蜘蛛高效爬行。下面从基础语法到实战技巧，帮你彻底掌握。

一、robots.txt 的基本语法

robots.txt 由若干条记录组成，每条记录以 User-agent 开头，后跟一个或多个规则。核心指令包括：

• User-agent：指定规则适用的蜘蛛，如 * 表示所有蜘蛛，Baiduspider 表示百度蜘蛛。
• Disallow：禁止抓取的路径，留空表示不禁止任何内容。
• Allow：允许抓取的路径，通常用于在 Disallow 范围内设置例外。
• Sitemap：声明网站地图地址，帮助蜘蛛发现页面。

二、robots.txt 怎么写：示例与注意事项

一个常见的写法如下：

• User-agent: *
• Disallow: /admin/
• Disallow: /tmp/
• Allow: /admin/public/
• Sitemap: https://www.example.com/sitemap.xml

这段规则禁止所有蜘蛛抓取 /admin/ 和 /tmp/ 目录，但允许抓取 /admin/public/，同时声明了网站地图。编写时需注意：

1. 文件必须放在网站根目录，且文件名全小写。
2. 每条规则独占一行，指令与值之间用冒号加空格分隔。
3. Disallow 后不要留多余空格，否则可能被解析为无效规则。
4. 不要用 Disallow: / 屏蔽整站，除非网站正在维护。
5. 敏感内容应通过密码保护，而非仅依赖 robots.txt。

三、常见误区与调试建议

很多新手会误以为 robots.txt 能阻止页面被收录，实际上它只是禁止抓取，被禁止的 URL 仍可能通过外链被索引。此外，不同搜索引擎对 Allow 的支持程度略有差异。建议编写后用搜索引擎的 robots 测试工具验证，并定期检查文件是否可正常访问。掌握 robots txt怎么写，是网站 SEO 基础工作中不可或缺的一环。