robots.txt 生成器

在线生成 robots.txt，支持允许/禁止规则与 Sitemap 声明。

robots.txt 生成器用于快速生成规范的爬虫协议文件。可选择允许或禁止全站抓取、放行或屏蔽特定目录与爬虫，并声明 Sitemap 地址，工具会输出可直接使用的 robots.txt 内容。适合新站上线时配置抓取规则，或排查收录异常。生成后请结合实际目录结构检查规则是否与预期一致。规则按从上到下、最长匹配的原则生效，写完后建议用搜索引擎的抓取测试工具验证效果。

使用步骤

输入需要检测的域名、网址或 IP。
按需设置参数后提交检测。
在当前页面查看检测结果。

常见问题

robots.txt 生成器能做什么？

robots.txt 生成器用于快速生成规范的爬虫协议文件。

使用robots.txt 生成器需要注意什么？

生成后请结合实际目录结构检查规则是否与预期一致。规则按从上到下、最长匹配的原则生效，写完后建议用搜索引擎的抓取测试工具验证效果。

输入内容会上传服务器吗？

robots.txt 生成器在浏览器本地执行，输入内容用于当前页面即时处理。

robots.txt 生成器是否免费使用？

当前工具面向日常轻量场景开放使用，页面会展示对应的使用限制和处理方式。