robots.txt生成器
可视化配置并生成 robots.txt 文件。
🤖robots.txt生成器
全部处理在本地完成功能说明
「robots.txt生成器」是一个本地生成的爬虫规则配置工具，生成与检测都在本地完成，你输入的域名与站点信息不会被上传或记录。
修改参数后结果即时更新，生成的内容可直接复制到项目或服务器配置中。
使用方法
- 在页面上方的输入框中填入需要处理的内容，或点击示例按钮载入一段演示数据。
- 按需调整下方的选项，例如输出格式、分隔符、大小写或精度等参数。
- 点击主按钮开始处理，结果会实时显示在输出区域，无需等待页面跳转。
- 确认结果无误后，点击右上角的复制按钮，或使用下载按钮保存为本地文件。
使用技巧与注意事项
建议在粘贴前先清理多余的空格与换行，能得到更准确的结果。
常见问题
不一定。被禁抓的页面若被外部链接指向，仍可能以无描述形式出现在结果中。
表示禁止抓取整站，会导致站点从搜索结果中消失，请谨慎使用。
不需要，User-agent: * 对多数爬虫通用，特殊爬虫可单独声明。
不需要。本工具完全免费，打开页面即可直接使用，没有次数限制，也不需要注册账号或登录。
不会。所有计算都在你的浏览器本地完成，输入内容不会发送到服务器，也不会被记录或保存。
可以。页面采用移动优先的响应式设计，在手机和平板上按钮尺寸与输入框都经过适配，横竖屏都能正常操作。
可以。输出区域右上角有复制按钮，一键复制到剪贴板，也可以下载为文本文件后再使用。