🤖 robots.txt 生成器

可视化配置爬虫规则 · 实时生成 · 纯本地
规则分组
全局设置
生成的 robots.txt

提示

  • 每个分组可指定一个或多个 User-agent,并配置 Allow / Disallow 路径。
  • 路径留空表示根目录 /;Disallow 留空表示允许全部。
  • 使用 * 作为通配符(百度/Google 均支持)。
就绪