🤖 robots.txt 生成器
可视化配置爬虫规则 · 实时生成 · 纯本地
规则分组
+ 新增分组
全局设置
站点地图
主机名
生成的 robots.txt
复制
下载 robots.txt
提示
每个分组可指定一个或多个 User-agent,并配置 Allow / Disallow 路径。
路径留空表示根目录
/
;Disallow 留空表示允许全部。
使用
*
作为通配符(百度/Google 均支持)。
就绪