3492 条记录
📄 一个开源的 robots.txt 列表，用于 列出 AI 爬虫 & 机器人代理名称以供阻挡。
🤖 目标是帮助网站管理员 拒绝已知的AI爬虫抓取网站内容，尤其是用于AI训练的数据抓取。
🧰 仓库提供多种格式（robots.txt、.htaccess、nginx、Caddy、HAProxy 配置等）来实现阻断策略。
📊 包含一个 bot 指标表（table-of-bot-metrics.md），展示各个爬虫的信息。
⭐ 社区维护中，持续更新 AI 代理列表和配置建议。
