Meta-ExternalAgent

什么是 Meta-ExternalAgent？

Meta-ExternalAgent 是 Meta Platforms 运营的网页爬虫，于 2024 年 7 月上线，用于收集数据以训练人工智能模型。该爬虫通过 User-Agent 字符串 meta-externalagent/1.1 进行识别，与 Meta 早期主要用于链接预览和社交分享功能的 facebookexternalhit 爬虫不同。Meta-ExternalAgent 标志着 Meta 在 AI 训练数据收集方式上的重大转变，目的是为 LLaMA 语言模型及集成于 Facebook、Instagram 和 WhatsApp 的 Meta AI 聊天机器人提供训练数据。与以往的 Meta 爬虫不同，该代理透明度极低，且部署时并未正式公开宣布。

Meta-ExternalAgent 的工作原理

Meta-ExternalAgent 是一款自动化机器人，会系统性地抓取互联网上的网站，以提取文本和内容用于 AI 模型训练。该爬虫通过向 Web 服务器发送 HTTP 请求、以独特的 User-Agent 头进行标识，并下载网页内容进行处理。内容被收集后，Meta 的系统会分析和分词，将其转换为训练数据，以提升自家大型语言模型的能力。该爬虫在自愿基础上遵守 robots.txt 文件，这是一种道德约定而非法律要求。根据 Cloudflare 数据，Meta-ExternalAgent 占据了全网 52% 的 AI 爬虫流量，成为 AI 行业中最为激进的数据收集操作之一。该爬虫持续运行，有些发布者报告其抓取频率之高，说明 Meta 更倾向于全面覆盖网络内容，而非有选择性地定向抓取。

Meta-ExternalAgent 与其他 Meta 爬虫的对比

Meta-ExternalAgent 对内容发布者的重要性

Meta-ExternalAgent 对内容创作者和发布者来说是一个重要关注点，因为它以史无前例的规模运行，同时对内容如何被使用几乎没有透明度。根据 Cloudflare 研究，Meta-ExternalAgent 占据了 52% 的 AI 爬虫流量，远高于 OpenAI 的 GPTBot 和 Google 的 AI 爬虫。这种主导地位意味着 Meta 比任何其他 AI 公司都收集了更多的训练数据，但发布者在其内容被用于训练 Meta AI 模型时既得不到补偿，也没有署名。73,000:1 的抓取与引荐流量比例 说明 Meta 在大规模提取内容的同时，几乎不为源网站带来流量——这种价值交换极为失衡。尽管如此，只有 2% 的网站主动屏蔽 Meta-ExternalAgent，相比之下有 25% 屏蔽了 GPTBot，这表明许多发布者对该爬虫的存在及其影响尚不知情。随着 Meta 在 AI 基础设施上投入 400 亿美元，其数据收集力度很可能进一步加大，因此发布者有必要了解并积极管理与该爬虫的关系。

控制 Meta-ExternalAgent 的访问

发布者可以通过 robots.txt 文件控制 Meta-ExternalAgent 的访问，但需明确，该机制依赖自觉，并不具法律效力。要屏蔽 Meta-ExternalAgent，请在 robots.txt 文件中添加如下指令：

User-agent: meta-externalagent
Disallow: /

如果希望允许爬虫访问但只限制特定目录，可以使用：

User-agent: meta-externalagent
Disallow: /private/
Disallow: /admin/
Allow: /public/

然而，部分发布者报告称，即使配置了 robots.txt 屏蔽，Meta-ExternalAgent 仍在继续抓取其网站，说明 Meta 并不总是遵守这些指令。为了更全面的防护，发布者可通过基于 HTTP 头的拦截或利用 CDN 规则，根据 User-Agent 字符串识别并拒绝 Meta-ExternalAgent 的访问。此外，发布者还可通过检查服务器日志中的 meta-externalagent/1.1 User-Agent 字符串，确认爬虫是否访问了自己的网站。AmICited.com 等工具可帮助发布者追踪其内容是否被 Meta AI 回复引用，从而了解其作品在 Meta AI 系统中的使用情况。

Meta AI 回复与内容可见性

当用户在 Facebook、Instagram 或 WhatsApp 上与 Meta AI 聊天机器人互动时，所生成的回复部分基于 Meta-ExternalAgent 收集的内容。然而，Meta AI 的回复通常不会向用户展示内容来源的引用或署名，用户无法得知哪些发布者的内容被用于生成答案。这种缺乏透明度给内容创作者带来了挑战，他们想要了解自己的作品为 Meta AI 系统提供了怎样的价值。与部分竞品在 AI 回复中包含引用不同，Meta 的做法更注重用户体验而非发布者署名。因缺少可见引用，发布者也难以追踪自己内容被 Meta AI 回复影响的频率，从而难以评估内容被用于 AI 训练的商业影响。这一可见性缺口是越来越多发布者寻求监控解决方案的主要原因，希望了解自己在 AI 生态中的角色。

监控与验证

发布者可通过服务器日志分析来验证 Meta-ExternalAgent 的活动，日志中可显示爬虫的 IP 地址、请求模式及内容访问频率。检查访问日志时，可查找 User-Agent 字符串为 meta-externalagent/1.1 的请求，判断哪些页面被频繁抓取。高级监控工具还可追踪长时间内的抓取模式，揭示 Meta 是否优先抓取某类内容或网站某些板块。发布者还应关注带宽使用情况，因为 Meta-ExternalAgent 的高频抓取可能大量消耗服务器资源，尤其是内容库庞大的网站。此外，可借助 AmICited.com 等工具，监控内容是否出现在 Meta AI 回复中，并追踪在 Meta 平台的引用分布。设置异常抓取活动提醒，有助于发布者及时发现 Meta 数据收集行为的变化并主动应对。定期审查服务器日志应成为发布者管理 AI 爬虫策略的一部分，确保对内容被访问及使用情况保持知情。

法律与伦理考量

Meta-ExternalAgent 的法律地位仍存在争议，内容创作者、艺术家与出版方正在通过诉讼质疑 Meta 未经同意或补偿即将其作品用于 AI 训练的做法。Meta 认为网页抓取属于合理使用原则，但批评者指出，如此大规模且带商业目的的数据收集，并且没有署名，已经构成版权侵权。虽然 robots.txt 被广泛视为行业规范，但没有法律效力，Meta 并无强制义务遵守屏蔽指令。部分司法辖区正制定有关 AI 训练数据收集的法规，如欧盟 AI 法案及其它地区的立法，未来可能对 Meta 等公司提出更严格要求。从伦理角度看，核心问题是内容创作者是否有权控制其作品被商业 AI 训练使用，以及现行体系是否为内容价值提供了足够补偿。发布者应关注法律政策的变化，并考虑咨询法律顾问，明确自己在 AI 爬虫访问方面的权利与义务。如何在促进 AI 创新与保护创作者权益之间实现平衡，仍是尚未解决的领域，相关法律与监管正处于快速发展中。

内容创作者最佳实践

• 定期审查 robots.txt 文件，确保其反映您当前对 AI 爬虫访问的政策，并通过监控服务器日志验证指令是否被遵守
• 部署监控解决方案（如 AmICited.com），跟踪您的内容是否出现在 Meta AI 回复中，了解您的作品对 AI 答案的贡献
• 记录内容创作过程，保留原始发布时间等证据，以备日后就 AI 训练数据使用产生法律纠纷时使用
• 考虑采用选择性屏蔽策略，允许有利的爬虫访问，同时屏蔽价值较低的爬虫，在 AI 创新与自身利益间寻求平衡
• 密切关注 AI 监管与版权法的法律发展，新法规可能为 AI 训练数据收集提供更多保护或提出新要求
• 参与行业组织与出版协会，共同推动 AI 训练数据的合理补偿和署名标准
• 结合使用 HTTP 头与 CDN 规则，为敏感或付费内容提供比 robots.txt 更高级别的防护
• 监控网站分析数据，关注来自 Meta 平台的引荐流量变化，这可能反映 Meta AI 对您内容的利用情况

AI 爬虫与内容保护的未来

随着发布者、监管者和 AI 公司就数据采集与使用条款不断协商，AI 爬虫管理的格局正在迅速演变。Meta 大举部署 Meta-ExternalAgent，表明大型科技公司将网络内容视为竞争性 AI 系统的核心训练材料，且这一趋势还将加速。未来可能会出现对创作者更强有力的法律保护、强制性 AI 训练数据许可框架，以及便于发布者控制和变现内容在 AI 系统中使用的技术标准。AmICited.com 等工具的兴起反映了内容创作者对 AI 系统使用已发布内容的透明度和问责制的需求日益增长，预计内容监控和验证将成为行业常态。随着 AI 行业的成熟，内容创作者与 AI 公司的协商将更为复杂，或将催生新的商业模式，实现内容发布者在 AI 训练中获得合理补偿。