Meta推出全新网络爬虫程序以训练AI模型

Meta推出全新网络爬虫程序Meta-External Agent和Meta-External Fetcher，用于收集互联网数据以训练其AI模型，该程序可绕过robots.txt规则，从而无限制地获取数据。