Meta 预计推荐模型比 GPT-4 大“数量级”
每隔一段时间，Meta 就会决定通过解释其一些算法的工作原理来更新其对透明度的承诺。有时这具有启发性或信息性，有时只会带来更多问题。这次的场合兼而有之。除了解释人工智能如何在给定环境或应用程序中使用的“系统卡”之外，社交和广告网络还发布了其使用的人工智能模型的概述。例如，了解视频是否代表轮滑曲棍球或轮滑德比可能是值得的，即使存在一些视觉重叠，因此可以正确推荐它。
事实上，Meta 是多模态人工智能领域最多产的研究组织之一，它结合了多种模态（例如视觉和听觉）的数据，以更好地理解内容。这些模型很少公开发布，尽管我们经常听说它们如何在内部使用来改善“相关性”（这是目标定位的委婉说法）等内容。（它们确实允许一些研究人员访问它们。）然后是这个有趣的小花絮，因为它描述了它如何构建其计算资源：
为了深入理解和建模人们的偏好，我们的推荐模型可以拥有数十万亿个参数——比当今使用的最大的语言模型还要大几个数量级。
我敦促 Meta 更具体地了解这些理论上的数万亿模型，而这正是它们的本质：理论上的。该公司在一份澄清声明中表示，“我们相信我们的推荐模型有潜力达到数十万亿个参数。”这种说法有点像说你的汉堡“可以”有 16 盎司的肉饼，但又承认它们仍处于四分之一磅的阶段。尽管如此，该公司明确表示，其目标是“确保这些非常大的模型能够大规模有效地训练和部署。”
公司是否会为其不打算创建或使用的软件构建昂贵的基础设施？这似乎不太可能，但 Meta 拒绝证实（尽管他们也没有否认）他们正在积极追求这种规模的模型。其含义是显而易见的，因此，虽然我们不能将这个数十万亿规模的模型视为现存的，但我们可以将其视为真正的愿望并且可能正在开发中。
顺便说一句，“理解并建模人们的偏好”必须理解为用户的行为分析。您的实际偏好可能可以用一百个单词长的明文列表来表示。从根本上来说，很难理解为什么你需要一个如此庞大和复杂的模型来处理甚至针对数十亿用户的推荐。
事实是，问题空间确实巨大：有数十亿条内容都带有元数据，毫无疑问，各种复杂的向量表明关注巴塔哥尼亚的人也倾向于向世界野生动物联合会捐赠，购买越来越多昂贵的喂鸟器等等。因此，基于所有这些数据训练的模型会非常大，这也许并不奇怪。但是，甚至比现有的最大的“数量级还要大”，是经过几乎所有可访问的书面作品训练的东西吗？GPT-4 没有可靠的参数计数，AI 界的领导者也发现这是一种简化的性能衡量标准，但 ChatGPT 约为 1750 亿，GPT-4 被认为高于此值但低于此值比疯狂的100万亿索赔还要多。即使Meta夸张了一点，但这仍然是可怕的大。
想一想：一个比迄今为止创建的任何模型都大或更大的人工智能模型……一端是你在 Meta 平台上采取的每一个动作，另一端是对你下一步会做什么或喜欢做什么的预测。有点令人毛骨悚然，不是吗？
当然，他们并不是唯一这样做的人。TikTok 在算法跟踪和推荐方面处于领先地位，并通过令人上瘾的“相关”内容建立了自己的社交媒体帝国，这些内容旨在让您不断滚动直到眼睛受伤。它的竞争对手公开表示羡慕。
Meta 的目标显然是用科学来迷惑广告商，既宣称要创造业界最大的模型，也有类似以下的段落：
这些系统利用超大规模的注意力模型、图神经网络、小样本学习和其他技术来了解人们的行为偏好。最近的关键创新包括一种新颖的分层深度神经检索架构，它使我们能够在不降低推理延迟的情况下显着优于各种最先进的基线；以及一种新的集成架构，它利用异构交互模块来更好地建模与人们兴趣相关的因素。
上面的段落并不是为了给研究人员（他们知道所有这些东西）或用户（他们不理解或不关心）留下深刻印象。但请把自己置于广告商的立场上，他们开始质疑自己的钱花在 Instagram 广告上而不是其他选择上是否值得。这种技术上的闲聊是为了让他们眼花缭乱，让他们相信 Meta 不仅是人工智能研究的领导者，而且人工智能真正擅长“理解”人们的兴趣和偏好。
如果你对此表示怀疑：“现在，一个人的 Facebook 和 Instagram 信息流中超过 20% 的内容都是由人工智能从他们不关注的人、群组或帐户推荐的。”正是我们所要求的！就是这样。人工智能运行良好。
但所有这一切也提醒人们，Meta、谷歌和其他公司的核心隐藏装置，其主要动机是销售越来越细粒度和精确定位的广告。即使用户反抗、广告倍增、暗示而不是改善，这种定位的价值和合法性也必须不断重申。
Meta 从来没有做过像向我展示 10 个品牌或爱好的清单并询问我喜欢其中哪个这样明智的事情。当我浏览网络寻找新雨衣时，他们宁愿在我身后监视，并在第二天为我提供雨衣广告时表现得好像这是先进人工智能的壮举。目前尚不完全清楚后一种方法优于前一种方法，或者如果是的话，优越性如何？整个网络都是围绕精准广告定位的集体信念而建立的，现在正在部署最新的技术来支撑它迎接新的、更具怀疑性的营销支出浪潮。
当然，你需要一个具有十万亿个参数的模型来告诉你人们喜欢什么。否则你怎么能证明你花费数十亿美元来训练它是值得的！
文章翻译自：techcrunch；原文链接：https://techcrunch.com/2023/06/29/metas-behavior-analysis-model-is-orders-of-magnitude-bigger-than-gpt-4-why/
转载请注明： Meta 预计推荐模型比 GPT-4 大“数量级” | 跨境湾
