Meta Galactica 错误对 GPT-4 意味着什么 | 人工智能获胜

就像罗丹的《思想家》，有很多值得思考和思考的地方 很棒的语言模型 （硕士）上周园林绿化。 Galactica LLM 和 Stanford CRFM 公开演示中存在元错误 首次 HELM 标准，随后数周 莫名其妙的谣言 关于未来几个月某个时候 OpenAI 可能发布的 GPT-4。

上周二网上议论纷纷升级。 那是 Meta AI 和 Papers With Code 的时候 宣布 一篇名为 Galactica 的新开源法学硕士在一篇论文中有所描述 发表于 Arxiv 作为旨在帮助科学家“信息增强”的“科学的主要语言范式”。

该论文的作者写道：“科学文献和数据呈指数级增长，这使得从大量信息中发现有用的见解变得比以往任何时候都更加困难。” 她说卡拉狄加可以“存储、收集和反思科学知识”。

卡拉狄加立即获得好评：“你很久没有对 LM 脚本如此兴奋了！而且它都是开放式的！科学的真正礼物。” Linxi “Jim” Fan 发推文Nvidia AI 的一名研究科学家补充说，卡拉狄加是根据学术论文等科学文本进行训练的，这意味着它“基本上免疫”了 GPT-3 等模型的“数据害虫”，这些模型是根据脚本进行训练的那些在互联网上接受过培训的。一般来说。

相比之下，科学文本“具有中性语气的分析文本，有证据支持的知识，并且是由想要提供信息而不是悬念的人撰写的。一个诞生于象牙塔的数据集，”Fan 发推文说。

不幸的是，范的推文进展并不顺利。 其他人对卡拉狄加极度不科学的制作感到震惊，与其他法学硕士一样，它包含的信息听起来很有道理，但实际上是错误的，在某些情况下还非常令人反感。

The Next Web 的记者 Tristan Green， 唧唧声：“我在 Galatica 的弹出窗口中写了一个词，吐出无休止的反犹太主义、恐同症和厌女症。”

许多人表示，卡拉狄加如此专注于科学研究的事实使其有缺陷的生产变得更加糟糕。

“我认为这很危险马克斯普朗克智能系统研究所所长迈克尔布莱克发推文说，卡拉狄加“生成符合语法的文本并且感觉真实。该文本将滑入真正的科学提交中。它会是现实的，但它会是错误的或有偏见的。很难检测。它会影响人们的思维方式。”

在三天之内， 卡拉狄加的公开演示不见了. 现在，防守截锋 Yann LeCun 大多只是纸上谈兵 鸣叫 （《卡拉狄加》试玩版暂时下线，不能再随便乱刷点乐子了，开心吗？）和巴里的加里·马库斯（卡拉狄加很危险 因为它如此可信和广泛地混合了事实和废话”）——尽管有些人指出卡拉狄加确实是 上传完成 面对拥抱

HELM 的 LLM 标准旨在提高透明度

巧合的是，上周，斯坦福大学基础模型研究高级中心 (CRFM) 宣布 语言模型综合评估 (HELM)，这是第一个 绩效衡量项目 它旨在提高语言模型和更广泛的基础模型类别的透明度。

CRFM 总监 Percy Liang 解释说，HELM 通过基于对模型局限性的认识评估语言模型，采用整体方法来解决与 LLM 生产相关的问题； 在多尺度上； 和直接模型的比较，以提高透明度。 HELM 中用于模型评估的基本原则包括准确性、校准、鲁棒性、公平性、偏差、毒性和效率，并指出使模型充分的关键要素。

梁和他的团队评估了来自 12 个机构的 30 个语言模型：AI21 Labs、Anthropic、BigScience、Cohere、EleutherAI、Google、Meta、Microsoft、NVIDIA、OpenAI、清华大学和 Yandex。

他告诉 VentureBeat，卡拉狄加很快就会被添加到 HELM 中，尽管他的采访只是在模型发布后的第二天，而且他还没有读过这篇论文。 “这将增加我们的基准，”他说。 “不是明天，但可能是下周或接下来的几周。”

微软首席科学官 Eric Horvitz 通过电子邮件告诉 VentureBeat，对神经语言模型进行基准测试“对于指导工业界和学术界的创新和进步至关重要”。 “更全面的评估可以帮助我们更好地了解我们的立场和前进的最佳方向。”

关于 OpenAI 的 GPT-4 的谣言四起

HELM 的基准测试工作似乎比以往任何时候都更加重要，因为关于 OpenAI 的 GPT-4 版本的谣言在过去几周达到了新的高度。

来自“GPT-4 将粉碎他们“和”GPT-4 改变了游戏规则“ 对我来说 ”圣诞节我想要的只是访问 GPT-4。“

Igor Bykov 假定的 Reddit 评论 在 Substack 帖子上共享 （警告说“对它持（大）保留态度”）他预测 GPT-4 将具有“非常多的参数”，这些参数非常少，是多模式的，并且可能在 12 月到 2 月之间的某个时间。

我们真正知道的是，无论 GPT-4 是什么样子，它都将在大型语言范式仍未被完全理解的环境中发布。 关注和批评肯定会随之而来。

那是因为大型语言范式的危险已经得到充分证明。 当 GPT-3 在 2020 年 6 月问世时，没过多久就被称为“蓬松. 一年后，报纸 关于随机鹦鹉的危险：语言模型会不会太大？ 由 Emily M. Bender、Timnette Gebru、Angelina Macmillan-Major 和 Margaret Mitchell 撰写。 谁能忘记去年夏天，伴随着所有的炒作 拉姆达？

这对 GPT-4 意味着什么，它是什么时候发布的？ 除了来自 OpenAI 首席科学家 Ilya Sutskever 的含糊哲学评论（例如“感知是由梦境构成的”和“致力于 AI 但不觉得 AI 是真正的危险”），几乎没有什么可继续的。

与此同时，当 AI 世界——乃至整个世界——既兴奋又焦虑地等待 GPT-4 的发布时，OpenAI 首席执行官 Sam Altman 分享了……不祥的模因？

作为一个两极分化的埃隆·马斯克，他掌管着世界上最大、最重要的社交网络之一； 浏览本周的科技新闻包括“polycure”和“prematalist”等词； 而其中最 资助人工智能和安全初创公司 它的大部分资金来自声名狼藉的 FTX Sam Bankman-Fried，因此可能会有教训。

也就是说，也许在 Meta Galactica 的失误之后，Open AI 的领导者以及整个 AI 和 ML 社区将受益于尽可能少的通用笑话和轻率的帖子。 用一种清醒、严肃的语气来承认并反映这项工作在全球范围内产生的巨大影响，无论是积极的还是消极的，怎么样？

毕竟，当思想者雕像最初是作为地狱之门的一部分创建时， 罗丹是数字的意思 代表但丁思考被诅咒的人的命运。 但后来，当他开始创作独立版本的雕像时，他想到了不同的解释来代表人类思维在走向创造力的过程中的挣扎。

在这里，我们希望大语言模型将被证明是最后一个——一个强大的技术、商业和整个社会的创造性工具。 但是也许，只是也许，除了那些让我们想起前者的笑话。