一位曾在 OpenAI 和 Apple 工作的博士候选人讨论了自然语言处理、AI 幻觉和深度造假。

经过 克里斯托弗·D·谢伊

在佛蒙特州的农村长大并就读于马萨诸塞州西部的威廉姆斯学院后，梅兰妮·苏比亚 (Melanie Subbiah) 搬到旧金山后进入了城市生活，她在 Meta 实习，并在 Apple 和 OpenAI 工作。Subbiah 于 2019 年返回东海岸，作为博士候选人加入哥伦比亚工程学院的计算机科学系。在哥伦比亚，Subbiah 正在研究如何开发自然语言处理技术——AI 的一个子集——以帮助总结从小说到会议记录的长文本。哥伦比亚新​​闻采访了 Subbiah，讨论她进入哥伦比亚大学的道路、AI 是否让她害怕，以及她认为这些技术对社会和就业市场可能意味着什么。

您是什么时候开始对计算机科学感兴趣的？

我从小就喜欢数学，但我也喜欢阅读和写作。当我考虑上大学时，我并不清楚我想学什么，但我知道我想去一个可以继续探索数学、科学和人文学科的地方。

在来到哥伦比亚之前，你曾在 OpenAI 和 Apple 工作，并在 Meta 实习。是什么让您想在哥伦比亚大学获得博士学位？

有五年的时间主要是你自己的，可以按照你感兴趣的方式发展，可以自由地广泛阅读并弄清楚你是谁，作为一名技术思想家和领导者，这对我很有吸引力。我也想从科技领域退下来，想想我想在人工智能的发展过程中扮演什么样的角色，我想成为什么样的领导者。

我来到哥伦比亚是因为纽约，也是因为我的导师Kathy McKeown。我见过一些朋友在攻读博士学位时与他们的导师关系不融洽，这造成了巨大的不同，因为这是你一生中多年与专业互动的主要人。因此，找到一个我觉得可以支持我作为一个人而不仅仅是博士生的人对我来说意义重大。

您过去曾研究过如何使用 AI 来识别恶意的、有说服力的文本的问题。你能解释一下那个研究是关于什么的吗？

我们试图看看我们是否可以使用 AI 来识别在线文本何时具有传播不良信息的恶意意图。这是一个复杂的问题，因为你不能总是仅仅通过查看文本本身就知道某件事背后的意图是什么。因此，我们试图找到方法来开发标记，以识别特定的宣传技术，如寻找替罪羊或追随潮流，以识别某些事情是否可能是邪恶的。我们发现这很难做到，而且当您还拥有有关实际来源的信息以及他们如何分发信息时，这比您只是尝试孤立地分析文本时更可行。

点查看视频：https://youtu.be/EZgbPYK7rwI

你在论文中看什么？

我决定转移话题，回到最初让我投入自然语言处理的热情，这是我对创意写作和阅读的热爱。我计划专注于摘要，并研究自然语言处理工具如何能够（也不能）识别文本的关键部分并以有意义的方式释义和改写它们。

我打算看小说之类的长篇文章。这种研究最近才变得可行，因为技术已经发展到能够很好地处理长文档。现在这个领域有更多的东西，因为人们对人工智能工具如何帮助总结各种非常长的文件很感兴趣，比如会议记录、政府报告或财务文件。

我们关注的一件事是如何解决一种称为幻觉的现象，当人工智能将事实引入源文档中不存在或与源文档不同的摘要时。最近的大型语言模型，如 GPT-4（最新的 OpenAI 技术，现在仅通过付费订阅向公众开放）往往比早期模型产生的幻觉更少，但它们往往更难被发现，因为该模型非常有说服力。

您是否使用 ChatGPT 让自己的工作更有效率？

我仍在探索如何做到这一点。有趣的是，尽管我热爱计算机科学，但实际上我对技术的采用一直很慢。我还是喜欢看实体书；我在写笔记时使用实体笔记本。但我发现了一些我喜欢与 ChatGPT 交互的不同有用方式。前几天我正在做一个演示，我想放一些图，通常用 Python 编写绘图代码是一种烦人的样板，你必须记住并查找。所以我就让 ChatGPT 帮我写了，我很快就有了一个漂亮的情节，完全显示了我想要的东西。诸如此类的事情很有帮助。

您能告诉我们如何发现深度造假，即看起来真实但由人工智能生成的图像吗？

通常会有一些细微的伪影，或“暗示”，您会注意到它们，例如奇怪的光线和阴影或奇怪的姿势或复杂特征（如手或头发）的模糊。在图像空间中比在书面语言中更容易检测。语言使用离散单位（单词），这些单元要么是有效单词，要么不是有效单词，因此当 AI 使用有意义的单词序列时，目前还没有真正的好方法来检测什么是人类生成的，什么不是。不过，尽管如此，这些聊天机器人有时确实具有您可以借鉴的特定风格。

你是个小说爱好者。您是否担心这些工具可能意味着作家的末日？

事实上，我不太关心这一点，因为我对一本书或一个故事的喜爱很大程度上取决于作者是谁，而且这是作者真正想表达的东西。人工智能写的故事与作者写的故事有一些不同。我还认为作者可以通过多种方式与 AI 工具进行协作。它不一定是这种非此即彼的情况。

想到编码之类的事情，我实际上感到更加悲伤。很多人，包括我自己，都进入计算机科学和编码领域，因为他们真的很喜欢将其作为日常活动。这将在我们实际需要人类完成的编程与您可以通过解释您每天所说的自然语言的 AI 系统完成的编程方面发生很大变化。

你是否担心通用人工智能 (AGI) 的出现，一种智力超过人类的人工智能，它可能会决定做一些非常糟糕的事情，比如消灭人类？

我不太关心这种真正有害的 AGI 总体上的想法，因为在我们到达 AGI 正在做一些可怕的事情之前，必须有很多人为的决定首先出错。

监管对于人工智能在未来十年的发展方式非常重要。但我担心监管的步伐，以及那些能够在该领域发挥作用的人是否足够了解正在发生的事情，并能足够快地掌握这些信息以产生影响。

作为一个曾在 AI 领域工作过并且作为一名博士生从更广泛的角度思考这个问题的人，您想给读者留下什么收获？

首先，人们需要意识到像 ChatGPT 和强大的语言模型这样的系统将继续快速发展，他们将实现这些飞跃并展示难以预测的能力。

其次，围绕这些系统的工作原理建立直觉很重要，因为通常情况下，如果你只是与它们进行短暂的交互，它们会看起来像人类，然后很容易将人类的意图、推理和思想归因于该系统是什么直到你开始注意到一些微妙的怪癖，这些怪癖表明发生了一些不同的事情。我认为这是我们等待社会监管和社会适应赶上来时需要考虑的重要事项：作为这项技术的消费者，始终保持警惕和怀疑，并理解这是一个人工智能统计模型，它不是与您互动的人工代理。

人工智能、ChatGPT 和其他自然语言处理技术显然对您很有趣。他们吓到你了吗？

技术本身对我来说并不可怕。我对它能做的所有事情感到兴奋。但真正让我感到紧张的是人类将如何使用这些系统，以及社会能够以多快的速度适应这样的重大技术变革。随着就业市场的迅速变化，这对经济的影响让我感到担忧，相当多的权力正在巩固在少数科技行业参与者手中这一事实也是如此。

您于 2019 年和 2020 年在 OpenAI 工作。当 OpenAI 去年底公开推出 ChatGPT 时，您是否对自上次从事该技术以来取得的进步感到惊讶？

我对 ChatGPT 有多好或它对世界有多迷人并不感到惊讶，因为我记得当我在研究 GPT-3（ChatGPT 的前身）时，我有同样的感觉，“哦，哇，这是一些真正不同的东西。从那时起，一些新技术被纳入其中，包括一种称为强化学习与人类反馈或 RLHF 的技术，它帮助模型不仅具有这些不同的语言能力，而且更符合人类的需求在特定的响应中。与我在 GPT-3 上工作时相比，现在更容易获得有意义的响应，我们必须用许多示例提示系统以获得我们想要的响应。