研究人员仍然难以理解通过模仿互联网文本进行训练的AI模型如何执行高级任务，比如运行代码、玩游戏和试图破坏婚姻
还没有人知道ChatGPT及其人工智能表兄弟将如何改变世界，一个原因是还没有人真正知道它们内部发生了什么。这些系统的某些能力远远超出了它们的训练范围——甚至它们的发明者对此也感到困惑。越来越多的测试表明，这些AI系统开发出内在的对真实世界的模型，有点像我们自己的大脑，尽管机器的技术不同。
布朗大学的Ellie Pavlick是正在填补这一解释空白的研究人员之一，她说：“为了使它们变得更好、更安全或者任何我们想对它们做的事情，如果我们不理解它们的工作方式，这似乎对我来说是一个荒谬的要求。”
在一个层面上，她和她的同事完全理解GPT(代表“生成式预训练转换器”)和其他大型语言模型，或者LLM。这些模型依赖于一种称为神经网络的机器学习系统。这样的网络结构大致模仿了人脑中相互连接的神经元。这些程序的代码相对简单，只占了几个屏幕。它建立了一个自动更正算法，根据对数以吉字节的互联网文本的艰苦统计分析，选择最有可能完成一段文字的词语。额外的训练确保系统将以对话形式呈现其结果。从这个意义上说，它所做的只是反刍它学到的东西——用华盛顿大学语言学家Emily Bender的话说，它是一个“随机重复”。 (这并不是贬低了已故的非洲灰鹦鹉Alex，它理解颜色、形状和“面包”等概念，并有意地使用对应的词语。)但是LLM也成功通过了律师资格考试，写了一首关于希格斯玻色子的十四行诗，并试图断绝用户的婚姻。几乎没有人期望一个相当直接的自动更正算法获得如此广泛的能力。
GPT和其他AI系统执行它们没有接受训练的任务，赋予它们“新出现的能力”，这就连对LLM炒作持怀疑态度的研究人员也感到惊讶。圣达菲研究所的AI研究员梅拉尼·米切尔说：“我不知道它们是如何做到的，或者它们是否能像人类那样更广泛地做到这一点——但它们挑战了我的观点。”
蒙特利尔大学的AI研究员Yoshua Bengio说：“它当然不仅仅是一个随机重复，它肯定建立了对世界的某种表征——尽管我不认为它与人类建立内在世界模型的方式非常相似。”
在3月纽约大学举行的一次会议上，哥伦比亚大学的哲学家Raphaël Millière提出了LLM能力的另一个令人震惊的例子。这些模型已经展示了编写计算机代码的能力，这令人印象深刻但并不太令人惊讶，因为互联网上有大量代码可以模仿。 Millière进一步展示了GPT也可以执行代码。这位哲学家输入了一个程序来计算斐波那契数列的第83个数。他说：“这是非常高度的多步推理。”这个机器人算对了。然而，当Millière直接要求第83个斐波那契数时，GPT算错了，这表明该系统不仅仅是在重复互联网。相反，它正在执行自己的计算以得出正确答案。
尽管LLM在计算机上运行，但它本身不是计算机。它缺乏必要的计算元素，如工作记忆。GPT的发明者OpenAI隐含地承认，GPT本身不应该能运行代码，因此在回答查询时推出了一个专门的插件——一个ChatGPT可以使用的工具——允许它运行代码。但Millière的演示中没有使用这个插件。相反，他假设这台机器通过利用其根据上下文解释词语的机制来即兴创作记忆——一个类似于自然选择现有能力以适应新功能的情况。
这种即兴的能力表明，LLM的内在复杂性远远超出了肤浅的统计分析。研究人员发现，这些系统似乎对所学知识有了真正的理解。在5月国际学习表示会议上提出的一项研究中，哈佛大学博士生Kenneth Li及其AI研究者同事——麻省理工学院的Aspen K. Hopkins、东北大学的David Bau以及哈佛大学的Fernanda Viégas、Hanspeter Pfister和Martin Wattenberg——启动了自己的小型GPT神经网络副本，以便研究其内部工作。他们通过以文本形式输入大量的黑白棋走法来训练它。他们的模型变成了一个近乎完美的玩家。
为了研究神经网络如何编码信息，他们采用了Yoshua Bengio和Guillaume Alain(也在蒙特利尔大学)在2016年设计的技术。他们创建了一个微型的“探测器”网络来逐层分析主网络。Li将这种方法比作神经科学方法。他说：“这与当我们在人脑中放置电探针相似。”在AI的情况下，探测器显示其“神经活动”与黑白棋棋盘的表示相匹配，尽管是卷积形式。为了确认这一点，研究人员以相反方向运行探测器，将信息植入网络中——例如，将游戏中的一个黑色标记翻转为白色。Li说：“基本上我们黑进了这些语言模型的大脑。”网络相应地调整了走子。研究人员得出结论，它玩黑白棋的方式与人类大致相同：在“心灵之眼”中保持一个棋盘，并使用这个模型来评估走子。Li说，他认为这个系统之所以学会这项技能，是因为它是对训练数据最简洁的描述。他补充说：“如果给你一大堆游戏脚本，试图找出其后的规则是最好的压缩方式。”
从语言中提取其潜在意义的能力不仅限于简单的游戏走子;它也出现在对话中。麻省理工学院的Belinda Li(与Kenneth Li无亲属关系)、Maxwell Nye和Jacob Andreas研究了玩基于文本的冒险游戏的网络。他们输入诸如“钥匙在宝箱里”之类的句子，然后是“你拿起钥匙”。使用探测器，他们发现网络内部编码了与“箱子”和“你”对应的变量，每个变量都具有拥有钥匙与否的属性，并逐句更新这些变量。该系统本身并不知道什么是箱子或钥匙， yet它获取了这个任务所需的概念。Belinda Li说：“模型内部隐藏着某种状态的表示。”
研究人员对LLM从文本中学习的能力感到惊叹。例如，Pavlick和她当时的博士生Roma Patel发现，这些网络从互联网文本中吸收颜色描述，并构建内部颜色表示。当它们看到“红色”这个词时，它们不仅将其处理为一个抽象符号，还将其作为一个与赤褐色、绛红色、蔷薇色等有某种关系的概念。展示这一点有些棘手。研究人员没有向网络插入探测器，而是研究了它对一系列文本提示的响应。为了检查它是否仅仅在重复网上参考的颜色关系，他们试图通过告诉它红色实际上是绿色来误导系统——类似以前的哲学思想实验，一个人的红色是另一个人的绿色。但是该系统的颜色评估改变得恰当，以维持正确的关系，而不是重复错误答案。
从这个想法出发，即为了执行其自动校正功能，系统寻求训练数据背后的逻辑，微软研究院的机器学习研究员Sébastien Bubeck认为，数据范围越广，系统发现的规则就越普遍。他说：“也许我们看到如此巨大的飞跃，是因为我们达到了数据多样性，大到唯一的潜在原则就是智能存在产生了它们。所以解释所有的 数据的唯一方法就是[模型]变得智能。”
除了提取语言的潜在含义之外，LLM还可以即时学习。在AI领域，“学习”这个术语通常保留给开发人员将神经网络暴露给吉字节的数据并调整其内部连接的计算密集型过程。当你向ChatGPT输入查询时，网络应该是固定的;与人类不同，它不应该继续学习。所以，LLM确实从用户的提示中学习这个事实来作为一个惊喜，这种能力被称为上下文学习。新加坡人工智能公司SingularityNET的创始人Ben Goertzel说：“这是一种以前不太被理解存在的不同学习。”
一个LLM如何学习的例子来自人类与ChatGPT等聊天机器人的互动方式。你可以给系统提供如何响应的示例，它会服从。其输出由它刚刚看到的几千个词决定。给定这些词，它所做的由其固定的内部连接决定——但词序列仍提供了一定的适应性。整个网站致力于“越狱”提示，这可以克服系统的“警戒线”——止步它不告诉用户如何制造烟斗炸弹之类的限制——通常是指示模型假装成一个没有警戒线的系统。有些人出于可疑目的使用越狱，而其他人则利用它来引出更有创意的答案。佛罗里达大西海岸大学机器感知与认知机器人实验室的共同主任William Hahn说：“我会说，它在回答科学问题方面会更好”，而不仅仅是直接询问它，没有特殊的越狱提示。“它在学术研究上会更好。”
另一种上下文学习发生在“思维链”提示中，这意味着要求网络详细说明其推理的每一步——这种策略使其在需要多步逻辑或算术问题上表现更好。(但Millière的例子如此令人惊讶的一点是，网络在没有任何这样的提示的情况下就找到了斐波那契数。)
2022年，谷歌研究院和瑞士苏黎世联邦理工学院的一个团队——约翰内斯·冯·奥斯瓦尔德、艾文·尼克拉松、埃托尔·兰达佐、若奥·萨克拉门托、亚历山大·莫德文采夫、安德烈·日莫金和马克思·弗拉季米罗夫——展示了上下文学习遵循与标准学习相同的基本计算过程，也就是所谓的梯度下降。这个过程不是程序化的;系统是在没有帮助的情况下发现的。谷歌研究院副总裁Blaise Agüera y Arcas说：“这需要是一个学习到的技能。”事实上，他认为LLM可能还有一些潜在的没人发现的能力。他说：“每次我们为新的可量化的能力进行测试时，我们都会发现它。”
尽管LLM有足够的盲点不符合人工普适智能或AGI的条件——这是机器达到动物大脑资源fulness的术语——但这些新出现的能力向一些研究人员表明，科技公司距离AGI比乐观主义者猜想的还要接近。新加坡人工智能公司SingularityNET的创始人Ben Goertzel 3月在佛罗里达大西海岸大学举行的深度学习会议上说：“它们是我们距离AGI可能不远的间接证据。” OpenAI的插件给ChatGPT提供了一个有点像人脑的模块化架构。麻省理工学院研究员Anna Ivanova说：“将GPT-4[ChatGPT的最新LLM版本]与各种插件组合可能是通向类人特化功能的途径。”
与此同时，研究人员担心他们研究这些系统的窗口可能正在关闭。OpenAI没有透露GPT-4的设计和训练细节，部分原因是它与谷歌等公司以及其他国家陷入竞争。 M.I.T.的理论物理学家Dan Roberts说，他将物理学的技术应用于理解AI：“行业的开放研究可能会减少，事情会变得更加封闭和围绕产品建设组织。”
圣达菲研究所的Mitchell说，这种不透明不仅伤害研究人员，还会阻碍了解匆忙采用AI技术的社会影响的努力。她说：“关于这些模型的透明度是确保安全的最重要事情。”
本文译自 Scientific American，由 BALI 编辑发布。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
