①检测并减轻模型的逻辑错误或幻觉，是构建通用人工智能(AGI)的关键一步； ②这种方法被称为“过程监督”，而不是“结果监督”，它可能会提高人工智能的性能与准确性。
财联社6月1日讯（编辑 牛占林）美东时间周三，OpenAI发布的最新研究论文显示，该公司正在用一种新的方法来训练人工智能(AI)模型，以对抗人工智能“幻觉”。
人工智能幻觉指的是人工智能模型生成内容的能力，这些内容不是基于任何现实世界的数据，而是模型自己想象的产物。人们担心这种幻觉可能带来的潜在问题，包括道德、社会和实际问题。
当OpenAI的聊天机器人ChatGPT或谷歌公司竞品Bard纯粹在捏造虚假信息时，就会发生人工智能幻觉，表现得就像是在滔滔不绝地谈论事实一样。某些独立的专家对OpenAI这样做的效果表示怀疑。
举个例子，在谷歌2月份为Bard拍摄的宣传视频中，这个聊天机器人对詹姆斯·韦伯太空望远镜做出了不真实的表述。最近，ChatGPT在纽约联邦法院的一份文件中引用了“伪造”的案件，导致涉案的纽约律师可能面临处罚。
OpenAI的研究人员在报告中写道：“即使是最先进的人工智能模型也很容易产生谎言，它们在不确定的时刻往往表现出捏造事实的倾向。而这些幻觉在需要多步骤推理的领域尤其严重，因为一个逻辑错误就足以破坏一个更大的解决方案。”
该公司提出的新策略是：训练人工智能模型时，奖励每个正确的推理步骤，而不仅仅是简单地奖励正确的最终结论。根据研究人员的说法，这种方法被称为“过程监督”，而不是“结果监督”，它可能会提高人工智能的性能与准确性，因为这种策略鼓励模型更多地遵循类似人类的“思维链”。
OpenAI的数学研究员Karl Cobbe指出：“检测并减轻模型的逻辑错误或幻觉，是构建通用人工智能(AGI)的关键一步。”他指出，这项研究背后的动机是解决人工智能幻觉，以便使模型更有能力解决具有挑战性的推理问题。
Cobbe补充道，OpenAI已经发布了一个附带的数据集，其中包含80万个人类标签，用于训练研究论文中提到的模型。
此前一天，科技界高管和人工智能科学家正在对AI敲响警钟，他们表示，这项技术带来的灭绝风险堪比疫情和核战。
超过350人签署了人工智能安全中心(Center for AI Safety)发布的一份声明，该组织表示，与疫情和核战争等其他社会规模的风险一样，减轻人工智能带来的灭绝风险应该成为全球的优先事项。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
