亚马逊推出“自动推理检查”工具，对抗AI幻觉

12 月 4 日消息，亚马逊云科技（AWS）发布了一款新工具，旨在解决 AI 模型产生的幻觉问题。

注意到，在拉斯维加斯举办的 re:Invent 2024 大会上，AWS 推出了“自动推理检查”（Automated Reasoning checks）工具，该工具通过交叉引用客户提供的信息来验证模型的响应准确性。

AWS 宣称，这是“第一个”也是“唯一”的针对幻觉的防护措施。然而，这种说法可能不够准确。微软今年夏天推出的“校正”功能与“自动推理检查”几乎相同，都可以标记可能存在事实错误的 AI 生成文本。谷歌的 Vertex AI 平台也提供了一个工具，允许客户通过使用第三方提供商的数据、自己的数据集或谷歌搜索来使模型的回答更可靠。

“自动推理检查”通过 AWS 的 Bedrock 模型托管服务（特别是 Guardrails 工具）提供，试图弄清楚模型是如何得出答案的，并判断答案是否正确。客户上传信息以建立一种事实基础，然后“自动推理检查”创建规则，这些规则可以被优化并应用于模型。

当模型生成回答时，“自动推理检查”会验证它们，并在可能出现幻觉时，利用事实基础得出正确答案。其会将这个答案与可能的错误答案一起呈现，以便客户可以看到模型偏离正确答案的程度。

AWS 表示，普华永道已经开始使用“自动推理检查”为其客户设计 AI 助手。AWS 的 AI 和数据副总裁 Swami Sivasubramanian 暗示，这种类型的工具正是吸引客户使用 Bedrock 的原因。

但据 Techcrunch 报道，一位专家今年夏天称，试图消除生成式 AI 的幻觉就像试图从水中消除氢一样。AI 模型之所以会产生幻觉，是因为它们实际上并“不知道”任何东西。它们是统计系统，通过识别一系列数据中的模式，并根据之前看到的例子预测下一个数据是什么。因此，模型的响应不是答案，而是对问题应该如何回答的预测 —— 在一定的误差范围内。

AWS 声称“自动推理检查”使用“逻辑准确”和“可验证的推理”来得出结论，但该公司没有提供任何数据来证明该工具的可靠性。（远洋）

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。