对一些人来说，“黑箱”这个词会让人想起飞机上有价值的记录设备，如果发生不可思议的事情，这些记录设备将对事后分析非常有价值。对于其他人来说，它则唤起了小型、装备简陋的影院的印象。但黑箱也是人工智能世界中一个重要的术语。
AI黑箱指的是AI系统的内部工作方式对用户是不可见的。你可以输入数据并得到输出结果，但你无法检查系统的代码或产生输出结果的逻辑。
机器学习是人工智能的主要子集。它支持ChatGPT和DALL-E2等生成型AI系统。机器学习有三个组成部分：算法或一组算法、训练数据和模型。算法是一组程序。在机器学习中，算法经过大量的示例训练后学习识别模式——训练数据。一旦机器学习算法被训练，结果就是一个机器学习模型。这就是人们使用的东西。
例如，可以设计一个机器学习算法来识别图像中的模式，训练数据可以是狗的图像。得到的机器学习模型将是一个狗识别器。你可以输入一张图片并得到输出结果，即图像中是否有狗以及狗在图像中的位置。
机器学习系统的任何一个组成部分都可以被隐藏，或者被放在黑箱中。通常情况下，算法是公开的，这使得将其放入黑箱的效果较小。因此，为了保护其知识产权，AI开发人员经常将模型放在黑箱中。另一种软件开发人员采取的方法是遮蔽用于训练模型的数据，即将训练数据放在黑箱中。
黑箱的相反面有时被称为玻璃匣子。AI玻璃匣子是一个系统，其算法、训练数据和模型都可以供任何人查看。但研究人员有时将这些方面的某些方面描述为黑箱，这是因为研究人员并不完全了解机器学习算法，特别是深度学习算法是如何操作的。可解释性AI领域正在努力开发算法，虽然不一定是玻璃匣子，但可以更好地被人类理解。
为什么AI黑箱很重要
在许多情况下，对于黑箱机器学习算法和模型，人们有充足的理由持谨慎态度。假设一个机器学习模型对你的健康做出了诊断。你希望这个模型是黑箱还是玻璃匣子？那么，如果医生开具了你的治疗方案，她想知道这个模型是如何得出决策的。
如果一个机器学习模型决定你是否有资格从银行获得商业贷款，并拒绝了你的申请呢？你不想知道原因吗？如果你知道了，你就可以更有效地上诉，或者改变你的情况以增加下一次获得贷款的机会。
黑箱对软件系统安全也有重要影响。多年来，计算机领域的许多人认为将软件放在黑箱中可以防止黑客检查，因此会更安全。但这一假设往往被证明是错误的，因为黑客可以反向工程软件，即通过密切观察软件的工作方式来构建一个仿制品，并发现可以利用的漏洞。
如果软件是玻璃匣子，那么软件测试人员和有良好意图的黑客可以检查它，并告知创建者存在的弱点，从而最大程度地减少网络攻击。
本文译自 HowStuffWorks，由 bali 编辑发布。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
