什么是可解释AI? | 智能百科

什么是可解释AI? | 智能百科

随着人工智能(AI)变得越来越复杂并在社会上得到广泛采用，一组最关键的流程和方法是可解释AI，有时也称为XAI。

可解释AI可以定义为:

一组帮助人类用户理解和信任机器学习算法结果的过程和方法。

可猜到，这种可解释性是非常重要的。因为AI算法控制了许多领域，这带来了偏见、错误算法和其他问题的风险。通过可解释性实现透明度，世界可以真正利用人工智能的力量。

可解释AI，顾名思义，有助于描述一个AI模型、其影响和潜在的偏见。其还在描述模型的准确性、公平性、透明度和人工智能驱动决策过程的结果方面发挥着作用。

现今的AI驱动的组织应该始终采用可解释AI流程，以帮助在生产中建立对AI模型的信任和信心。在当今的人工智能环境中，可解释AI也是成为负责任的企业的关键。

由于如今的人工智能系统非常先进，人类通常会执行一个计算过程，以追溯算法是如何得到结果的。这个过程变成了一个“黑匣子”，意味着其是无法被理解的。当这些无法解释的模型直接从数据中开发出来时，没有人能理解其中发生了什么。

通过可解释AI来了解AI系统是如何运行的，开发者可以确保系统能够正常工作。其还可以帮助确保模型符合监管标准，并为模型提供挑战或更改的机会。

AI和XAI之间的差异

一些关键的差异有助于将“常规”AI与可解释AI区分开来，但最重要的是，XAI实现了特定的技术和方法，以帮助确保ML过程中的每个决策都是可跟踪和可解释的。相比之下，常规AI通常使用ML算法得到结果，但不可能完全理解算法是如何得到结果的。在常规AI的情况下，很难检查准确性，导致控制、问责和可审核性的丧失。

可解释AI的好处

任何希望采用可解释AI的组织都有很多好处，例如:

更快的结果:可解释AI使组织能够系统地监控和管理模型，以优化业务结果。可以持续地评估和改进模型性能，并微调模型开发。降低风险:通过采用可解释的AI流程，可以确保AI模型是可解释的和透明的。可以管理法规、合规性、风险和其他需求，同时最大限度地减少手动检查的开销。所有这些也有助于减少意外偏见的风险。建立信任:可解释AI有助于在生产AI中建立信任。AI模型可以迅速投入生产，可以保证可解释性，并且可以简化模型评估过程，并使其更加透明。

可解释AI技术

有一些XAI技术是所有组织都应该考虑的，有三种主要方法:预测准确、可追溯性和决策理解。

第一种方法是预测的准确性，是在日常操作中成功使用人工智能的关键。可以进行模拟，并将XAI输出与训练数据集中的结果进行比较，这有助于确定预测的准确性。实现这一点的一种比较流行的技术被称为本地可解释模型-无关解释(LIME)，这是一种通过机器学习算法解释分类器预测的技术。第二种方法是可追溯性，其通过限制决策的制定方式，以及为机器学习规则和特征建立更狭窄的范围来实现。最常见的可追溯性技术之一是DeepLIFT，即深度学习重要特征。DeepLIFT将每个神经元的激活与其参考神经元进行比较，同时演示每个激活神经元之间的可追溯链接。其还显示了彼此之间的依赖关系。第三种方法是决策理解，与前两种方法不同，其是以人为中心的。决策理解包括教育组织，特别是与AI合作的团队，使他们能够理解AI如何以及为什么做出决策。这种方法对于在系统中建立信任至关重要。

可解释AI原则

为了更好地理解XAI及其原则，隶属于美国商务部的美国国家标准研究院(NIST)提供了可解释AI的四项原则的定义：

AI系统应该为每个输出提供证据、支持或推理。AI系统应该给出用户能够理解的解释。解释应该准确地反映系统用于达到其输出的过程。AI系统应该只在其设计的条件下运行，当其对结果缺乏足够的信心时，不应该提供输出。

这些原则可以进一步组织为:

有意义:为了实现有意义的原则，用户应该理解所提供的解释。这也意味着，在不同类型的用户使用AI算法的情况下，可能会有多种解释。例如，在自动驾驶汽车的情况下，一种解释可能是这样的……“人工智能把路上的塑料袋归类为石头，因此采取行动避免撞到它。”虽然这个例子适用于驱动程序，但对于希望纠正该问题的AI开发人员来说并不是很有用。在这种情况下，开发人员必须理解为什么会出现错误分类。解释准确度:与输出准确度不同，解释准确度涉及AI算法准确解释其是如何达到输出的。例如，如果贷款批准算法根据申请的收入来解释决定，而实际上其是基于申请人的居住地，那么这个解释将是不准确的。知识限制:AI的知识限制可以通过两种方式达到，其涉及到系统专业知识之外的输入。例如，如果构建一个系统来对鸟类种类进行分类，给予其一张“苹果”图片，其应该能够解释输入不是一只鸟。如果给系统一张模糊的图片，其应该能够报告其无法识别图像中的鸟，或者其识别具有非常低的置信度。

数据在可解释AI中的作用

可解释AI最重要的组成部分之一是数据。

根据Google的说法，关于数据和可解释AI，“一个AI系统最好通过底层的训练数据和训练过程，以及产生的AI模型来理解。”这种理解依赖于将经过训练的AI模型映射到用于训练其精确数据集的能力，以及密切检查数据的能力。

为了增强模型的可解释性，重要的是要注意训练数据。团队应该确定用于训练算法的数据的来源、获取数据的合法性和道德规范、数据中的任何潜在偏见，以及可以采取哪些措施来减轻任何偏见。

数据和XAI的另一个关键方面是，应该排除与系统无关的数据。为了实现这一点，不相关的数据必须不包含在训练集或输入数据中。

Google建议了一套实现可解释性和问责制的做法:

计划选择以追求可解释性将可解释性视为用户体验的核心部分设计可解释的模型选择指标以反映最终目标和最终任务了解训练过的模型与模型用户沟通解释进行大量测试，以确保AI系统按照预期工作

通过遵循这些推荐的做法，组织可以确保实现可解释AI。这对于当今环境中任何AI驱动的组织来说都是关键。

----------------------------

峰会预告

近期，由千家网主办的2022年第23届中国国际建筑智能化峰会将正式拉开帷幕，本届峰会主题为“数智赋能，碳索新未来”，届时将携手全球知名建筑智能化品牌及专家，共同分享AI、云计算、大数据、IoT、智慧城市、智能家居、智慧安防等热点话题与最新技术应用，并探讨如何打造“更低碳、更安全、更稳定、更开放”的行业生态，助力“双碳”目标的实现。

欢迎建筑智能化行业同仁报名参会，分享交流！

报名方式

上海站（11月23日）：https://www.huodongxing.com/event/3638582473900

北京站（11月25日）：https://www.huodongxing.com/event/4638577546900

广州站（12月08日）：https://www.huodongxing.com/event/2638587914600

成都站（12月20日）：https://www.huodongxing.com/event/5657854318600

西安站（12月22日）：https://www.huodongxing.com/event/4638585444400

更多2022年峰会信息，详见峰会官网：http://summit.qianjia.com/

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。

什么是可解释AI? | 智能百科

下一篇