2023年12月8日晚，信息科学技术学院第二十期“知存讲座”暨信息科学前沿与产业创新课程在北京大学理科教学楼208教室顺利举办。百度主任架构师、大数据实验室负责人熊昊一博士受邀进行了以“人能理解深度学习模型吗？”为主题的分享，400余名师生到场聆听。信息科学技术学院副院长王润声老师主持了本次活动。

讲座现场

对于人是否能理解深度学习模型的问题，熊老师认为首先得明白人为什么要理解深度学习模型。深度学习的本质是AI基于大数据找出一套自己的规则，做出推算并输出预期结果。而AI内部的规则是以上亿数字表示，人们无法读懂AI的“想法”，AI内部就好像一个“黑盒子”一样，这也被称作“黑盒性质”。随着性能的突破，深度模型的进一步复杂化，深度学习的“黑盒性质”越来越影响企业用户采用，今天的深度学习系统是不透明的，不公平的。熊老师对此举出了三个例子：鸟类图片分类模型的解释结果，对复杂输入输出模型的解释结果，胸片分类模型的解释结果。向我们展示了AI对他们的高识别度，但同时也说明了“没有一个模型是百分百正确的”的道理，深度学习模型仍有很多地方需要优化和改进，人类理解深度学习仍有很长的路要走。

熊老师讲授

接着，熊老师从四个方面讲述了解释深度学习的必要性：首先是对于模型的理解，要了解模型的决策过程，给出相应的解释；其次是对于模型的诊断，要了解模型的训练，预测过程，诊断出影响模型性能的因素，以便加以改进，提高深度学习开发效率；再次是社会伦理方面，要避免训练出的模型产生对人类的歧视、偏见；最后是关于科学探索，可解释的人工智能模型可以帮助处理高维数据，并帮助分析数据背后蕴含的科学原理。总而言之，理解深度学习模型的最终目的，便是使得黑盒模型透明化，变得直观，易于理解。

了解了人类理解深度学习的必要性之后，我们自然产生了人类如何解释深度学习行为的疑问。熊老师认为，衡量人类是否成功解释深度学习行为的标准，是能否将其理解为人类可理解的语言、知识和表达。一个可解释的模型，必须满足三个条件：第一是得成功解释训练过程，理解其原理；第二是从训练数据的角度解释模型的性能，我们要寻找哪些训练数据影响了模型在测试数据中的结果，对于一些机器无法学会的任务，要弄清是任务难度的问题还是数据标注本身出现了错误。这个过程本身是遗忘性（Forgetting Event）与动态性（Training Dynamics）的。第三是得成功解释出推理过程，包括对单个样本和模型整体的推理过程的解释。

最后熊老师回到了讲座一开始的问题：我们真的理解了深度学习的行为吗？也即评估深度学习的解释结果“忠诚度”（fidelity）的方式是什么？目前人类的方式是使用算法解释模型的行为，这种解释无可避免伴随着人类主观认知与模型客观规律的矛盾，人类所主观倾向的解释模型的算法，是否真的完美复现出了模型在预测时走过的每一条轨迹？熊老师引用了庄子的名言：“子非鱼，焉知鱼之乐？”（Can we derive an “OUGHT” from an “IS”?）这个问题值得我们深思。

那么是否意味着人类永远无法得知自己的解释究竟是对是错？答案也是否定的，有三个现象可以验证一个解释的正确与否：首先，关于忠诚度，不同解释结果产生的忠诚度是具有可比较性的，这意味着我们可以通过减少或增加关键像素来逐步逼近忠诚度高的解释结果。其次，对于不同模型，解释算法的解释结果趋向于有共识。即对于一个可解释性算法，你用它去解释大量可识别特定物体的模型，分析他们的决策依据，会发现它们很好地收敛到了目标物体上。最后，错误标注的数据往往比正常标注的数据更难学习，我们在验证解释的正确性时，可以手动错标一些数据，然后利用数据集的可解释算法对训练样本进行分析，便可以很好地区分开易学习样本、难学习样本与错标样本。第一个现象指出了让解释结果变得“更加”正确的方式，后两个现象则指出了一个正确的解释结果即可解释性算法所应具备的性质，进而可以反过来验证解释是否正确。

在问答环节，同学们踊跃提问，熊老师也对同学们的提问耐心回答。有同学问到关于具有深度学习模型的AI将来是否会违反人类的意愿而萌发出自主意识的问题，熊老师的回答是：“不一定要追求机器学习成果对人类的可读性，人工智能如果无法理解人类这个群体，就更不会违反所谓人类的意愿了。”

熊老师与同学交流

熊老师本次的分享，让同学们对于深度学习有了更加深刻的理解。本次“知存讲座”在同学们热烈的掌声中圆满结束。信息科学技术学院“知存讲座”后续也将持续开展，邀请信息学科领域的各知名人士为本科生介绍信息技术学科和产业发展热点和前沿话题，引导信科青年学子，增进专业认知，寻找未来感兴趣的发展方向。