学术科创季丨大语言模型（LLM）科普荟主题讲座暨第二十四期信科“E席谈”青年学术沙龙成功举办！-北京大学信息科学技术学院

学院首页

新闻动态

当前位置: 学院首页 > 新闻动态 > 正文

学术科创季丨大语言模型（LLM）科普荟主题讲座暨第二十四期信科“E席谈”青年学术沙龙成功举办！

发布时间：2024-06-06 点击数：信息来源：

履践创新助推学科质量

探界前沿赋能新质人才

为贯彻落实党的二十大精神，服务科教兴国、人才强国、创新驱动发展的国家战略，响应北京大学2024“学科质量年”整体部署，北京大学信息科学技术学院于今年 5 至 6 月开展第二届学生学术科创季系列活动。

学术科创季以“履践创新助推学科质量，探界前沿赋能新质人才”为主题，采用“3+N”模式，举办程序设计竞赛、学生科研展、大语言模型科普荟等三大主题活动，并辅以围绕学术科研、学科素养和技能基础展开的丰富系列活动，帮助同学们明晰学术道路，让同学们在前沿探索中思维碰撞、深入交流，同时增强对国家战略发展的认识，提高责任感与使命感，成为有理想、有能力、有担当的优秀科技后备人才，并为国家的信息科学技术发展和社会进步贡献力量。

讲座内容回顾

2024年5月31日晚，北京大学信息科学技术学院第二届学生学术科创季之大语言模型（LLM）科普荟主题讲座暨第二十四期信科“E席谈”青年学术沙龙在理科一号楼1126室顺利举办。北京大学人工智能研究院助理教授、博士生导师、博雅青年学者梁一韬老师受邀作题为“对于大模型的思考”的讲座。随后的workshop环节，北京大学Linux社的孙远航同学分享了如何在本地部署LLM。本次沙龙由信科学生会刘宗熹同学主持，来自各个院系的约60名同学参与了讲座。学院团委书记吕媛老师出席了活动。

梁一韬老师作主题讲座

梁老师从他和一位朋友的闲谈开始，引出了AI对编程行业的冲击的话题。他认为，传统编程和机器学习，许多人往往会混为一谈，然而事实并非如此。二者的差别主要在于编程方式的改变。传统编程旨在以确定性的算法完成对问题的求解；而机器学习却是给定输入数据和输出数据，编写算法让模型学习数据中隐藏的规律并自动调整算法来达到特定的目标。

随后，梁老师介绍了包括Transformer和注意力机制在内的多项前沿技术，讲解了以GPT为代表的大语言模型的底层原理：在生成回答的过程中，LLM利用概率模型，对下一个词进行预测，选取概率最大者作为自己的下一个输出。为了提高模型预测的正确率，大数据必不可少。梁老师提到，现有的大模型多是在扩大数据规模、提高数据质量上做文章，目前取得了不错的效果。

接着，梁老师分析了现有大语言模型的局限——高度依赖数据，缺少推理。例如，我们在学会三位数加法后，很自然地就能学会三十位数的加法；大语言模型却不然，理论上，大语言模型永远也无法学会高位数加法，除非它学习的数据中包含高位数加法的内容。

梁一韬老师进行讲解

梁老师向青年学子们表达了他的鼓励。往往正确的事短期内可能未必能得到认可，GPT在1.0和2.0版本同样不被业内看好，最终却逆势上扬、实现逆袭，青年学子也要有这样的定力和精神。此外，哪怕是AI生成的内容，也存在信息不实、隐含歧视等现象。若使用大语言模型辅助科研和学习，一定要仔细甄别，对AI的使用始终抱一分戒备之心。

梁老师还介绍了课题组的相关情况。梁老师的课题组主要研究大模型功能扩展，其中一项研究是设计一个在MineCraft世界中完成尽可能多种任务的智能体，目前已经实现了上百种功能。