今年暑期,北京大学图灵班学生耿浩然与耿逸然收到了合作论文被国际期刊Machine Learning预接收的好消息,这也是双胞胎兄弟在科研上的第四次合作,为他们的学术成果再添亮点。此前,他们在ICRACVPR等国际顶级会议中已经有三篇合作论文被接收。

耿浩然CVPRICCVICRA等国际顶级会议和期刊发表8篇论文,包含4篇一作共一论文,其中GAPartNetCVPR2023中获得满分评审并被评为Highlight论文,UniDexGrasp++ICCV2023中获得了满分评审并被评为Oral论文。

耿逸然CVPRICRAMachine Learning等会议期刊中发表7篇论文,在NeurIPS 2022MyoChallenge挑战赛中获得冠军。

兄弟俩不仅在学术上取得优秀的成绩,还凭借获得出色的游泳技能荣获北京大学优秀运动健将称号,以及凭借街舞技能获得省级艺术特长生的荣誉称号。

耿逸然、耿浩然合照

在探索生活与科研的平衡的道路上携手同行,在关切人工智能对人类社会的影响议题上不懈奋进。中稿国际顶会顶刊是对现阶段努力的肯定,更是开启下一征程的起点。让我们走进耿浩然与耿逸然,走进这对兄弟在科研与生活中探索平衡的故事。

“泛化”的机器人操控


“我们去年夏天埋下的种子之一终于开花结果。”

本次合作的研究方向同两位之前的科研基础是一脉相承的。兄弟二人的研究方向相近又各有特长,他们的共同目标是希望搭建一套在真实场景中部署的机器人系统,使其具备着极强的灵巧性、泛化性与通用性。而在科研合作中,他们总能随时随地开展高效交流,碰撞出创新性的契机和灵感。耿浩然主要关注机器人如何感知周围的三维世界,通过视觉输入实现可泛化的智能交互;耿逸然的科研主题是尝试使用强化学习等技术来帮助智能体安全、灵巧地完成人类水平的高难度的交互任务,并保证其在真机环境下具有良好的泛化能力和适应能力。

RLAfford通过利用强化学习(RL)训练过程中产生的接触信息(Contact Information)实现端到端的可操作性学习(End-to-end Affordance Learning)。

PartManip通过通用零件理解, 强化学习(RL, 模仿学习(Imitation Learning)学习铰接物体交互策略。

ReDMan: 通过带约束的强化学习算法(Safe Reinforcement Learning)来完成灵巧操纵任务。

双胞胎兄弟在机器人操控方向潜心钻研,探寻着人工智能的多元可能,推进着安全落地的应用实践。两位不仅在各自的研究领域完成了一定的工作积累,还在交叉领域取得了优秀的合作成果。怀着好奇与坚定,他们踊跃参与了国际会议、比赛及交流活动等,在人工智能顶级会议NeurIPS 2022MyoChallenge比赛中,耿逸然和合作者获得了冠军。

MyoChallenge获奖方法概览

于生活中观察内省,于学业中钻研探索,两兄弟敢于挑战顶级的难题,致力于实现具有影响力的科研,为人工智能与人类世界实现更多的价值。

图灵班——昂扬而自由

2020年夏天,耿浩然和耿逸然在高考中取得了优异成绩。志愿填报阶段,在与北大招生组老师以及图灵班的学长学姐们交流之后,这对兄弟都对计算机的专业方向产生了强烈的兴趣,他们希望验证更多的未知,以代码连接自己与世界的可能性。由此,两位均选择了北京大学信息科学技术学院。

高年级同学们讲述中的多元自由、团结互助且朝气蓬勃的图灵班,也令两位青年充满了向往与憧憬。图灵班创办于2017年,以计算机之父“艾伦·图灵”命名,这里具备先进的课程体系与培养方案,有着创新的科研轮转机制和优质的科研交流资源,致力于为中国培养引领下一代计算机学科发展的国际化人才。2020年秋季,通过考核选拔,初入燕园的耿浩然与耿逸然顺利地进入了图灵班。

耿浩然被北京大学录取后所画的北京大学西门

学术之路伊始,他们积极地探索着身边的一切,也萌生了科研的种子。耿浩然在学院官网上看到了王鹤导师的学术主页,被其中炫酷的演示所震撼;图灵班根据地——静园五院内的一只机械臂,则吸引了耿逸然的视线,他主动地联系董豪导师了解相关项目,同时也与杨耀东导师学习合作,之后这对兄弟申请参与到了老师们的课题组之中。科研轮转机制是图灵班的一大特色,同学们能够选择三位“科研导师”,在每位导师的实验室“轮转”实习五周,了解不同科研方向,发掘适合自己的科研方向。在科研轮转中,耿浩然和耿逸然在已有兴趣的基础上,有意识地进行导师方向的选择,从而完善个人知识体系,锻炼更多元的科研能力。

图灵班的科研氛围平等而自由,无论是顶层的项目设计,还是底层的代码逻辑,甚至是生活琐事,导师总能与同学们打成一片,给予及时而详细的帮助,这样融洽的交流模式也迅速提升着兄弟二人的科研能力与学术前瞻性。每当参加王鹤导师课题组的团建活动时,师友们的聊天总能为耿浩然带来科研思路的火花;在ICRA 2023中稿论文RLAfford: End-to-End Affordance Learning for Robotic Manipulation的研究过程中,董豪导师和杨耀东导师为耿逸然提供了与十余位博士生沟通的机会,博士生们则针对耿逸然的科研问题提出了各自的看法,答案各异的背后,是高年级同学各不相同的学术角度和思维灵魂,这样的交流也使耿逸然收获良多。除此之外,耿逸然、耿浩然还通过信科的平台,得以与John Hopcroft教授交流人生选择、与胡振江院长朱松纯院长探讨学术规划,极大地增长了见识,拓宽了视野。

耿浩然在CVPR 2023做口头报告

耿逸然在ICRA 2023讲解论文

开办科研论坛是图灵班的一项优良传统,入学三年,耿浩然分别作为志愿者、报告人与论坛主席之一参与了每年的活动。作为志愿者,他被科研的趣味吸引,为师长的自信而激励;作为报告人,他对课题研究体悟,有效传达研究成果;在两次活动的基础上,耿浩然担任了论坛主席,他参与了策划、主持和成果报告,收获了发起学术活动的宝贵经验。在筹备过程中,上一届策划团队为耿浩然提供了丰富的材料积累,而在论坛结束后,也立刻有学弟提出策划下一年活动的意愿。在日常学习与课程改革中,图灵班的同学们也有着突出的奉献传承意识。每到期末复习时,耿逸然总会去静园五院“刷夜”,与高年级的学长学姐们一起讨论问题,获得指导和帮助。在上一学年的概率统计课中,耿逸然是优质助教团队的受益者,有感于此,今年他主动申请了担任课程助教,以行动帮助更多的同学,提升课程质量。

耿浩然和另一位共同主席为图灵班科研论坛准备茶歇和午餐

科研之外,充盈成长

耿浩然与耿逸然的燕园生活以科研为重心,但又不止于科研。两位同学总结道:“学习生活是多维的,我们在成长过程中一直很重视全面发展,在学习、体育、艺术、社交以及表达交流等方面都付出了很多精力。科研不只是意味着高智商与好点子,它更需要不断地认识自己,需要全面的个人素质,譬如写作能力、演讲能力、沟通合作的能力、克服困难与平衡心态的能力等等。”

参加各类北京大学特色文体活动获得的奖牌

面对课业的压力与繁杂的事务,耿浩然与耿逸然总能从体育中找到缓解压力的出口,他们几乎每天都会锻炼,同时积极参与图灵班运动会和北大的课外体育赛事。跑步、游泳、球类等运动方式不仅能提升身体素质、保障精力,也是一种社交与沟通的渠道,在结伴运动的过程中,兄弟俩与同学们一起讨论种种话题,探索生活与科研的平衡。“我们基本上所有运动都会去体验,其中也会和周围的同学一起游玩,所以我们的朋友非常多,遇到问题时会有很多沟通渠道,比如在操场跑步时都可以和一些同学讨论学术问题。”

军训C位表演《霍元甲》

耿逸然在校园中写生

“进入北大之后,我们发现每一种兴趣爱好都能在校园中找到对应的社团与志同道合的伙伴,大家一起实现有趣的目标。”

兄弟二人从儿童时期开始学习街舞和美术,在中学时更是获得了天津市中学艺术特长生的荣誉,进入燕园后,他们参加了风雷街舞社,在军训文艺汇演中以编舞和领舞的身份表演了节目《霍元甲》。耿浩然也在学生linux俱乐部中担任负责人之一,为全校的同学们普及计算机知识,帮助大家解决计算机问题。

摘星于高处

“刚进入图灵班的时候,在科研领域的摸索中四处碰壁,也会焦虑和犹豫。科研困境是我们必然会经历的事,在这样的时刻,我想还是要与导师学长们沟通,在与他人的交流中汲取养分,保持向上的心态。”困难显现时,倘若惧于面对,科研后期往往会出现严重的问题,或是成果与预期相差甚远。每当遇到科研问题,耿浩然与耿逸然总是第一时间和师长们主动交流,寻求解决方案;有学弟学妹求助时,两兄弟也积极地帮助,实现互助共赢。耿逸然直言:

真正能主动和老师学长交流的同学们是比较少的,大家很愿意为同学们解答问题,当你勇敢迈出这一步时,你已经与众不同。

在科研中培养的兴趣与思维方式也深刻地影响了两位青年的日常生活。登高而望远,科研在纵向上为他们带来了更高的视野,也在横向上推动他们知识的积累,思考未来的应用。在科研实验中,耿浩然与耿逸然挑战了世界前沿的难题,收获了更勇敢的心态和一套具备泛化性的解决问题的方式,面对挫折不再畏难。两位的科研主题是人工智能和机器人相关,在研究过程中,他们也会以机器人的角度思考人如何处理并实现生活中的指令,进行场景的交互,而在另一个层面上,这样的思考也达成了一种对自我的内省,观察真实的自己与人类。

“最好的东西不是独来的,它伴了所有的东西同来”,一方面,人工智能正处在蓬勃发展的阶段,机器人在社会中的落地场景也愈发多元,在一定程度上提高了生活和工作的效率;另一方面,目前它也有着尚无定论的争议与尚未解决的隐患,这正是耿浩然与耿逸然的科研工作所关注的问题,他们着重研究了人工智能的安全性技术,以理性的态度关切着人工智能对社会的影响,

我们重视科研的质量,致力于解决科研前沿关注的核心问题,希望做出真正有影响力、有价值的新技术,期待着达成更理想的人类社会。

个人简介

耿浩然,初高中分别毕业于天津市雍阳中学和天津市第一中学。目前是北京大学图灵班2020级本科生,曾获得国家奖学金、商汤奖学金、金龙鱼奖学金、唐仲英奖学金等,曾获得北京大学三好学生、北京大学前沿计算研究中心年度优秀学生、省级艺术特长生、北京大学优秀级运动健将等称号,入选斯坦福大学UGVR项目。其目前的研究兴趣集中在三维视觉和机器人学领域,特别关注在可泛化的物体感知、理解以及机器人操控方面的研究。在CVPRICCVICRA等国际顶级会议和期刊发表8篇论文,包含4篇一作共一论文,其中GAPartNetCVPR2023中获得满分评审并被评为Highlight论文,UniDexGrasp++ICCV2023中获得了满分评审并被评为Oral论文。同时也在CVPRICCVNeurIPSRSS等顶级会议和研讨会上担任审稿人。

个人主页:https://geng-haoran.github.io

耿逸然,初中毕业于天津市雍阳中学,在天津市中考中获得裸分第一名。高中毕业于天津市第一中学,在第36CPhO(全国中学生物理竞赛)中获得金牌。目前是北京大学图灵班2020级本科生,曾获得商汤奖学金、John Hopcroft奖学金、院长奖学金、秦靳奖学金、BIGAI突出贡献奖等荣誉。此外,他曾被授予北京大学前沿计算研究中心年度优秀学生、北京大学优秀运动健将以及省级艺术特长生等荣誉称号,入选麻省理工学院访问学者项目。其研究兴趣集中在强化学习和机器人学领域,主要关注机器人学习可泛化、可信赖的灵巧技能学习。在ICRACVPRMachine Learning等国际顶级会议、期刊中发表多篇论文。曾在NeurIPS 2022MyoChallenge挑战赛中获得冠军。担任CVPRICCVNeurIPS等会议的审稿人和AAAI的程序委员。

个人主页:https://gengyiran.github.io