近日,中国人工智能学会正式颁发了2025年度吴文俊人工智能科学技术奖。计算与智能创新学院邱锡鹏教授牵头的项目“多任务驱动的语言模型预训练方法与应用”荣获2025年度吴文俊人工智能科学技术奖自然科学奖一等奖。

自然语言处理是人工智能从感知智能迈向认知智能、实现通用人工智能的关键。如何构建准确率高、泛化性好的自然语言表示,是该领域的核心基础科学问题。传统方法在捕捉语言深层语义、处理多任务差异以及适配下游应用时面临巨大挑战,亟需理论和方法上的原始创新。邱锡鹏教授、黄萱菁教授带领项目团队,对“如何构建更好的语言表示”这一核心问题执着攻关,在国家自然科学基金委、企业合作等项目支撑下,围绕多任务驱动的语言模型预训练方法展开长期系统研究。
该项目主要取得了三项具有国际影响力的创新性科学发现:
1)提出“通用-私有”多任务共享模式,突破了数据瓶颈,大幅提升下游任务性能。该代表性论文(IJCAI 2016)在其会议所有录用论文中引用数排名第一,成为语言模型预训练的先锋工作。
2)引入对抗学习机制,有效提高共享表示和私有表示的区分度,大幅降低了私有表示对共享表示的干扰,并实现跨标准语料复用。该成果荣获自然语言处理国际权威会议ACL 2017杰出论文奖。
3)创建多步迁移与范式转换的应用策略,使下游任务更好适配预训练模型,显著提升泛化能力。该成果荣获自然语言处理国内旗舰会议CCL 2019最佳论文奖,并成为该会议迄今引用最高的论文。

项目成果深刻揭示了多任务学习与预训练机制的内在规律,引领了大规模预训练语言模型的研究方向,并为项目团队后续研发国内首个公开测试的类ChatGPT大模型(MOSS)提供了关键理论支撑。成果得到国内外学术界高度评价,8篇核心论文WOS核心合集他引3335次,谷歌学术总被引7858次,并得到包含图灵奖获得者在内的多位学者的正面评价。相关开源模型在Github获星标2万余次,Huggingface下载量超百万次,在中文语言模型中名列前茅。
吴文俊人工智能科学技术奖由中国人工智能学会发起和主办,得到人民科学家、数学大师、人工智能先驱、首届国家最高科学技术奖获得者、中国科学院院士吴文俊先生的支持,旨在激励和引导广大科研人员大力弘扬科学家精神,面向世界科技前沿、面向经济主战场、面向国家重大需求,不断向智能科学技术广度和深度进军,为加快落实国家发展规划,大力提升智能科学技术与产业化应用发展水平,更好地建设“创新型国家”和“智能化社会”而服务,是全国智能科学技术领域的权威奖项。

