• 科研快讯

媒界 | 专访Women in AI学者黄萱菁:计算机非常适合女性,NLP研究正值朝阳

2022.03.11

近年来,女性 AI 从业者创新力量正在崛起,成为一股越来越难以被忽视的力量。实际上,这个方向从来就不缺女性榜样。
在国内,如果要找一位从事人工智能研究 20 年以上的优秀女学者,你将很快能锁定到这个名字——黄萱菁。
作为复旦大学计算机科学技术学院教授,她是低调的、谦虚的,AI 商业活动几乎难寻她的踪影,即便是入选今年 Women in AI,并已经是博导,她还是笑称,自己只是小镇做题家,数学也曾让她感到无比头痛。
Women in AI:https://www.aminer.cn/women_in_ai

图片

图丨黄萱菁教授
个人主页:https://nlp.fudan.edu.cn/28702/list.htm

而有一个主题是她所乐谈的,那就是鼓励更多人尤其是女性进入计算机领域,聊到这个话题,她的语气便充满了感染力。
黄萱菁的组里,女博士的数量正在连年上升,未来几年几乎每一年都会有女博士毕业。此外,她还接收过还有来自中文、哲学和外语系专业推免过来的学生,曾经还有一位本科汉语言的研究生,现已经硕士毕业去 MIT 攻读认知科学博士。

图片

图丨2022 年 Women in AI 部分学者

图片
国内最早一批投身 NLP 范式变革的学者

黄萱菁与计算机结缘的开始,便体现出许多学术钻研者都有的这种品质——享受一门学科的难度远远大于易度。
她高中就读于福建省宁德市,毕业之后填志愿,计算机是其第一选项。“中学时期就没怎么见过电脑,这个专业对我来说特别新鲜,所以我选择它作为我的第一志愿”,她回忆道。
大学之后的9年间,她在复旦大学获得了信息科学学士和计算机理学博士学位。当时,吴立德教授是她的博士导师,这位教授也是国内最早一批从事计算机视觉和自然语言处理研究的学者。

图片

图丨传统的机器学习 VS 深度学习(来源:黄萱菁)

在几乎没有多少人知道人工智能的 1996 年,她便和她的博士导师在《 模式识别与人工智能 》发表了一篇名为《基于机器学习的无需人工编制词典的切词系统》。那项研究的重点是基于统计学的方法去执行自然语言处理(NLP)任务。
博士毕业之后,她选择留在母校继续留校从事科研和教学工作,并于 2006 年顺利晋升为教授、博士生导师。
2008 年至 2009 年,黄萱菁在美国马塞诸萨大学智能信息检索中心从事访问学者研究。
这一年的国外学习经历对她来说很特别。因为,她以一种放空自己的状态,重新在那一年恶补了很多数学和机器学习知识。她想起来,在自己的求学生涯中,往往挫败感最强烈的时候就是需要动用数学的时候。“机器学习经常要做统计要做优化,我们搞AI的最崇拜的就是数学家”,黄萱菁笑着说道。
正是那一年的努力,为她后来迎接 NLP 的深度学习时代打好了基础。
黄萱菁的 AI 学术之路,正好与AI从传统的统计+模式识别走到了现在的深度学习时代所重叠。
NLP 任务的解决从早期的依赖于规则性知识,到 2000 年初开始转向使用统计的方法,再到 2014 ~ 2015 年之后,接过深度学习视觉任务全面开花的接力棒,其“舞台中心”让位给了基于深度学习的方法。受深度学习的影响,一系列 NLP 任务从数据的处理和计算方法和计算能力都发生了非常大的变化。NLP 本身也引发了越来越多人的关注,加入到这个研究领域的人数开始指数级增加。

图片

图丨深度学习之前的NLP技术发展简史(来源:antoine.louis)

新的颠覆性创新技术正在崛起,顶尖高校和企业研究机构最先嗅到蛛丝马迹,集中出现了一批将深度学习用于解决 NLP 任务的探索者。
与此同时,国外学术界主导探索出了一种更好发挥社区力量、衡量社区进展的范式:在学术会议等场合上公开数据集,并在这些数据集上进行评测和交流,如此一来,各种算法开始层出不穷,也能进行很好的横向比较。
这个范式起初主要是国外高校在推动,渐渐地扩展到企业研究机构,并出现国内组织的身影,而黄萱菁所在的团队,正是国内最早参加国际权威的文本检索会议的机构之一。当时,他们在文本过滤、自动问答等任务的评测中,都取得了相当不错的成绩,也由此增加了国内外学术影响力。
从自动文摘、文本分类和信息检索等一系列自然语言任务,黄萱菁和她的团队提出了大量的计算机算法。近几年,他们又逐渐把目光转向到更基础的研究上,包括基于深度学习改进中文分词、命名实体识别、句子结构分析、语言表示等工具的性能。在复旦,这支实验组主要从事人工智能、自然语言处理、信息检索和社会媒体分析研究。

图片

(来源:WAIC)

如今,已经在 NLP 耕耘数十年的她,依然对学术研究倾注着一种朴素而深刻的热爱。
“这个领域总是有新鲜事物不停出现,你就会觉得,总是有挑战在,有新东西可以学。
学习新东西的时候,我会觉得很快乐。要是一成不变,那就不有趣了。从这一点来说,AI是很有意思的,因为这个领域总是在变,可能现有的方法过一段时间就变得陈旧了,你需要不停去学习。我觉得,这能让大脑保持健康的、活跃的状态”。

图片
当聚光灯打到 AI 学者身上,如何看待数据中“看不见”的大象

而当 NLP 技术越来越频繁地被应用到各种实际场景之后,黄萱菁还感觉到一个新的变化:AI 学者们的肩上除了推动技术进步的重任,又多了一个特别的担子——如何真正使得 AI 在社会伦理上是向善的。
过去 AI 还是小范围人群的纯粹技术范畴时,从业者们遵照着提出方法然后去跑系统、不断更新迭代的逻辑来推动研究。
但是现在,越来越多社会层面的聚光灯,打在了这些工具和工具的制造者身上。人们会从各种各样的角度,去关心和评估 AI 取得的这些进步,社会科学家们会关注 AI 所反映的人类偏见问题,医学伦理,会强调对患者隐私的保护等等。
她观察到,许多这种追求社会发展的人士,都会关心这些问题。
这一点在 NLP 领域也不例外。都说 NLP 是人工智能皇冠上的明珠,殊不知,珍珠中也会藏污纳垢。比如性别偏见。

图片

图丨词嵌入中的女性形象(来源:NIPS 2016)

如果性别偏见被人编入算法,就会使媒介传播中被发掘的“男性凝视”在算法当中进一步发展为“编码凝视”,从而让算法也转化为具有性别偏见的算法歧视。AI 会产生的偏见,这个问题不仅仅存在于计算机视觉(比如肤色偏见、男性凝视),也存在于 NLP 领域,毕竟,人类的知识和经验有 80% 是采用自然语言文字进行记载的。
根据卡内基梅隆大学 Amit Datta 等学者的一项研究,男性用户组收到“年薪在 20 万美元以上”职位推荐的数量是女性用户组的 6 倍。另外,亚马逊公司也曾被报道研发出来的自动招聘系统存在性别歧视的问题,会对女性求职者的简历进行普遍的降级处理,但却提高男性候选人的排名。
在这里, 算法推荐就成了 “算法黑箱”,因为用户并不清楚它为什么会呈现“男女有别” 的结果,而只会默认信息搜索的结果。
这也是近几年黄萱菁比较关注的新议题。一次行业分享上,她特别普及了 NLP 中语言表示存在性别偏见的根源:“从认知科学角度,语言表示实际上是语言在人脑中间的表现形式,关系到人类怎么样去理解和产生语言,。
但而从人工智能、从计算的角度来看,语言表示是语言的形式化,或者是运用数学描述在计算机中间能够表示语言,从而让计算机程序进行自动处理。在自然语言处理领域,每一项 NLP 任务,几乎都得从语言的表示学习这一步开始。
如何精确地对语言进行精确的数学表达,比如通过基于深度学习的方法,是一个基本的、关键的问题。
但人们喂给 AI 的数据中,存有很多性别刻板的印象,在几何上,性别偏见可被词向量所在向量空间的方向所表示。
来自 NIPS 2016 的一篇文章发现,从谷歌新闻等比较正式的文体中训练出的词向量,带有非常强烈、令人不安的性别刻板印象。这体现在,语料中男性和女性的差异,相当于程序员和家政工人之间差异。

图片

图丨迁移学习减轻性别偏差(来源:ACL 2020

一方面,有一些词如漂亮、舞蹈、裙子等与女性相关,聪明、天赋等词则和男性相关,而这些词语本身并不应该带有性别含义,应是性别中立的。另一方面还有一些词是定义中带有性别的,比如爷爷奶奶、男朋友、女朋友等。

包括现在特别流行的预训练模型也是一样。无论是 BERT 还是在它之后的大模型后辈,都是从海量语料库中训练出来的,与其说是模型算法的偏见,实际上数据偏见也难以脱罪。目前来看,进行偏见消除之后的 AI 系统整体性能普遍会下降,但消除偏见仍是一个人心所向、大势所趋的需求。
她介绍道,目前在 NLP 领域消除偏见的工作,结合表示学习是一个比较好的思路,即把语言表示中的偏见去掉,如此一来,下游任务就会受益有所改进。
另一种思路则是直接改进下游任务,例如把下游任务涉及的词向量的偏见消除,比如体现职业相关的性别属性删去,则是一种比较立竿见影、容易验证的思路,可以把性别中立的词和与性别相关的词进行有效区分,从而避免此前词嵌入中的性别偏差,也就进一步避开了糟糕的社会后果。

图片

图丨消除词嵌入中的偏见(来源:NIPS 2016


未来,对互联网中言论偏见歧视的监测可能是这类研究最大的应用场景。现在许多国家都出台了相关的治理措施,中国也不例外,例如国内很多大厂都仍在持续扩张审核人员队伍,工作量非常巨大,而这正是人工智能算法可以发挥作用的空间。
当然,除了伦理相关的议题以外,从基于表示学习的预训练中大量悬而未决的理论和工程问题,到涉及模型压缩和模型高效推理的边缘端 AI,再到多模态预训练、迁移学习和模型鲁棒性,还有大量前沿问题等着黄萱菁这样的学者孜孜不倦地进行探索。
也正是这些挑战悬而未决,才让她对 NLP 领域的长足发展有着好奇和信心:“AI 仍然是一个有很多投入、就会有很多回报的领域,非常的朝阳和朝气蓬勃。我看到很多 95 后、00 后,抱着解决一个或几个重要问题的形态投身于此”。
值此三八妇女节之际,她也特别鼓励女性加入到这个领域中来:“从心理、生理特点来说,一则不要求太多的体力,二则处理代码和数据,其实需要细心和面对失败的强大心态,计算机和人工智能其实是非常适合女性学习和从事的专业。
我会经常鼓励她们,一有机会就夸她们不吝溢美之词。我自己进入计算机领域,就感受到难以替代的成就感”。
附:关于 Women in AI
人工智能全球女性学者(Women in AI),旨在通过 AMiner 学术数据在全球范围内遴选人工智能学科最有影响力、最具活力的女性顶级学者。
AMiner 是一个提供海量中英文文献检索的 AI 搜索学术平台,由清华大学计算机系唐杰教授团队研发,拥有我国完全自主知识产权。作为国内首个 AI 学术搜索平台,包含了超过 2.6 亿学术论文/专利和 1.33 亿学者的知识图谱,为广大科研工作者提供方便、权威和具有认知智能的学术搜索服务。

图片


转载来源:学术头条公众号