Machine Intelligence Research
在深度学习的时代，多数自然语言处理(NLP)任务的建模已经融合到几种主流范式中。然而，分散在不同自然语言处理任务中的范式转换尚未得到系统的综述和分析。复旦大学邱锡鹏教授团队试图总结这一研究领域的最新进展和趋势，即范式转换或范式转移。文章回顾了近年来这种范式转换的现象，并重点介绍了几种有可能解决不同NLP任务的范式。相关成果发表于MIR 2022年第三期中，全文免费下载！
图片来自Springer
在深度学习的时代，多数自然语言处理(NLP)任务的建模已经融合到几种主流范式中。
例如，我们通常采用序列标记范式来完成一系列任务，如词性标记、命名实体识别(NER)和组块分析等，并采用分类范式来完成情感分析等任务。
来自论文
随着预训练语言模型的快速发展，近年来出现了一种范式转换的新兴趋势，即通过对任务的输入输出形式进行修改，从而在新范式下完成一个NLP任务。
在完成许多任务时，范式转换都取得了巨大的成功，并正成为提升模型性能的一种新兴方法。此外，其中一些范式在统一大量NLP任务方面显示出巨大的潜力，从而有可能构建一个单一的模型来处理不同的任务。
虽然取得了不少成功，但这些分散在不同自然语言处理任务中的范式转换尚未得到系统的综述和分析。复旦大学邱锡鹏教授团队试图总结这一研究领域的最新进展和趋势，即范式转换或范式转移。
文章回顾了近年来这种范式转换的现象，重点介绍了几种有可能解决不同NLP任务的范式。
文章的组织结构如下。第二部分给出了七种范式的正式定义，并介绍了它们完成的代表性任务和实例模型。第三部分展示了不同NLP任务中发生的范式转变。第四部分讨论了几个突出的范式的设计和挑战，这些范式在统一大多数现有NLP任务方面表现出了巨大的潜力。第五部分简要讨论了近期趋势和未来方向。
Paradigm Shift in Natural Language Processing
Tian-Xiang Sun, Xiang-Yang Liu, Xi-Peng Qiu, Xuan-Jing Huang
https://link.springer.com/article/10.1007/s11633-022-1331-6
https://www.mi-research.net/en/article/doi/10.1007/s11633-022-1331-6
【本文作者】
孙天祥
博士研究生
刘向阳
硕士研究生
邱锡鹏
教授
黄萱菁
教授
特别感谢本文第一作者、复旦大学孙天祥博士研究生对以上内容的审阅和修改！
关于Machine Intelligence Research
Machine Intelligence Research（简称MIR，原刊名International Journal of Automation and Computing）由中国科学院自动化研究所主办，于2022年正式出版。MIR立足国内、面向全球，着眼于服务国家战略需求，刊发机器智能领域最新原创研究性论文、综述、评论等，全面报道国际机器智能领域的基础理论和前沿创新研究成果，促进国际学术交流与学科发展，服务国家人工智能科技进步。期刊入选中国科技期刊卓越行动计划，已被ESCI、EI、Scopus、中国科技核心期刊、CSCD等数据库收录。
转载来源：机器智能研究MIR 公众号
