• 科研快讯

复旦邱锡鹏:中国版ChatGPT“火”了之后,MOSS接下来要拼的是“算力”

2023.03.13

3月2日,OpenAI在官方博客宣布开放ChatGPT的模型API。同一天,上海市智能信息处理重点实验室,复旦大学计算机学院邱锡鹏教授MOSS团队官方公开宣布研究成果将会开源。


邱锡鹏向上海科技介绍:

目前,从参数规模维度来看,

MOSS是百亿级规模,

ChatGPT是千亿级规模,

但人脑应该是百万亿规模。

所以和人脑相比,

无论MOSS还是ChatGPT,

复杂度都还是不够。



图片


“大模型规模进一步扩大的话,就需要更多的算力。无论ChatGPT还是MOSS,最终考验的可能还是芯片和算力。”


邱锡鹏说:除了大算力的支撑,接下来,大规模资金投入以及多场景应用对MOSS的发展也至关重要。”


图片

“就像人的大脑一样,

MOSS有举一反三的能力”


“MOSS其实春节前就开发出来了。”邱锡鹏介绍,目前,MOSS的底层架构已经完成,但还有扩大规模的可能。MOSS可以把网络结构再放大,相当于把人工神经网络做得更大。


“MOSS没有任何类似传统的数据库或网络基础,它也没有后台,就是一个模型,由一堆参数决定。”


ChatGPT模型给我们展示出很多的AI技术做不到的能力,特别是通用智能能力,让人们看到了AI技术迈向通用人工智能的一种希望。


所以在ChatGPT之前,通用人工智能实际上是在AI中的远景,大家其实做的还是所谓的“弱人工智能”。


与上一次人工智能现象级的产品AlphaGo相比,MOSS更像人,因为具有了举一反三的能力,而这是传统的AI模型里比较弱的一项能力。但对于大模型来说,举一反三的能力特别强,很多问题只要人简单描述一下,它就懂了。


图片

“MOSS会有自己的判断,

你可以和它交互”


其实大模型语言模型很早就出现了,但它一直只是在研究界被当成模型来用,而没有赋予它直接可以听懂人类指令以及和人交互的能力 。


在邱锡鹏看来,ChatGPT模型的学习能力特别强,这是学术层面的感受,此次火爆出圈,更多是因为ChatGPT赋予了AI模型与人类交互对话的能力,让大众也能直观感受到AI模型的魅力。


对话只是现在的ChatGPT模型表现出来的基本功能之一。

其实它的功能远远不止对话。



你可以用它来完成各种各样的事,比如用ChatGPT做翻译,写摘要,改错字,构建知识图谱,他也会写程序,也可以去接入物理世界等等。


图片

“我觉得将来ChatGPT肯定会很快和现实世界打通”


MOSS不仅能和你对话,理解你的意思,将来还能做出自己新的判断。你可以想象,在一个智能家居系统里,在所有的家电都是有API接口的情况下,把这个权限放给MOSS,他就能操控一切。


目前,国内的ChatGPT模型应用场景其实非常丰富,下游的数据也比较多。MOSS可以应用到各行各业,特别是一些垂直化、专业化的应用。


ChatGPT时代,是一个大的生态系统。在未来,其实ChatGPT模型更像操作系统层。



ChatGPT大模型是比较烧钱的。

OpenAI每年的花费是大概5亿美元,

主要用于支撑高密度的人才团队。

目前MOSS采用的还是英伟达的算力方案。

我们希望国产芯片也能够同步支撑发展。




于大众而言,无论是ChatGPT,还是被称为中国版ChatGPT的MOSS,这些人工智能模型仿佛一夜之间涌现,但对于从2000年互联网时代就选择了人工智能研究方向的邱锡鹏来说,通用人工智能时代的到来是早晚的事,只不过来得比想象中更快更早


事实上,从2021年起,邱锡鹏团队就开始做中文生成式预训练模型,也开源供别人下载,每月平均有上万次下载。2022年邱锡鹏团队开始做大型语言模型方面的训练,后来又花费了半年时间,研究如何使大型语言模型理解人类指令以及具备对话能力。


总之

在ChatGPT模型领域

算力、资金、场景应用,

都要有重量级投入,

才能做出中国自己的ChatGPT。


图片

MOSS团队合影(左六为邱锡鹏)


图片
转载来源:上海科技 公众号