| 演讲者 | 张昊 | | 头衔职位 | 加利福尼亚大学圣迭戈分校 助理教授 | | 时间 | 2023年6月2日(周五)下午14:30-16:00 | | 地点 | 江湾校区二号交叉学科楼E1006 | | 联系人 | 戈维峰，wfge@fudan.edu.cn |
|  |
演讲简介
自从Meta发布羊驼（LLAMA）语言模型权重和OpenAI发布GPT-4以来，开源大型语言模型（LLMs）的技术格局出现日新月异的变化。在本次演讲中，我将分享加州大学伯克利分校计算机系统组最近在微调和部署聊天机器人Vicuna方面的经验，该聊天机器人被认为是迄今为止最接近ChatGPT（GPT-3.5-turbo）的高质量开源聊天机器人。我将简要介绍我们如何精心打造了一个高质量的数据集，并将LLAMA微调成Vicuna。此外，我将详细讲述我们如何在仅使用大学可负担的有限数量的GPU上，成功在Chatbot Arena（https://arena.lmsys.org/）中部署包括Vicuna在内的多个聊天机器人，并且实现系统的高吞吐量和低延迟。我还将介绍在部署和评估LLMs的过程中出现的新兴的机器学习系统方面的挑战，以及我们正在为此付出的努力。这项工作是与https://lmsys.org的LMSYS Org团队成员合作完成的。
关于讲者
张昊，加利福尼亚大学圣迭戈分校（UCSD）Halıcıoğlu数据科学研究所和计算机科学与工程系助理教授，博士毕业于卡内基梅隆大学计算机科学系，博士后工作于加州大学伯克利分校计算机系统实验室。他的研究方向在于机器学习和计算机系统的交叉领域，研究重点在于如何提高当今分布式机器学习系统的性能和易用性。最近，张昊一直在积极致力于推动大型语言模型（LLMs）的普及。张昊创建了多个流行的开源LLM项目，例如Alpa、Vicuna和Fastchat。张昊的研究曾获得NeurIPS'17的NVIDIA先锋研究奖和OSDI'21的Jay Lepreau最佳论文奖。张昊在机器学习系统方面的开源工作已被AI2、Meta和Google等组织使用。张昊的部分研究已在Petuum和AnyScale等多个创业公司实现商业化。
