技术与基础设施

百度发布全球首个百亿参数对话预训练生成模型PLATO-XL

日期:2021-10-19

|  来源:【字号:

 2021922日,百度发布新一代对话生成模型PLATO-XL,一举超过Facebook Blender、谷歌Meena和微软DialoGPT,成为全球首个百亿参数中英文对话预训练生成模型,刷新了开放域对话效果。

尽管大规模参数的模型在自然语言处理领域如雨后春笋般出现,并且在多个自然语言理解和生成任务上取得了诸多成果,但多轮开放域对话的主动性和常识性问题一直无法得到很好解决。百度自然语言处理(NLP)于201910月预发布了通用领域的对话生成预训练模型PLATO,在ACL2020正式展示。2020年,PLATO升级为超大规模模型PLATO-2PLATO-2参数规模扩大到16亿,涵盖中英文版本,可就开放域话题深度畅聊。如今发布的全新PLATO-XL,参数规模首次突破百亿达到110亿,是当前最大规模的中英文对话模型。

信息来源:

https://new.qq.com/rain/a/20210922A0BYR800

附件: