演讲主题

达摩院通义mPLUG多模态预训练技术演进及应用实践

预训练语言模型技术极大的推动了NLP领域的发展，随着多模态信息越来越普及，多模态预训练技术与应用也逐渐备受关注，近些年也取得了显著的成绩。我们创新性的构建了模块化层次化的多模态大一统模型mPLUG，采用模块化结构统一多模态理解和生成，解决跨模态信息融合时由多模态信息不对称性导致的两个重要问题：信息淹没和低效，显著提升模型效果和效率，在多个多模态下游重点任务取得SOTA，完成VQA首超人类突破。相关技术已服务于阿里内部多个核心业务场景，包括主搜、拍立淘、闲鱼、阿里妈妈、数字人、业务中台等。