陈晓涛
美团端侧AI推理优化高级工程师
研究生毕业于国防科技大学计算机学院，一直从事AI推理，量化，训练优化等工作。曾在Intel，图森未来工作，实习，目前在美团从事端侧AI推理优化相关工作。研究生阶段主要做分布式深度学习系统相关研究，对低比特通信，Parameter Server，Horovod，MXNet等框架有深入了解和开发；工作后主要从事AI推理部署优化相关内容，包括：1.推理引擎开发：模型量化（PTQ，QAT），图优化，算子优化等；2.部署框架开发：架构设计，工具开发，服务搭建等。
演讲主题
跨平台高性能边端AI推理部署框架的应用与实践
简介：在美团诸多业务场景中，从不同业务需求，硬件成本等方面考量，需要在不同硬件上部署各类AI算法。为将算法与底层硬件隔离，使得算法可一键部署到任意硬件，我们设计开发了一款支持多硬件，灵活易用的高性能边端AI推理部署框架，可极大提高了算法部署效率，同时具有高度可扩展性，可持续新增新硬件和推理后端。目前框架支持已支持分类、检测、分割、关键点、OCR等主流视觉任务的AI模型，支持的硬件有：瑞芯微RV1106/RV1126/RK3588，爱芯AX620U/AX650N，全志V851，Android Arm等7大类常见硬件。
