蔡健
阿里云可观测领域资深专家
具备多年互联网行业以及业务领域架构设计经验，目前聚焦阿里云可观测应用可观测领域，主要从事可观测产品ARMS与EagleEye的研发、设计与布道，具备丰富的可观测领域技术架构以及实践经验，成功推进ARMS应用性能监控和应用安全(RASP)融合解决方案落地，关注APM以及OpenTelemetry开源社区生态等最新动态。目前关注大语言模型领域可观测需求场景，探索支持LLM应用层到底层基础设施的全栈可观测能力解决方案以及最佳实践。
演讲主题
LLM应用可观测解决方案探索与实践
简介：随着生成式AI概念的火爆，以ChatGPT，通义大模型为代表，市场上涌现了一系列商用或者开源的大模型，同时基于大语言模型以及AI生态技术栈构建的应用以及业务场景也越来越多，大规模的模型训练以及模型推理场景也催生了MLOps、LLMOps等相关的岗位需求。如何监控并保障大模型应用上线的性能以及用户体验？如何支持复杂拓扑场景下LLM应用领域的链路可视化分析以及问题根因定位？需要从成本以及效果等方面获得线上实际表现，辅助选择、分析、评估以及优化迭代大语言模型等。基于上述需求以及问题背景，面向LLM应用技术栈的可观测能力解决方案也成为了日益重要的话题。 大纲： 1、为什么需要LLM应用可观测？ 2、LLM应用可观测关注点有哪些？ 3、LLM应用可观测高质量数据采集上报 4、阿里云LLM应用可观测解决方案介绍 5、LLM应用可观测客户实践案例 6、LM应用可观测展望及挑战
