沈百军

平安银行大数据及AI负责人

平安银行大数据及AI负责人,负责金融科技大数据平台和高并发服务基础组件,是离线计算、实时计算、大规模存储技术专家,使用Redis、Elasticsearch、HBase搭建多级缓存,实现实时虚拟数据集,提供每天3亿+的并发服务,实时提供银行所有客户行为和标签数据,在风控、精准营销、精准广告系统中得到深入应用,同时搭建tensorflow平台,推动金融AI。

演讲主题

平安银行大数据及AI技术架构和应用

平安银行核心策略是“科技引领、零售突破、对公做精”,科技是零售突破的重中之重。技术的核心目标就是打造一个互联网模式,支持高并发、高吞吐、可水平扩展技术架构,最终做到去IOE。现今一个完整的技术架构主要是A(AI)、B(Big Data)、C(Cloud),这次重点主要介绍平安银行如何通过9个月时间,搭建一套金融领域全开源全技术栈的大数据及AI平台,主要包括离线/流式数据中心、在线实时数据集以及AI平台。 离线/流式数据中心通过Sqoop收集300+个Oracle库、1万个表实体,每天5万多个任务执行,使用智能依赖技术,让Job更高效的执行;平台支持在线开发、测试、发布、监控。 在线实时数据集,数据通过RocketMQ/Kafka异步实时流入,以ES/HBase数据持久化、Redis内存加速,可自定义变量、获取虚拟数据集,并提供高并发在线接口。 AI平台,基于Kubernetes + Docker容器架构,搭建Tensorflow计算框架、支持文字/语音/图像等相关业务。

© boolan.com 博览 版权所有

沪ICP备15014563号-8

沪公网安备31011502003949号