演讲主题

Pinterest基于云计算构建100PB数据仓库实践

Pinterest数据平台系统支撑着公司的数据收集、存储和查询处理需求。平台每天搜集超过1000亿条(约400T)日志消息、处理近10万次Hive/Presto的查询请求、存储处理超过100PB的数据。 本次分享将主要介绍Pinterest如何在基于AWS云平台构建100PB级别数据仓库基础架构以支撑上述业务需求，重点讲解在将Hadoop/Hive与AWS S3集成的时候遇到的各种技术挑战和解决方案，同时也将介绍对Presto在AWS上的代码改造和运维经验。