小红书与AWS合作构建了极速 OLAP 平台,顺利满足了其大数据处理的迫切需求。该项目利用 Amazon EC2 Fleet、Amazon EKS、Amazon S3 多种 的多种服务,构建了高性能、高可用、可扩展且成本优化的架构。小红书采用 StarRocks 引擎替换 Presto 引擎,提升了查询性能和稳定性,并通过弹性伸缩策略降低成本。此外,小红书还利用 AWS 的湖仓一体化架构,实现了存算分离,进一步简化了技术栈,降低了运维成本。
小红书是行吟信息科技(上海)有限公司于2013年6月推出的一款生活方式分享平台,目前已经发展成为深受年轻人喜爱的生活方式平台与消费决策入口,以“Inspire Lives 分享和发现世界的精彩”为使命。用户能浏览海量多元内容,涵盖美妆、时尚、美食、旅行、健身等众多领域,通过图文、视频笔记分享生活点滴与消费体验。
小红书不断拓展电商业务,实现“种草 - 决策 - 购买”闭环,让用户轻松将心动好物带回家,成为年轻人表达自我、探索生活的重要阵地。小红书曾位列《苏州高新区·2020胡润全球独角兽榜》第58位,2024年4月9日,胡润研究院发布《2024全球独角兽榜》,小红书以1000亿元人民币的企业估值排名第26位。
小红书与AWS合作,在多个业务场景中深度应用 AWS 云计算技术,显著提升了数据处理能力与成本效益。
在实时数据流处理与推荐系统方面,利用AWS Kinesis构建实时数据流处理系统。通过App埋点,用户的浏览、点赞、关注等交互信息被实时捕获,并发送至实时数据聚合服务。处理后的数据输入实时数仓,为推荐算法提供支撑,确保推荐内容的新鲜度与个性化,提升了用户体验。
在极速OLAP平台构建上,采用存算分离架构,前端使用Amazon EC2 Fleet,后端构建在Amazon EKS之上的Kubernetes集群,数据存储于Amazon S3,元数据目录使用AWS Glue Data Catalog。使用 StarRocks 引擎替换 Presto,查询性能提升 12 倍,P90 延迟降低 92%。同时实施弹性伸缩策略,高峰期增加资源,低峰期释放资源,在保持查询性能的同时,总成本降低约30%-35%。
在数据存储与成本优化方面,使用AWS S3作为主要存储,实现了用户存储容量无感知无上限扩容的需求。利用 Amazon S3 支持面向internet的服务与权限管理,配合 AWS CloudFront 高效解决L 移动用户访问问题。还利用S3的存储分级功能,自动对数据进行分级,大幅优化了存储成本。