业务背景
腾讯广告营销业务,旨在帮助客户实现多样化营销目标,可提供丰富的海量流量产品场景,以及基于分析计算技术的多维智能定向投放能力。
随着业务发展,腾讯广告中台业务系统数据量在增长,数仓分析需求也在发生变化,因此在数据库应用上产生新的挑战与诉求。TDSQL TDStore引擎为腾讯广告中台系统提供新一代数据库解决方案,实现业务目标。
业务特性
业务场景:轻量化报表业务
存量数据:30T(单副本)
查询峰值(读-QPS):20万
数据访问特征:数据具有明显的冷热特征
业务痛点
业务原方案是通过全量文件差异化,提供部分列、部分行或关联不同视图数据的周期性快照。该方案存在几个痛点:
● 数据仓库:早期进行广告数据的离线分析时,基于RocksDB的方案来实现,该方案只能通过全量文件差异化提供部分列和行,或关联不同视图的数据快照。这种单一的全量快照无法满足业务方的多样化需求,业务方常需重构和加工数据,以筛选出所需信息。
● 业务使用复杂:业务进行表结构变更、加索引等困难。
● 可扩展性:随着数据量的增长,扩容操作变得困难,无法快速响应更多业务需求。
● 运维成本:运维复杂,业务需求多样,导出快照数据效率低,难以快速响应业务诉求。
解决方案
TDSQL TDStore引擎版是TDSQL产品系的最新一代产品,采用容器化云原生架构,100%兼容MySQL 8.0语法,原生Online DDL支持动态更改表结构,超高压缩比存储能力可支持海量存储,让用户可以像使用单机 Mysql 数据库一样使用分布式数据库,但是又有无限的 TP扩展性和轻量 AP 能力。
TDStore可很好的支持MySQL海量数据及敏态业务,本次实践中, TDStore为业务系统提供解决方案如下:
方案成效
业务实现如单机MySQL一样接入,支持二级索引,不再依赖分库分表;
无线扩展的OLTP能力和轻量 OLAP 能力相融合,实现高效分析;
平稳支撑日SQL 总量 35 亿,QPS峰值 20 万。
该业务系统集群自切换至TDStore以来,保持平稳运行,以及高效的业务响应。
﹀
﹀
冷数据归档降本解决方案
大存储类数据库降本解决方案