TDSQL敏态业务实践:海量数据中台的“TP+AP”敏捷融合

业务背景

腾讯广告营销业务,旨在帮助客户实现多样化营销目标,可提供丰富的海量流量产品场景,以及基于分析计算技术的多维智能定向投放能力。

随着业务发展,腾讯广告中台业务系统数据量在增长,数仓分析需求也在发生变化,因此在数据库应用上产生新的挑战与诉求。TDSQL TDStore引擎为腾讯广告中台系统提供新一代数据库解决方案,实现业务目标。

业务特性

  • 业务场景:轻量化报表业务

  • 存量数据:30T(单副本)

  • 查询峰值(读-QPS):20万

  • 数据访问特征:数据具有明显的冷热特征

业务痛点

业务原方案是通过全量文件差异化,提供部分列、部分行或关联不同视图数据的周期性快照。该方案存在几个痛点:

 数据仓库:早期进行广告数据的离线分析时,基于RocksDB的方案来实现,该方案只能通过全量文件差异化提供部分列和行,或关联不同视图的数据快照。这种单一的全量快照无法满足业务方的多样化需求,业务方常需重构和加工数据,以筛选出所需信息。

● 业务使用复杂:业务进行表结构变更、加索引等困难。

● 可扩展性:随着数据量的增长,扩容操作变得困难,无法快速响应更多业务需求。

● 运维成本:运维复杂,业务需求多样,导出快照数据效率低,难以快速响应业务诉求。

解决方案

TDSQL TDStore引擎版是TDSQL产品系的最新一代产品,采用容器化云原生架构,100%兼容MySQL 8.0语法,原生Online DDL支持动态更改表结构,超高压缩比存储能力可支持海量存储,让用户可以像使用单机 Mysql 数据库一样使用分布式数据库,但是又有无限的 TP扩展性和轻量 AP 能力。

TDStore可很好的支持MySQL海量数据及敏态业务,本次实践中, TDStore为业务系统提供解决方案如下:

图片

方案成效

TDStore解决方案有效解决业务问题,实现相关成效:
  • 业务实现如单机MySQL一样接入,支持二级索引,不再依赖分库分表;

  • 无线扩展的OLTP能力和轻量 OLAP 能力相融合,实现高效分析;

  • 平稳支撑日SQL 总量 35 亿,QPS峰值 20 万。

该业务系统集群自切换至TDStore以来,保持平稳运行,以及高效的业务响应。



-- 更多精彩 --

冷数据归档降本解决方案

大存储类数据库降本解决方案