业务背景
腾讯计费是支撑腾讯内部业务千亿级营收的互联网计费平台,业务系统涉及账户管理、精准营销、安全风控、稽核分账、计费分析等多维度服务。
腾讯计费某业务系统,为用户或内部系统提供交易实时查询类服务。该场景存在几个特征:数据访问量大,写入峰值1万笔每秒;存储量大,存储成本压力大等。
业务痛点
基于原MySQL InnoDB方案,业务存在几个明显痛点:
● 存储成本高:单副本存储空间达100TB以上,即使使用一主一备模式,也将会占用200TB存储空间。
● 解决存储压缩的同时无法保障性能:若基于RocksDB,LSMTree结构能带来较高的压缩率,使得单副本存储空间能降低至约10TB;但MyRocks存在诸多限制,例如不支持Online DDL、性能不稳定、经常OOM等问题。
解决方案与成效:
存储空间降至1/6,查询提速8倍
TDSQL TDStore引擎是TDSQL 产品系的最新一代关系型分布式数据库,采用容器化云原生架构,提供集群高性能计算能力和低成本海量存储;支持原生 Online DDL 操作,用户在业务运行过程中有动态更改表结构的需求时,无须依赖外部工具组件,直接使用原生MySQL DDL语句便可完成。
针对本次海量数据业务场景,TDStore实例采用48节点对等架构,并提供低成本高压缩存储引擎,帮助业务成功替换原MySQL InnoDB方案,实现大幅降本增效:
● 存储空间大幅节省:相较于使用2副本的InnoDB引擎,存储空间降低为原来的1/6。
● 实现表结构在线变更:秒级在线增加字段。
● 并行查询提速:查询某个交易时间段的全量交易流水,可提速8倍以上。
业务系统自2021年11月开始迁移到TDStore ,至今平稳运行。金融级海量数据业务场景的实践打磨,再一次证明了TDStore 的稳定可靠。