1.同盾科技面向全球开源云原生Redis方案td-redis-operator,旨在降低运维复杂度,提高交付效率。
2.该方案基于Kubernetes Operator设计,实现分布式集群、主备切换,支持可视化交付环境。
3.自上线以来,同盾云原生Redis方案支撑同盾集团1000+在线实时业务正常运转,承载5000+Redis缓存实例和PB级数据量。
4.除此之外,同盾科技计划在未来一年内开源更多核心技术模块,推出开发者激励计划,设立“同盾开源之星”等荣誉奖项。
5.同盾科技期待与全球开发者、企业与学术机构加入开源生态,共同推动行业的进步与发展。
以上内容由腾讯混元大模型生成,仅供参考
随着数字经济的蓬勃发展和人工智能技术的广泛应用,开源技术正逐步成为驱动全球软件技术与产业创新的核心引擎。作为全球领先的人工智能决策技术服务商,同时也是国内金融风控和隐私计算领域唯一一家获批建设“智能金融风控国家新一代人工智能开放创新平台”的高科技企业,同盾科技秉持着“开源先行、生态共赢”的理念,积极履行行业领军企业的社会责任,依托多年来的自主科技创新与深厚技术储备,持续推进核心技术开源战略,助力行业数字化转型。
截至目前,同盾科技已在GitHub平台*开源多款自主研发的先进技术框架与工具,全面覆盖智能风控、隐私计算、大数据分析等前沿领域,累计收获数千开发者关注,技术影响力持续攀升。首先,今天要为大家介绍的是同盾面向全球开源的公司首款云原生Redis方案(td-redis-operator)。
开源背景:基于云原生的降本增效之路
作为业界认可的第三方决策智能服务商,同盾科技已累计为近万家客户提供领先且独具特色的决策智能解决方案,日均处理决策请求达数十亿次。在这样的业务体量下,同盾科技以云计算、人工智能、大数据三大核心技术体系为基础,构建了强大的数据存储与处理架构。然而,同盾DBA运维管控也面临着诸多困难与挑战:
同盾科技自建了杭州、上海两座T4等级双机房,拥有数千台物理机和一万多台虚拟机、容器以及公有云服务器,人力物力运维成本高昂,并且传统的交付流程复杂低效、耗时耗力,也需要大量人力资源投入。以Redis为例,实例数量高达数千个,日常软硬件故障频发,每次故障都需要人工介入来对服务器进行修复,运维响应速度相对滞后,并且无法针对变化的业务需求对集群做出容量、形态、网络、存储的调整。
云原生技术的兴起为同盾科技带来了破局思路。云原生是面向云应用设计的一种思想理念,充分发挥云效能的最佳实践路径,可以帮助企业构建弹性可靠、松耦合、易管理、可观测的应用系统,支撑应用程序快速部署上线,实现应用的高效、实时和稳定运行,能够有效规避重复部署需要投入的大量时间成本和开发成本,显著提升交付效率,降低运维复杂度。
早在2017年底,同盾科技就敏锐地捕捉到了云原生技术的发展趋势,投入大量资源,率先布局云原生领域。经过一年左右的研发投入,同盾科技完成了云原生“微服务+DevOps+持续交付+容器化”四大核心要素的全面构建,在成本节约、效率提升、稳定性建设等方面取得了显著成效:一方面,同盾基于物理硬件维度来进行资源管理,随着公司业务持续高速的增长,服务器需求量也不断增长,每季度都要花费千万采购服务器,而云原生技术的应用为同盾节约了设备成本超千万元;另一方面,该方案将应用和基建的交付时间从小时级降到分钟级,弹性扩容从原先几个小时扩容10个计算资源发展至现在只需要3分钟即可完成100个计算资源的扩容;同时,“容器化”还提升了服务器故障保修的效率,支持故障自愈,减少了业务故障自动恢复的时长,大幅提升业务的可用性。在这一过程中,同盾科技也沉淀了数十项技术发明专利,研发了包括云原生Redis方案在内的多个云原生产品和方案,为同盾技术开源奠定了深厚的基础。
云原生Redis方案:低成本、高容错、高效能
Redis作为云原生缓存组件之一,在生产环境中承担着关键角色,而支撑着整个集团在线业务正常运转的Redis-Cloud产品,实际上来源于Redis、Kubernetes、Linux等多个领域的开源技术。因此,为积极拥抱开源社区、实现技术反哺,同盾基于内部的Redis-Cloud产品进行架构解耦改造,于2021年底率先将云原生Redis方案(td-redis-operator)正式面向全球首次开源,推动构建良好的开源社区生态,促进产业创新发展提速。
同盾云原生Redis方案基于Kubernetes Operator理念设计,将Redis资源抽象成固定规格的服务单元,按需以CR(Custom Resource)一键提交给Operator创建k8s容器(redis、sentinel)、网络、存储,同时Operator内置完善的故障处理逻辑,对服务单元的容器服务进行可用性监听。当出现故障时,对问题pod进行销毁和重建,重新组织恢复集群。
自上线以来,该方案支撑同盾集团1000+在线实时业务正常运转,承载着5000+Redis缓存实例和PB级数据量,支撑每秒数百万低延迟、高吞吐的在线实时业务请求,经受住了同盾内部长达数年的大规模生产级运行验证,并实现了零人工运维。
同盾云原生Redis方案支持分布式集群、主备切换,同时能够可视化地满足复杂交付环境和需求,赋能企业在以下几方面取得显著项目成效:
NO DBA:大规模Redis实例运维将不再需要DBA人工介入,支持以服务化方式实现日常资源一键交付,并且在硬件、网络、实例级别实现故障自愈,不仅能大幅提升业务的稳定性和连续性,还能降低运维研发投入。
资源隔离:该方案将Redis服务化后,遵循业务与其存储计算资源一对一的关系,通过业务间的资源隔离,能够有效规避大集群、共享集群在单一业务高峰期间对其他业务的影响,为实现高效、安全、可扩展云服务提供了强有力的保障。
降低成本:避免分散式、个性化的服务器交付方式,利用k8s集群,将资源池化,实现资源随用随取。该方案能够将数以千计的虚拟机降低至几十台物理资源池集中管理,同时研发效率也从小时级提升至分钟级,进一步提高资源的利用率。
多元场景化:支持平台部署标准化,实现在各种公有云、私有云及混合云场景下的快速部署,并且充分聚焦业务需求,灵活适配合适的网络、存储和集群形态,方便开发人员使用,降低技术门槛和软硬件限制。
凭借其低成本、高容错、高效能的技术优势,该开源项目已成为云原生领域缓存方向备受瞩目的解决方案,众多行业前沿企业和研发机构均依托该开源技术底座,驱动实现应用加速落地。
开源生态:从技术共享到社区共创
展望未来,同盾科技将始终聚焦行业痛点,致力于为开发者提供“高价值、易用性、前瞻性”的技术解决方案,一方面,同盾将持续加码开源投入,引领技术普惠,计划在未来一年内:开源包括实时指标计算平台在内的更多核心技术模块,进一步完善同盾开源矩阵;推出开发者激励计划,设立“同盾开源之星”等荣誉奖项,表彰杰出贡献者,充分激发其创新活力。此外,同盾也将依托国际化布局,持续深化国际技术合作,推动中国原创技术走向全球开源社区。
另一方面,同盾科技的开源战略将不止于代码开放,更期待通过同盾领先技术的开源共享,推动实现中国决策智能风控领域的开放发展,彰显企业技术实力与责任担当的同时,进一步构建起“开发者友好型”生态:
社区驱动,技术共研:设立专项技术团队,即时响应开发者需求,同时定期组织举办线上/线下技术沙龙,与全球开发者共研人工智能、隐私计算等前沿技术课题,展开思想碰撞与智慧交融。
产学研融合,加快转化:与浙江大学、复旦大学等高校达成深度合作,推动建设实质性产学研联盟,将开源项目融入人才培养与科研攻关,加速科技成果转化,充分释放开源商业与社会价值。
行业赋能,生态共赢:已支持金融、政务、零售等多个领域的数十家企业,基于同盾开源技术构建定制化解决方案,覆盖亿级用户场景,以实践证明同盾开源技术的广泛适用性和强大的创新潜力。
“开源的本质是协作与信任。我们希望通过技术开放,与开发者共同探索智能决策技术的边界。”同盾科技创新人、党委书记、董事长蒋韬表示,同盾科技诚邀全球开发者、企业与学术机构加入开源生态,携手共创数字技术美好未来,让技术的力量惠及更多企业与用户,共同推动行业的进步与发展。
*同盾科技GitHub主页:https://github.com/tongdun