数据库开源社区,如何追赶上海外?
文|赵艳秋
编|牛慧
2024年12月末,openGauss Summit2024在京举办。这次大会的注册人数从以往的五六百人,翻倍到1100多人,openGauss的生态体系正在不断普及。
与会代表企业之一神舟通用是一家国内老牌数据库企业,做数据库已有30多年历史,服务于政府、航天、金融、电信等多个关键行业。openGauss社区2020年发起时,神舟通用是首批理事单位,与开源社区同步发布了商业版本。它在社区贡献、商业化和生态建设上,扮演重要角色。当天下午,神舟通用副总经理吴嵩主持了公司举办的一个分论坛,主题围绕数据库在数字化转型中的应用展开。
会场的气氛很热烈。“我们原来在航天制造企业的数字化转型中做推广,都要使劲去推。但现在是客户有时候会来不断咨询和沟通相应的数据库解决方案。”他说,过去数字化转型还停留在概念上,现在则迈出了实质性步伐,要打通所有数据链条,依据数据开展创新、指导生产和设计、完善业务流程,从而实现高质量发展。
在这个过程中,数据库国产化替代的工作很重,都是作为企业系统架构和业务应用改造的关键部分,一同推进的。由于企业现在都在比拼“以客户为中心的产品快速创新和迭代”,用户和业务规模增长也很大。这对数据库的性能、迁移性、多模化都提出更高要求。吴嵩称,这也是openGauss社区近几年花大力气在做的。
01
openGauss有哪些年度演进
openGauss社区是国内首个数据库开源社区,这些年大家建设的思路逐步清晰,围绕三大支柱,即技术创新、商业拓展和生态繁荣,来展开建设。
openGauss社区理事长熊伟在峰会上表示,2024年是openGauss的“技术大年”,发布了6.0长周期版本。这个版本首次发布了数据库存储引擎oGEngine,这是中国首个开源的数据库存储引擎,是一个决定数据库性能和功能的关键技术。“它的特点是能在高负载情况下,将性能抖动控制在3%以内。这对企业级核心应用,尤其金融高并发应用来说,非常重要。”
在存储引擎之外,openGauss发布了全新的向量数据库,并在钉钉2024年用AI对自身业务的改造中,实现了商业化落地。
openGauss也发布了oGpilot,它类似微软在各产品线引入的 pilot。openGauss社区期望,未来能用自然语言和数据库进行交互,完成数据库的调优开发等。
此外,openGauss也增强了数据库的一键迁移,可以将多种类型的数据源,迁移到openGauss开源数据库中。中移在线旗下的营销短信业务,2024年实现了7个小时对8T数据的迁移,这一结果令社区振奋。
在这个技术大年中,openGauss获得了包括中国通信学会科学进步一等奖等重要奖项。
在第二大支柱商业拓展中,2024年邮储银行成为首个全部核心关键业务都替换为openGauss系数据库的企业。中国移动全域核心系统也通过openGauss,实现了规模化覆盖。openGauss在国能集团2024年头号工程国能云的重构中,也扮演了关键作用,国能集团发布了基于openGauss的企业自用版本。在医疗领域,中科软与openGauss合作的医疗前置一体机,覆盖了30%以上的医院。
2024年是钉钉的“AI元年”,钉钉正在采用人工智能技术,将全部产品进行重构。钉钉将原来通过两组不同数据库“拼”在一块的方案,改用openGauss开源数据库的两种模式,支撑了其AI业务的落地。这也成为openGauss2024年的重要突破。
吴嵩观察,openGauss进入了更多的行业。原来只是个别金融、运营商企业的应用落地,现在包括能源、医疗、教育、制造等关键行业都多起来了。openGauss也正在从外围向核心逐步渗透,应用场景在不断增加的过程中。比如,神舟通用的项目中,原来办公场景多一些,现在则支撑了央国企人力资源系统、档案系统等。
根据沙利文的最新报告,在2024年线下集中式数据库市场上,openGauss的市场份额首次超过30%。“从我的产业经验来看,超过30%之后,会进入高速发展期。”熊伟称。他关注的另一个数字是合作伙伴占比。截至2024年12月,openGauss数据库产品供应商共有35家,占比跃升到28.5%,甚至超过了MySQL和PG在中国合作伙伴的占比。“2024年,openGauss已成为国内三个主流的开源技术路线之一。”
熊伟将openGauss较快发展的关键因素之一,归结为商业模式。除了自有版之外,2024年openGauss商业发行版达到15家。商用发行版企业,聚焦在不同的行业做定制化开发,形成差异化竞争力。企业自用版则增长了5倍,约有20多家龙头企业,基于openGauss发行了自用版;还有9家openGauss服务商,其中新增了像科蓝软件等服务企业。这样的商业化体系,确保支撑客户不同层次的需求。
过去四年,openGauss累计装机量已达10万台以上。尤其在2024年,装机量超过4.3万台。
在另一大支柱——社区生态建设方面,2024年,openGauss社区贡献者从6000名增长到了7600名。在华为之外的openGauss贡献者,贡献量已达到54%。
“社区培训拿到openGauss证书的人越来越多了。”吴嵩说,2024年仅神舟通用培训的人数已经从以往每年几十人,增长到几百人。
根据华为服务fellow孙虎的介绍,通过华为ICT学院,目前有500所高校引入了openGauss课程,实现对6万多人的培养。他们同时与社区伙伴合作,通过认证、训练营等,覆盖了5000多家企业,为产业界培训了2万多人。他们也在主导或参与服务标准的制定,将软性服务,转化为有“硬性”指标保障的体系。
熊伟强调了服务体系的打造,他认为一个社区需要从商业落地、人才培养、服务体系等维度,建立完整的体系化力量,才能把开源数据库产业真正做好。
02
神舟通用在openGauss社区
吴嵩每年都参与openGauss Summit。神舟通用经历了openGauss社区从零到一的发展过程。
从openGauss发布1.0开始,神舟通用就基于社区版本,结合自身的技术特色,发行商业版。“openGauss当时有一些新技术,能够与神舟通用的解决方案形成补充。比如,它提供了地理信息数据库开源版本,是我们所不具备的,互补方案让我们在水利、北斗做了不少落地。”吴嵩说。
openGauss社区在过去四年半的发展中,迭代了很多重要功能。令吴嵩印象深刻的,是2022年openGauss发布的3.0版本。从这一版本开始,openGauss逐步走向成熟稳定。神舟通用在3.0版本的基础上,结合自己做了多年的Oracle兼容技术,也搭配了自己的企业级运维监控工具,实现了很大提升。
Oracle兼容性,一直是中国首批数据库企业全力攻克的技术。神舟通用也是国内Oracle兼容性做得最好的企业之一。“这两年为了实现客户的平滑迁移,整个社区和我们,对Oracle兼容性的投入都很大。”这个商业发行版,也受到政务、央国企、教育、医疗等行业客户的欢迎。吴嵩告诉数智前线,通过2024年的努力,社区对Oracle的兼容性又有更大的提升。
除了Oracle兼容性,openGauss在5.0版本增加了三层池化,将计算、内存和存储资源进行解耦并分别池化。这种架构可以通过软硬件的协同优化,实现资源的高效调度和弹性扩展,从而提升数据库的性能、可靠性和易用性,是业界前沿的技术。
在2024年9月发布的6.0版本中,openGauss又增加了原地更新,以及MySQL兼容性和Oracle兼容性同时兼顾的特点。原地更新也是数据库底层核心技术之一。简单说,它分离存储页面最新版本的“有效数据”和历史版本的“垃圾数据”,数据空间不膨胀,“垃圾”回收效率高,大压力下业务运行平稳。尤其适合需要频繁更新和高并发访问的场景,比如运营商的BOSS系统等。
神舟通用已推出了基于openGauss6.0的商业版,卖点也聚焦在原地更新的性能提升,以及对MySQL兼容性和Oracle兼容性的同时兼顾上。“我们通过6.0社区版,做了全栈的MySQL迁移解决方案,也由此在央企中做了不少MySQL的迁移,尤其像集团的网站门户、人力系统等。” 吴嵩说。神舟通用的商用版本销售情况,在openGauss商业发行版中居于前列,而它对openGauss社区的贡献也已上升为第四或第五名。
回顾过去的两三年,吴嵩提到了社区曾经历的最大挑战,即数据库相关工具链不丰富。数据库需要配套开发工具、数据同步工具、迁移工具以及运维工具等四大类工具链。由于之前工具链不完整,客户曾对吴嵩抱怨,“人家数据库三天就部署完了,你们干两周还没弄完”。
现在,工具链已有了较大改善。openGauss社区提供了开发工具、迁移工具,很多伙伴贡献了同步工具,神舟通用也提供了运维监控工具、数据同步工具。
伴随openGauss社区扩展数据库的部署模式,与多家企业打造了一体机模式,神舟通用也推出了一体机解决方案。一体机方案一方面提升了部署的便捷性和性价比,也发挥了从鲲鹏、openEuler到openGauss的技术栈优势。在2024年的峰会期间,中国移动、钉钉、中科软也与社区联合推出了一体机,在不同方面实现差异化的性能。
吴嵩告诉数智前线,接下去,在三层池化增强、SQL server兼容性、向量数据库完善中,“还有挺多东西要做”。
03
时间的打磨
虽然openGauss迭代速度很快,但在峰会期间,社区中主要的企业都提出了,接下来openGauss要结合更多场景、应用持续打磨。
“中国有‘360行’,这些行业的适配还是需要大量的时间精力。”吴嵩说。
为了进一步实现行业适配,峰会上,神舟通用对与会者介绍了生态开放战略。如与国产芯片厂商实现产品兼容,做到系统稳定性;与硬件制造商开发定制化解决方案,确保数据库在多样硬件环境中兼容;支持公有云、私有云、混合云等多样云环境;解决软件兼容与互操作性,确保数据库无缝集成现有软件环境。
“尤其要让更多行业开发商了解、使用openGauss产品。”吴嵩说,“当年英特尔为了让行业接受它的CPU,到处去送样机、提供工具、帮忙做开发、做培训。Oracle也是这么做过来的。”神舟通用正在与各行业大型系统集成商合作,研发提供从前端应用到后端数据库的一体化解决方案,更好服务于金融、医疗、能源、电力、政府、电信和航天等行业。
中国移动信息技术中心副总经理陈国也提到,openGauss产品能力、技术能力的提升,不仅仅是在实验室“编代码编出来的”,更多要结合场景、结合应用持续打磨。据悉,中国移动的系统每天全网数据处理量达到几十PB。这对数据库的实时性、并发性、高可靠、高一致性提出高要求。通过基于场景的打磨、沉淀,中国移动壮大商业版磐石数据库之外,也对社区进行了回馈,壮大openGauss开源版本的实力。
熊伟以“终日乾乾,与时偕行”作为自己在峰会演讲的结束语。“从产品力和生态力来讲,我觉得openGauss还处于比较早期的状态。”他说,这是个长征,需要每天一步步前进。
数智前线获悉,openGauss社区在2025年一件重要的事情是智能化。
“我们所处的时代正从数字化向智能化演进,企业对数据的使用方式也随之快速演进。”华为计算产品线副总裁姜涛在峰会上说,智能时代的技术发展日新月异,只有汇聚众智,才能让创新源源不断涌现。“华为一直致力于打造开放的计算产业生态,坚持根技术创新,坚持开源开放的理念,陆续开源了openEuler操作系统、昇思AI框架和openGauss数据库,与业界共建技术生态。”
2025年,openGauss也计划开启全球化,目前已与OpenInfra基金会等开始了连接合作。熊伟提出,期望在未来3~5年中,openGauss能成为国际开源数据库市场上,重要的技术路线。