陆才慧
本文由谷云科技CTO陆才慧撰写并投递参与“数据猿年度金猿策划活动——2024大数据产业年度趋势人物榜单及奖项”评选。
ETL国产化替代乃趋势使然
在全球化与数字化转型的双重浪潮下，我国企业自2000年起便开始广泛引入国际领先的管理系统及生产制造、研发系统等信息化设备及解决方案，以期实现跨越式发展。然而，随着国内外经济环境的变化和信息安全意识的增强，国产化替代成为企业信息化战略调整的重要方向。从“全面替换”到“应替就替”，再到“能替就替”，这一过程中，企业面临着复杂的决策与挑战。
ETL国产化同样是落地进程中的重要技术环节。ETL（Extract,Transform, Load）产品在数据处理中扮演着越来越重要的角色。在信创国产化替代的背景下，新一代开放式ETL产品因其灵活性、可扩展性和开放性等优势，成为信创国产化替代的“标配”。许多企业曾广泛采用国外的ETL工具，如Informatica、IBM DataStage、Talend、ODI等。但这些工具的局限性在中国市场愈加明显，特别是在支持本土数据库、国产操作系统、以及云原生架构等方面，显得力不从心。与此同时，国产ETL工具在逐渐发展，并开始成为可行的替代方案。
作为一名在数据集成领域耕耘多年的创业者，我见证了国产ETL工具从萌芽到成熟的历程。ETL的国产化并不是一蹴而就的，它是政策引导、市场需求和技术发展的共同结果。从2010年起，国产ETL工具开始进入企业的视野，但直到最近几年，国产化替代的进程才真正提速。
ETL国产化替代三个主要阶段
ETL国产化替代大致可以分为以下三个主要阶段：
● 阶段一：探索期
早期的国产化尝试大多出现在2015年前后，那时国产ETL工具主要面临技术门槛高、市场接受度低的问题。尤其是在企业级市场，许多早期产品在性能、兼容性与稳定性方面并不突出，导致客户观望情绪浓厚。
技术上，ETL工具需要与多种数据源和业务系统打通，但国产工具往往由于功能简单同时缺乏对外部API、国外数据库和传统数据仓库的深度支持，在传输性能和稳定性上也存在很大差距,。这种“半成品”状态使得早期的探索充满了不确定性。
同时，许多早期用户在测试和小规模项目中发现，这些工具在面对大规模数据处理或复杂业务逻辑时表现不佳，系统BUG较多运行也不够稳定，导致企业对其信心不足。
● 阶段二：过渡期
国产ETL工具的实质性突破出现在2017年以后，特别是云计算与国产数据库市场的迅速增长。这一时期，一些国产厂商逐渐认识到ETL不仅仅是一个数据处理工具，更是企业数据治理与数据基础底座的重要组成部分。因此，在设计思路上，越来越多的国产ETL工具开始注重本土化需求的适配，同时也在架构上做出了调整。
在这个阶段，金融、保险、大型国央企等数据密集型行业开始尝试国产ETL工具。一方面，国产工具的灵活性和对本地法规、合规性的支持让其在这些行业中开始站稳脚跟；另一方面，传统的国外工具在价格、运维、适配等方面的劣势也促使企业更多地考察国产替代方案。典型案例如谷云科技在2019-2021年逐步帮助国内某大型金融企业，将其原有的ETL任务全部迁移到国产化平台，并通过国产ETL工具实现了与国产数据库、国产操作系统的深度集成，降低了运维复杂度的同时也提升了处理效率。
● 阶段三：成熟期
随着技术的发展，国产ETL工具到2020年逐步迈入成熟期，根据我们的经验和技术迭代速度我们预测在很短的时间内国产数据集成平台就将全面超超国外同类产品，国产ETL不仅在易用性、基础功能上赶超国外产品，更在灵活性、可扩展性、以及云原生架构支持等方面做出了重要突破。比如在实时数据处理方面，很多国产ETL工具已经能够很好的支持CDC（Change Data Capture）实时数据流处理，满足了企业对数据时效性的高要求。这是传统ETL工具难以应对的领域，特别是在金融、零售等需要实时响应的业务场景中。与此同时，国产ETL工具逐步适应了云原生架构，支持分布式部署、多租户管理，这使得企业能够更加灵活地进行资源配置和任务调度。在数据源的支持上，国产ETL工具的兼容性也大幅提升，能够轻松对接主流国产数据库，如OB、达梦、GBase、GaussDB等，并且与主流BI工具的无缝集成也逐渐成为标准配置。
除此之外，很多企业用户也给我们提出了很多新的想法，国产ETL工具不仅能够在基础设施上满足需求，在数据治理、数据资产保护、轻量化架构等方面也有了更多的考量。通过对数据加工逻辑的有效管理，企业可以更好地保护自己的数据资产，避免因工具更替带来的数据丢失风险。
● 阶段四：超越期
在信创国产化替代的背景下，新一代国产ETL产品正在快速发展，在商用和开源方面都不断涌现出新的产品，ETLCloud就是这几年快速发展起来的典型代表，这些国产化ETL产品因其灵活性、可扩展性和开放性等优势，成为信创国产化替代的“标配”。国产新一代ETL产品不仅能够降低成本、提高效率、简化操作，并具有强大的信创环境兼容性，能够适应不同场景下的数据处理需求可，随着新技术和新理念不断的引入到ETL产品中我们预测很快国产ETL产品会将全面超越国外ETL产品并引领数据集成方向的发展。
打造国产化数据管理领域的新里程碑
在此之前，很多打着国产ETL的工具其实大部分仍然在采用kettle、datax等开源产品包装而成，或者是技术比较老旧(C/S,单体架构)，亦或功能比较单一只能解决某一类问题。
7年前，我与一众怀揣梦想的伙伴一起，在这场国产ETL的崛起浪潮中披荆斩棘，打造了当下在行业内积累了一定知名度的全国产化ETL工具ETLCloud。我们在打造ETLCloud之初便设定要将产品做成国产ETL工具标杆，因此ETLCloud不仅要解决传统工具的性能瓶颈，更要在功能扩展性和易用性上实现质的飞跃。ETLCloud分布式架构和对实时数据处理的支持，让企业能够高效处理海量数据。同时ETLCloud组件非常丰富与kettle不相上下，并可与国产流数据仓库、BI工具无缝集成，使其成为企业数据处理链条中的核心工具。
更为重要的是，ETLCloud全面支持云原生架构和多租户协同开发，帮助企业轻松应对复杂的业务场景。在实际项目中，我们发现ETLCloud在处理复杂数据集成需求、实时数据同步、跨平台数据整合、轻量化方面表现出色，可以完全作为国产化ETL替代的首选。
决策指南：国产ETL替代流程
在ETL国产化替代方面我们集累了非常丰富的经验可供企业进行参考，
首先，应从数据集成需求分析与评估开始，这包括对现有ETL系统已使用功能的全面评估，以及根据国家政策和标准制定符合信创战略的替代方案。在这一阶段，企业需要确定ETL系统国产化的必要性和紧迫性，并遵循相关政策和标准，=确保决策符合国家战略。
其次，企业应进行充分的市场调研，对比不同国产ETL产品的功能是否能覆盖现有ETL工具的功能、性能以及成本效益，并选择适合的供应商。随后，通过技术验证来确保所选产品能满足企业的需求。在迁移规划和实施阶段，企业需要制定详细的迁移计划，包括任务迁移、数据迁移、系统配置和用户培训，并在迁移完成后进行全面的系统测试和优化。
最后，国产化ETL替代的决策流程不仅包括迁移和实施，还涉及到上线后的持续支持和服务。企业需要与供应商建立良好的共创合作关系，确保系统的持续升级和迭代。此外，建立有效的监控机制也是确保系统稳定运行和性能优化的关键。通过这样的流程，企业可以确保国产化ETL替代的顺利进行，同时满足国家政策的要求和企业的业务需求。
ETL国产化的长远意义和未来发展
国产化数据集成平台目前仍然还有很多技术难点需要突破，真正好的集ETL/ELT/CDC/调度于一体的数据集成平台的研发难度可以说很大，国产化之路并非一路坦途，需要广大企业和社群用户的不断支持和鼓励。作为谷云科技的联合创始人兼CTO，我深知谷云科技RestCloud作为ETL国产化践行者的重大责任。我们坚定地要为研发全球最好的数据集成平台不断努力。谷云科技RestCloud的研发团队具有丰富的经验和领域知识，能够为企业提供最优秀的数据集成解决方案。我们积极融合AI技术，已将AI技术应用到最新版本的ETLCloud数据集成平台中，为用户提供更加智能化、高效的数据集成解决方案，用户将只需通过简单对话即可完成数据管道的智能化构建。
对于未来ETL的技术和市场发展，我有两点大胆的预测。一个是在产品方面，随着AI应用的广以及大数据技术的广泛使用，数据集成软件对实时数据的集成和数据的智能化处理需求会大幅增加，同时对于产品的安全稳定性会提出更高的要求，能够在实时数据的处理上表现优异的产品更容易在市场中突出重围。第二点是在市场层面，随着国产化替代进程的进一步推动，国产化的软件产品相比国外老旧架构的同类型产品，在本地化需求的理解与满足上会进一步缩小双方的市场差距，根据目前ETL的技术迭代速度和国产化数据库的采用，来看未来1-2年内，国内市场上国产数据集成产品无论是功能还是市场表现都将全方位超越国外品牌，我也将会和同行们一起期待和见证这一天的尽快到来。
·关于陆才慧：
陆才慧，谷云科技联合创始人兼CTO，以其卓越的技术实力和战略眼光，带领公司在集成领域稳步前行，成功将产品打造为iPaaS与ETL数据集成领域的佼佼者，确立了谷云科技在应用与数据集成领域的领导地位。
作为一位技术极客，陆才慧有超过20年的复杂业务系统产品研发和设计经验；在iPaaS、ETL、BPM等产品的研发上均拥有超过10+年的丰富经验，是国内iPaaS产品研发的领军人物。
同时，陆才慧也是IBM的技术精英，其专业成就得到了业界的高度认可，在大型企业数字化建设方面积累了丰富的实践经验，曾负责华为电子流程管理系统及ADP平台的构建，参与了上百家企业数字化落地项目过程；服务过的企业包括国家电网、H3C、成飞、中国移动、HONOR、长安汽车、壳牌等众多500强头部企业，展现了其在应用与数据集成领域的卓越领导力和战略眼光。