“AI必将改变音乐领域。”
来源|多知
作者|王上
视频制作|张蔚斐
一位钢琴演奏者钢琴支架上放着一个iPad显示电子乐谱，随着手指在琴键上跳动，AI乐谱自动翻页；录制的现场演奏音频发送到“AI音频美颜”功能上，一两分钟内变得无噪音且流畅，堪比专业录音棚级别的钢琴曲……
这些都是AI音乐科技公司智曲科技（英文名DeepWav）旗下DeepPiano App的功能，该产品以大模型为内核，正在为钢琴练习和演奏行业带来新的可能性。
音乐无国界，DeepPiano App自诞生起就是一款全球化的产品，希望用AI产品驱动，解决全球钢琴演奏者从学习、演出到创作中的诸多痛点，它可以是一位随身携带的助教、一位协奏者，甚至一位创作者。
智曲科技创始人、CEO夏雨跟钢琴有着不解之缘，他兼具钢琴专业素养与 AI 技术背景，曾获全国钢琴比赛亚军、北京市奥数冠军。他本科和硕士都是毕业于清华大学软件学院，还曾担任微软亚洲工程院高级研发工程师，曾在知名音乐科技公司担任CTO。
智曲科技团队是来源于清华的创业团队，核心成员来自清华大学和中央音乐学院，其中，合伙人戚玥是夏雨的大学同学，她曾获圣彼得堡国际钢琴大赛金奖，并担任国内外钢琴赛事评委，还曾创办IGW（I Get a Wish）爱及国际艺术中心，她在智曲科技负责全球销售。
夏雨告诉多知：“钢琴行业是技术渗透较为滞后的领域之一，但其存在的痛点是可以通过技术革新得以解决的，一旦形成习惯，就不会再回到过去。”
智曲科技今年获得了清华系VC的种子轮融资，以DeepPiano App为起点，智曲科技将深入到“AI+音乐”领域。“我们希望AI更好地服务于人类艺术发展，让AI技术成为人类艺术才华的放大器。”夏雨说。
01
“AI必将改变音乐领域”
2022年，当ChatGPT横空出世后，不少人都看到了这波技术浪潮带来的全新革命，夏雨也不例外。
夏雨说：“这波大模型技术浪潮将影响各个领域，必然也将改变音乐领域，这将是一个历史趋势。”
在他看来，大模型一定可以和音乐领域相结合，但就钢琴领域来说，它是受技术领域推动比较慢的一个行业。
纸质曲谱、手动编曲、十年未变的App形态……全球均是如此，传统模式的低效让夏雨看到了变革的契机。
由此，夏雨集结了一支由自清华大学、中央音乐学院等知名院校毕业生组建的团队，并成立了智曲科技，瞄准“AI+音乐”这个垂直场景的应用。夏雨介绍，这个团队在“技术+音乐”融合领域有近10年的经验，很多人至今依然活跃在钢琴演奏的舞台上，如戚玥。
今年5月，DeepPiano App上线，它试图解决从学钢琴到演奏再到作曲的难题。
夏雨介绍，DeepPiano App的定位是面向大师级别钢琴演奏者和会演奏钢琴的爱好者，暂时还未上线非零基础初学者。
作为垂直领域的AI应用，DeepPiano App从第一天起就面向全球市场，首先，音乐是全球通用的语言，全球钢琴人口破亿的量级；再者，海外软件的商业模式也很成熟，用户付费意愿高。
从全球来看，欧洲国家钢琴的普及率比较高，比如，德国音乐信息中心2024年3月公布的调查报告表明，在德国有1430万人在业余时间里从事音乐活动，其中，16岁以下者演奏最多的乐器是钢琴，占27%，在16岁以上人群中，演奏吉他者占33%，钢琴占27%……
目前，在全球很难找到DeepPiano App的直接竞品，大部分音乐软件是针对零基础初学者，且多针对乐理学习。比如多邻国也推出了音乐课，用户可以通过屏幕上的虚拟键盘观看示范和练习弹奏，适合初学者。
夏雨认为，DeepPiano 所做的事情垂直而精准，能够真正解决深度用户群体长期未被满足的痛点，这对于现阶段的AI大模型在产业应用方面，具有非常积极的商业意义。
02
如何解决钢琴学习、演奏及创作的痛点？
钢琴演奏有着百余年历史，但是，一直以来都比较传统，存在诸多的痛点，比如琴谱大多是纸质的，且在演奏中还需要一名助手手动翻谱……
不论对于琴童学琴还是对于大师演奏，翻谱都是一个挑战，虽然也有了电子琴谱，但是也需要放在阅读器中，然后也需要手指滑动翻页。
对此，DeepPiano App创立了AI音乐图书馆，将百万曲谱装进iPad，通过优化排版，还原纸质曲谱的质感和读谱体验。
（曲谱库首页）
DeepPiano App基于AI大模型推出的“AI自动翻谱”功能，可以根据演奏进度智能跳转页面。
（曲谱页）
针对用户“弹得不够好不敢分享”的心理，DeepPiano App推出了“AI音频美颜”功能。通过算法修复错音、调整节奏，同时保留演奏者的情感处理，生成接近CD品质的音频。这一功能如同音乐界的“美图秀秀”，既满足了社交需求，也减轻了技术瑕疵和对艺术表达的干扰。
（DeepPiano App “AI音频美颜”功能）
针对练琴的爱好者出错了不知道怎么改正的问题，DeepPiano App还有“AI教学评测”功能，实时演奏错误提示，还给出了和曲谱同步的大师音频示范，对于钢琴爱好者来说就像一个随身携带的音乐助教。
除了学琴、练琴、演奏场景，DeepPiano App还延伸至音乐创作场景，推出“AI音乐创作”功能。
传统作曲需要在软件上手动拖拽音符，效率比较低。DeepPiano App的AI创作工具允许用户即兴演奏，自动生成五线谱，甚至能识别演奏意图，修正即兴中的小失误。对于音乐创作者而言，相当于从“手写时代”跨入“智能输入”。
DeepPiano App的竞争力不仅在于功能设计，更在于其底层技术。团队自主研发的AI模型并非对通用大模型的简单微调，而是基于钢琴领域的私有数据从头训练。
“音乐领域的专业模型必须懂乐理、懂演奏，甚至懂情感处理。”夏雨解释道。例如，曲谱与音频的毫秒级同步、复杂场景下的错音识别（准确率较传统方案提升10倍），均依赖团队多年积累的垂直算法。
DeepPiano App功能都是针对专业深度领域的，如果没有相关积累、则研发门槛会很高。比如“AI自动翻谱”和“AI教学评测”的挑战在于精确度，比如不仅可以显示弹奏音符的对错，还有弹奏音调的强弱都有标注，以及实现了大师音频示范与曲谱同步。DeepPiano App这些都是通过自研算法和大模型实现的。
在夏雨看来，DeepPiano App的价值，在于用技术消除机械重复的负担，让人更专注于音乐本身的情感与创造力。
03
“表演行业永远不会被AI取代”
夏雨向多知分析称：“表演行业永远不会被AI取代。”在他看来，“AI+音乐”是一个大有可为的领域行业。
DeepPiano App已启动全球推广，希望计划通过与音乐学院、演奏大师合作，以专业场景为切口打开市场。例如，匈牙利李斯特音乐学院院长已成为产品推荐人，后续将共同开展全球巡演。
下一步，团队将探索“AI音乐”和教学场景的深度融合，例如为教师提供课堂分析工具，甚至正在洽谈与钢琴厂商合作，在传统钢琴中内置AI模块。
夏雨透露，智曲科技首先专注于钢琴领域。
可以看到，尽管智曲科技暂不拓展至其他乐器领域，但技术框架已具备延展性。
对于夏雨本人而言，从CTO到创始人、CEO，角色的转变，意味着有更多的职责。正如夏雨说的“创业就是在解决各种bug，就跟写程序一样，每天都有各种小卡点，CEO既是架构师、也是救火队员”。
这一波创业者大多都组建了精干的团队，以小团队规模运转。在夏雨看来，创业需要关注的是成本控制，其实之前也有很多教育公司在成本控制上做得不错，比如以色列音乐教育公司JoyTunes(旗下有学钢琴的App Simply Piano 和学吉他的App Simply Guitar)，2020年营收超过1亿美元，但当时才200多名员工。
AI正悄然改变着传统行业的每一个角落，有着百余年历史的钢琴行业如今也迎来了它的新一轮AI数字革命，DeepPiano App可以说是AI落地垂直领域的一个最新尝试。