想象一下有这样一个超拟人数字人,当你给它打“视频电话”时,你不断地调整“孙悟空”“奥特曼”“怪兽”等道具的摆放位置。在无需拍照的前提之下,超拟人数字人能够看图说话并能马上回应:“奥特曼和孙悟空停止了打斗,正在联合对抗怪兽。”
这便是科大讯飞的超拟人数字人。2024年10月24日,在第七届世界声博会暨2024科大讯飞全球1024开发者节开幕式上,超拟人数字人首次亮相在世人面前。
科大讯飞表示,其重新定义了万物智联时代的多模AIUI交互标准,在原有的远场高噪、全双工、多语种多方言能力上,升级了多模态能力,新增了超拟人和个性化能力。
超拟人数字人首次亮相,意味着多模态的交互从超拟人的语音变成超拟人的数字人,实现了语音、视频、图文的全部联动的多模态交互。
会上,科大讯飞研究院院长刘聪现场和超拟人数字人玩了一个“角色扮演”游戏,无论是扮演孙悟空还是小猪佩奇,数字人的反应都惟妙惟肖。
刘聪还演示了更实用的旅游购物场景,当摄像头转向印有外文的化妆品及酒类产品时,超拟人数字人能对画面中产品的品牌、功能等信息进行“秒回”,从而能够成为“跨语言”购物的好帮手。
“目前,讯飞星火支持用户创建自己的个性化数字人,打造每个人的数字分身。”刘聪现场演示了一个自己的“数字分身”,只需在后台进行简单的编辑、定义,就可快速生成自己的卡通形象,更能一句话复刻自己的声音作为发音人,随时随地与自己对话。目前,已能支持1300+种人设打造。
硬件产品端,则内嵌了星火多模AIUI能力的讯飞AI学习机阅读伙伴即将上线,让孩子们“指哪读哪”,书中的故事可以马上“拟人化”启发孩子思考和提问。
发布会现场,科大讯飞宣布超拟人数字人能力正式开通内测,向现场来宾开通体验权限。
发布讯飞星火4.0 Turbo,9项测试集中实现超越
会上,讯飞星火大模型4.0 Turbo正式发布,科大讯飞表示其在数学能力、代码能力上超过了GPT-4o。由艾伦人工智能研究所、OpenAI等国内外权威单位发布,涵盖理解和推理、综合考试、数学和科学、代码等不同任务类型的14项主流测试集中,讯飞星火4.0-Turbo在其中9项测试集中实现超越,效率相对提升50%。
会上,刘庆峰特别提到“硬碰硬”的数学能力和代码能力。根据实用数学任务构建测试集CAppliedMath-1.0,讯飞星火4.0 Turbo在计算、财务、金融、度量等多个维度的任务中均超过GPT-4o水平,已完成超长思维链、树搜索和自我反思评价等算法验证,预计2024年底可实现类“o1”的高难度数学能力显著提升。
根据代码生成HumanEval测试集上的效果对比,讯飞星火4.0 Turbo在Python、Java、JavaScript等任务上和GPT-4o的差距微弱,在C++能力上超过GPT-4o。在真实应用场景,基于认知智能全国重点实验室构建的iFLYCode-Eval-2.0代码实用场景测试集,讯飞星火4.0 Turbo在代码生成、代码检错、单元测试等任务上都超过了GPT-4o。同时,科大讯飞还推出星火代码7B版本,满足代码生成、代码补全等极速响应型任务。
发布星火多语言大模型,为世界提供第二种选择
在语音识别领域,科大讯飞的远场高噪场景语音识别领先优势进一步扩大。
在多语言能力上,首次实现全国地级市方言全覆盖,含全国288个地市、202种方言,讯飞输入法14.0即将支持202种方言免切换自由说。
在多语种能力上,科大讯飞本次发布了星火多语言大模型。除中英文外,可支持俄、日、阿、法等8个语种。根据实用任务场景构建测试集MMT-Eval-1.0,讯飞星火在汽车、家电、办公、翻译等行业的任务场景应用效果超过了GPT-4o。
“讯飞作为中国唯一的认知智能全国重点实验室承建单位,我们有使命有责任要做多语言大模型”,刘庆峰表示,讯飞星火底座能力要不断提升,对标全球最好水平,同时还要针对真实应用场景做到全球最好,不断扩大多语种范围,“我们一定要代表中国给世界第二种选择。”
多模态多语言能力的升级,也将全面赋能汽车产业。会上,科大讯飞还首发了汽车端侧星火大模型。据悉,2024年第四季度起,奇瑞、广汽、长城等多款搭载端侧大模型的车型将上市开售。
发布国产万卡算力集群“飞星二号”平台,持续探索无人区
会上,科大讯飞、华为、合肥市大数据资产运营有限公司三方联合打造的国产超大规模智算平台“飞星二号”也宣布正式启动。一年前的今天即2023年10月24日,首个国产万卡算力集群“飞星一号”平台上线,星火大模型持续引领全国产算力平台发展,刘庆峰介绍称一年以来攻克了很多“疑难杂症”,解决了500多次以上的基础软硬件问题和模型适配问题。
“飞星二号”将带来新模型新算法的持续适配和智算集群规模的再次跃迁,持续探索无人区、引领国产大模型底座的发展、给世界提供第二选择。“只有在真正自主可控的平台上,才有真正的中国人工智能大未来。”
同时,也只有生态的繁荣,才有人工智能的大未来。2024科大讯飞AI开发者大赛共有来自14个国家、348座城市的35268支团队参赛,其中9372支是大模型团队。在2024科大讯飞AI开发者大赛中,科大讯飞联合30所科研院校、44家企业与机构顶尖共创赛题,最终评选出十佳团队。
根据IDC研究报告和市场公开数据显示,科大讯飞在语音语义市占率中第一、大模型开发者规模第一,达78.1万。发布会上,科大讯飞表示将开放全场景资源,从技术能力到应用落地,用最短路径实现产品成功,线上线下渠道和资源共享,加速开发者迈向市场成功。此外,科大讯飞将牵头成立AI基金,用5亿创业基金推动开发者创业,加速前沿技术产业化进程,并与地方政府联合为AI创业团队提供产业落地支撑。
AI赋能民生刚需:发布教育、医疗、司法、政务等领域AI助手
“用人工智能技术解决社会刚需”,是科大讯飞一直以来的出发点之一。本次会上,科大讯飞面向教育、医疗、司法、政务服务、企业办公等多个行业场景发布了最新的产品应用。
面向教育行业,科大讯飞本次发布了基于“问题链”的高中数学智能教师系统。2024年1月,中国教育科学研究院与科大讯飞、华为开展深度合作,在讯飞星火教育大模型的基础上开展“基于生成式人工智能的中小学智能教师示范研究”。
而此次发布的高中数学智能教师系统,是众多高中数学学科优秀教师集体智慧和AI大模型的机器智能双向赋能,能够实现“人机共育”。它可以智能地生成教学问题链,以循序渐进的方式辅助教师启发学生思考并逐步解决问题,同时基于精准学情定位学生薄弱点、融合最近发展区规划路径、鼓励学生基于真实世界的主动提问、探究式学习,帮助学生实现知识、到能力、再到素养的综合培养。
据科大讯飞介绍,这款高中数学智能教师系统,是由中国教科院牵头北京、上海、重庆、深圳、合肥、成都、大连、广州、哈尔滨等12个区域50多位数学教研员、400多位优秀教师与讯飞星火大模型人机共创的智慧成果。
与此同时,搭载高中数学智能教师系统的星火智慧黑板2.0也将于2024年10月25日在第84届教育装备展上正式发布,从AI均衡视听更公平、AI教学工具更高效、AI教师助手更智慧、全国产化算力更安全等四个方面推动黑板从板书工具跃迁为教学AI助手。
此外,科大讯飞还在讯飞AI学习机中发布了AI作业过滤器。学习机通过OCR能力识别出纸质练习题,根据学生历史学习情况和本地化考情,将题目分出“必做题”“选做题”“建议不做题”三个等级,实现“练得更少、学得更好”的目标。
面向医疗行业,科大讯飞本次发布了讯飞星火医疗大模型2.0,医疗海量知识问答、医疗复杂语言理解、医疗专业文书生成、医疗诊断治疗推荐、医疗多轮交互、医疗多模态交互等六大医疗核心场景能力重大升级并持续领先。
基于讯飞星火医学影像大模型打造的智能医学影像助手也正式发布。在智能质控环节,可帮助影像技师快速评估图像质量,及时纠正检查问题;在智能诊断环节,可帮助影像医师快速生成诊断报告,解释溯源并多期对比;在智能读片环节,可接入医学影像大模型,通过相关问答,帮助临床医师制定诊疗方案。
会上,讯飞医疗还联合安徽省卫生健康委员会、认知智能全国重点实验室,共同发布全谱系全模态医学影像大模型开放合作计划,旨在汇聚全球最顶尖的影像AI科研团队,共同推进医学影像大模型的发展。
面向司法领域,星火法律大模型赋能庭审笔录制作、裁判文书编写、法条类案检索等司法场景,和星火通用大模型相比,效率提升从61.7%提升到87.9%。
面向政务服务场景,星火政务大模型持续迭代,全面覆盖4500多种标准化事项和60多种材料,老百姓和政务大模型“聊天”就能实现边聊边确认办事意图,审核时间缩短80%,登记效率提升5倍。此外,科大讯飞还发布了搭载政务大模型的“星火智办一体机”,方便群众从“问着办”到“领着办”。
AI赋能企业:已与各头部企业共建20多个行业大模型
“讯飞星火已成为央国企大模型的第一选择。”在发布会上刘庆峰晒出了大模型应用成绩单:央国企中标第一、教育医疗市场第一、智能汽车市场第一、大模型开发者生态第一、智能硬件市场第一、赋能科研应用第一、赋能工业应用第一。
截至2024年10月,科大讯飞已与各头部企业共建20多个行业大模型,覆盖300+应用场景,所覆盖行业和场景数都是第一。
为了帮助各行各业更好地落地大模型,科大讯飞构建了从“建算力、理数据、训模型,到落场景、保安全、精运营”的全套解决方案。“科大讯飞有领先的工具链,可大幅提升‘理数据、训模型’的效率;有覆盖300+行业场景的实际应用案例,已形成相互借鉴和复用的规模化效应;还有全国产化的算力平台。”刘庆峰说。
值得一提的是,越来越多的企业依托讯飞智能体平台,孵化员工自己的AI助手。比如国能集团举办“国家能源杯”大赛,共126个队伍参赛,最终创新孵化了54个场景智能体,打造员工自己的AI助手。会上,科大讯飞也正式邀请全国开发者们参与共创。
AI赋能科研行业,让AI for Science成为科技发展新引擎
2024年的诺贝尔物理学奖、化学奖、经济学奖都颁发给了 AI 领域的科学家。刘庆峰表示,AI for Science带来科研范式的根本变革,正在成为科技发展的新引擎。
讯飞星火持续为高校提供基础科研提效服务。刘庆峰介绍,星火科研助手自2023年底发布以来,已在中科院下属116个院所使用。北京邮电大学EZCoding雏雁/大创团队基于讯飞星火大模型打造的编程教学应用平台“码上”,目前已在全国332所院校开通使用,学生主动提问率增加1倍,教师辅导工作减少80%。
刘庆峰提到,人工智能赋能科研工作的三个台阶:依托科研文献助手和代码助手提升基础工作效率,基于深度神经网络对科学任务进行精准建模,以及借助认知大模型学习领域知识并辅助设计科研实验方案。
据悉,科大讯飞已在大模型+科研领域做了许多探索,如联合中国科学技术大学刘海燕教授团队,成功设计了48个自然界不存在的全新蛋白质;联合中科院动物研究所李鑫团队,研究单细胞基因表达课题;联合中科院等离子体物理研究所李建刚院士团队,研究托卡马克等离子体控制。此外,科大讯飞还联合中国科技大学研发“化学大模型”,联合中科院大连化学物理研究所研发“化工大模型”。“AI for Science决定了中国科技发展的速度,赋能科研是讯飞星火的重要使命”,刘庆峰说。
面向未来,刘庆峰认为人工智能产业发展的关键是五个关键词:顶天立地、自主可控、通专结合、端云联动、软硬一体。刘庆峰说:“坚持这五个关键点,我们的人工智能就有大未来,就能真正的解放生产力、释放想象力,改变产业格局和竞争格局。”