当地时间12月10日－15日，全球AI顶级会议NeurIPS（神经信息处理系统大会）在加拿大温哥华举办，这一大会涵盖了机器学习、深度学习、神经网络等多个研究方向。
官方数据显示，NeurIPS2024共收到15671篇有效论文投稿。投稿量创下新高，论文录取率为25.8%，相比去年略有下降，来自中国的被收录的论文则很可观。公开数据显示，中国人民大学、字节跳动、蚂蚁集团、腾讯等中国高校和互联网企业均分别有数十篇论文被NeurIPS2024收录。
蚂蚁集团被NeurIPS2024收录了20篇论文，其中有一篇为Spotlight（特别关注）。按往年数据估算，NeurIPS的Spotlight论文录取率约为3%。
被Spotlight的论文《MKGL：掌握一门三元组构成的语言》，引入一个叫KGL的新知识图谱语言，以探究大语言模型（LLM）和知识图谱（KG）的融合。KGL这一新语言能够让一个句子精确地由一个实体名词开始、一个关系动词连接，再以另一个实体名词结尾。实验结果显示，LLM通过利用实时知识图谱上下文检索和文本嵌入增强，高效提升其对KGL词汇的理解，已经做到能够熟练掌握KGL，在知识图谱补全等任务上相较于传统方法有显著提升。
论文摘要显示，蚂蚁集团20篇论文的研究领域主要集中在提升AI的经济性、可信性和效率上，这也是该企业重投AI的重点攻坚方向。
比如论文《重新审视显存和通信成本对大语言模型高效数据并行训练的影响》针对大语言模型（LLM）分布式训练的速度与效率问题，提出了一组新的基础策略，一个名为PaRO的部分冗余优化器，通过更精细的分片策略以适配不同的训练场景，加速LLM的训练。实验结果表明，PaRO在LLM的一些训练场景下速度比ZeRO-3最快提高到266%。此外，PaRO-CC也可以单独使用在模型并行策略中，且获得了17%的训练速度提升。
在NeurIPS2024上，蚂蚁集团还受邀举办一场研讨会，围绕“强化学习优化、可信模型构建及视觉语言模型应用探索”等议题，深入研讨知识增强的大语言模型在行业垂直领域的前沿技术与发展趋势。来自清华大学、香港浸会大学、墨尔本大学、蚂蚁技术研究院的学者和研究员将在研讨会上进行主题报告分享。
据了解，加速AI在行业垂直领域的落地应用，亦是蚂蚁集团重投AI的重点攻坚方向，或者说，聚焦提升AI的经济性、可信性和效率，就是为了加速AI在行业垂直领域，尤其在金融、医疗、遥感等严谨产业中的落地应用。
2024•Inclusion外滩大会发布的《AI产业实践六大趋势》指出，大模型在医疗、金融等专业领域应用涌现，能促进垂直行业生产力提升、数据价值释放，同时也成为大模型技术加速发展的“探照灯”。
值得注意的是，在NeurIPS这一级别的国际顶级学术会议上，来自国内高校、科技企业、互联网公司的论文不但在数量上持续突破，在质量上也有飞跃式进展，被收录为Spotlight、Oral、Highlight、BestPaper提名的论文越来越多。期待中国的产学界继续发力与合力，勇登这波AI浪潮之巅。（资讯）
编辑：程阔