2025年2月,中国人工智能企业深度求索(以下简称DeepSeek)的开源模型DeepSeek-R1引发全球关注,其核心优势在于高效推理和较强的跨领域适应能力,只需极少的数据量就能实现OpenAI o1的性能。DeepSeek具备的开源、高效、低廉的特质也使其成为科学研究领域的重要科研工具,并引发颠覆性变革。人工智能(以下简称AI)与科学的深度融合,加速助推科学发现和人类文明进步。面对时代机遇,2023年3月,我国科学技术部与自然科学基金委启动“人工智能驱动的科学研究”专项部署工作,紧密结合数学、物理学、化学、天文学等基础学科关键问题,围绕药物研发、基因研究、生物育种、新材料研发等重点领域科研需求展开,布局“人工智能驱动的科学研究”(以下简称AI4S)前沿科技研发体系。AI4S一方面提高科研效率,另一方面可能产生诸多风险,这是一种机遇与挑战并存的新科研模式。业界关于AI4S治理问题的讨论较少,有少量研究讨论AI在科研领域的可行场景和效率优势,对包括科研失信、个体主体性消融、科研成果可重复性危机等风险问题关注不足。[1]为此,下文通过识别AI4S中的风险问题,提出针对性治理措施,以期助益于AI4S领域的善治。一、AI4S是新时代的科研新范式科学研究(scientific research)是对知识的系统性探索,其特点是跨领域协作。AI4S具有高效、创新、融合等特质,是对传统科研范式的超越。(一)AI在科学研究领域得到广泛应用如今,各地科学家都将生成式人工智能(以下简称GAI)和机器学习算法融入科学研究中,利用GAI分析大量文本、代码、图像等数据,生成新的想法、知识和解决方案。科研人员还可以利用AI辅助文献检索、论文撰写、代码开发等,提高科研效率,实现自动控制实验过程。AI4S的成功案例已经出现于蛋白质工程、医学诊断、人文科学和天气预报等领域,比如深度思维(DeepMind)开发的AlphaFold预测数千种蛋白质结构的准确率超过90%。在生物医药领域,科研人员通过AI发现新的抗生素。在天气预报领域,AI模型在速度和准确度上超越了传统的物理模拟模型。在人文科学领域,历史学家利用AI分析文本和图片探究古代人类的生活习惯,以深度学习算法识别古代印刷品、语言的演变模式和规律。(二)AI4S具备独特的效率与优势第一,加速科学研究发现与创新。首先,科研人员利用大模型学习论文、书籍和数据库等,生成新的假设,开拓新的研究方向。比如在材料科学领域,科研人员利用自然语言处理“捕捉”复杂概念,为功能应用推荐新材料。其次,助力大数据分析,加速模拟实验。对高维数据进行物理和数学问题的模拟是科研界的一项重大挑战,不仅成本高昂,而且需要耗时耗力的公式推导。科研人员通过机器学习算法识别数据中的新模式,能快速和精准地获得新认知。比如在量子力学领域,科研人员通过AI开展实验,模拟预测假定结果,发现高度纠缠的量子态、量子测量方案等。最后,从实验数据中发现新规律。在天文学和量子物理学等领域,单个实验就会产生海量数据,从中寻找新规律犹如大海捞针,通过算法则可以快速识别新模式。比如科学家们训练算法,分析激光干涉引力波天文台的海量数据集中的微妙信号,发现了引力波。在大型测序数据库(如人类基因组计划)中,通过算法发现基因改变规律。第二,促进科研流程智能化,实现高效的实验控制。传统上,研究人员手动进行实验,劳动强度大,而且不安全。如今许多实验工作流程通过AI控制实现自动化,AIA-Lab是一个用于无机粉末固态合成的自主实验室,以机器学习分析和解释使用机器人合成的新型材料的实验结果。Coscientist是一个由GPT-4驱动的AI系统,可以自主设计、规划和执行复杂实验,可以推进多项任务并行研究。在物理研究领域,物理实验复杂且规模庞大,物理学家使用强化学习算法推导出能在动态环境中运行且最有效的控制策略,精准控制实验过程,具体用例包括核聚变的托卡马克等离子体控制、量子系统的控制和操纵,以及量子计算机中放大实验的校准。第三,开辟新的研究领域和方向,加速科研成果传播。AI可以促进跨学科合作,推动新的研究方式。例如,数字人文是一个需要人文学者与数据科学家共同合作的新领域,涌现出计算法学、计算政治学、计算社会学、智能考古等新兴研究方向。传统上人文研究主要依赖定性分析,如今科研人员利用AI引入定量方法,让研究维度更多元。同时,AI可以支持科学论文评审过程,诚如国外出版公司Frontiers的人工智能助手所展示的,该AI工具可以将论文发送给同行评议人前,对论文的可适用性和创新性进行背景审查,加快科研成果的评价和传播。二、AI4S的潜在风险AI4S倚重AI技术将产生学术失信、科研成果单一性和低质、个人主体性地位削弱等治理问题。(一)科研成果面临可重复性危机可重复性和验证是科学诚信和科学方法的关键原则。可重复性指独立研究人员使用相同(或相似)的方法,能够得出与先前研究相同(或相似)结果的能力,以证明该研究的有效性。如果用于得出研究结果的代码和数据可用,而且正确分析了数据,则认为论文具有可重复性。在科研领域大规模运用AI加剧可重复危机,因为算法缺乏透明度,AI生成结果的解释、验证与重复性研究较为困难。数据集质量欠佳,评估指标使用不当,缺乏标准的建模和评估程序都加剧AI驱动科研成果的可重复性危机。正如《自然》杂志的一篇社论称“充斥错误的人工智能论文比比皆是”,这在采用机器学习方法的领域“普遍存在”,因为模型“缺乏严谨性”。[2] (二)加剧低质量科研成果泛滥AI使用门槛低,开源模型普遍,涌现大量“论文工厂”(paper mills)。在急功近利的心态驱使下,不少科研人员“炮制”欺诈性内容,低质量论文规模迅速增加,给同行审议带来巨大压力,因无法验证论文结果,滋生、传播大量错误科研信息。例如OECD的一份报告指出,人类越来越难以区分AI生成内容和人类生成内容,增加了错误信息和虚假信息传播风险。AI的不透明性和黑箱性质,延续和强化社会偏见,增加模糊性,影响学术交流和同行评审过程,削弱对科学发现的信任。[3](三)侵蚀个人主体性地位,加剧“智能鸿沟”和“文化单一”性科研人员在数据分析、文献综述撰写、研究评估等方面过度依赖AI,将导致人类的批判性思维丧失、分析技能弱化、写作能力退化等。科研人员趋于相信方案的唯一性,再难以激发人类灵感,主动探索创意方案。一旦人类缺乏创意,AI将大规模替代人类科研,严重威胁人类科学家的主体性地位。由于地缘政治影响,只有少数国家的少数科研人员才有机会使用规模大、功能全的大模型,不同区域或群体的科研人员的科研水平进一步拉大,制造“智能鸿沟”。由于科研群体普遍依赖AI,AI又具有同质性,造成科研成果近似,加剧“文化单一”性,将阻碍科学进步,妨碍人类探索更先进的解决方案。[4] 三、AI4S善治之路为预防AI4S中的潜在风险,应坚持协同治理思路,既要发挥科研群体的自我治理的作用,又要重视外部监督的制约作用。面对新的科研范式转换,在预防风险的同时,还需要加大政策支持,加速推进AI驱动科学研究模式的普及。(一)美国和欧盟治理政策概览2024年4月,美国总统科学技术顾问委员会发布报告《助力研究:强化人工智能应对全球挑战》(Supercharging Research: Harnessing Artificial Intelligence to Meet Global Challenges),提出治理AI4S的三个政策方向,包括资源建设、规范制度和自我监测。首先,提倡共享模型、数据集和计算资源,促进共享公共科学数据集。其次,制定负责任科研行为指南,遵守可信赖的AI使用规范。最后,开发识别错误、虚假内容的技术工具,制定大模型性能评价标准。2024年4月,欧盟发布《成功和及时地在欧盟科学领域应用人工智能》(Successful and timely uptake of artificial intelligence in science in the EU),该报告提出从基础设施建设、伦理素养提升和科研出版物监管等方面规范AI4S。首先,提供资金,打造研究设施,为科学家提供计算能力。其次,开发新的教育和培训计划,提升科研人员伦理意识。最后,加强科学期刊管理,保证其严谨性和透明度。2024年3月,欧盟发布《科研领域负责任使用生成式人工智能指南》(Living Guidelines on the Responsible Use of Generative AI in Research),要求科研人员对成果负责,透明地使用GAI,同时注意隐私、数据安全和知识产权合规。总之,美国和欧盟对AI4S的治理政策体现为两个特点:一是鼓励运用AI从事科学研究活动,大力建设基础资源设施,加速向新时代的科研新范式转换,完成“科学革命”;二是加强AI驱动科学研究的规范性,提高科研群体的自我治理能力。(二)我国AI4S的规范现状与政策建议2024年9月,中国科学院科研道德委员会发布《关于在科研活动中规范使用人工智能技术的诚信提醒》,要求科研人员对AI生成内容负责,反对利用AI撰写同行评议,并如实声明使用AI的情况。2023年12月,国家自然科学基金委员会发布《科研诚信规范手册》,要求科研人员使用GAI处理文字、数据、图像、音频、视频等应披露使用方式和细节,使用GAI生成内容应标注并说明生成过程,并不得将GAI列为成果共同完成人。整体看,我国对AI4S的规范呈现分散化的特征,规则层级较低,尚缺体系化治理框架。“人是使用工具的生物”[5],AI4S新范式下仍应强调人的主体性地位,避免AI替代人。规范AI4S时,应构建以人为中心的协同治理框架,通过负责任创新和伦理审查机制,让科研主体自我治理,由国家、社会和市场共同监督这一过程和结果。结合域外政策要点与我国规范现状,提出如下政策建议:首先,加强科研基础设施建设与科研数据利用。算力资源是影响AI4S进展的重要因素,国内科研机构普遍缺乏计算能力,制约了大规模复杂科学实验的开展,国家需要建设科研算力平台,为中西部区域缺乏算力资源的科研人员提供算力支持。AI4S的另一关键要素是数据,针对我国科研数据分散、难获取、质量粗糙等问题,国家应推进公共科研数据集建设,规范科研数据使用,加强敏感科研数据的安全保护,并以知识产权制度鼓励私人科研数据的开发利用。其次,提升科研人员伦理合规和自我监督意识。尊重科学家群体自我学术治理的规律,注重发挥科研人员主观能动性,自觉守法合规地使用AI进行负责任创新。一方面,注重培育科研群体的学术素养,强化科学家精神,确立对科学事业的长期价值观,提高创新思维和跨学科洞察力,保障个人主体性、批判能力、科研创新能力等;另一方面,为跨学科领域的科研人员提供交流平台,鼓励科研人员对AI生成内容进行批判,加强对新科研成果的质疑与验证,冲破“AI科研成果单一化”束缚,激发人类创新灵感。最后,加强AI运用过程和科研成果传播使用的规范性。国内外都对使用GAI提出了原则性要求和指引,但都属于软法范畴,缺乏强制约束力,规范作用有限。为了增强这些原则的约束力,应该为AI4S制定法律规范,针对违规科研、科研造假、滥用AI等行为创设法律责任。强化AI4S中的伦理审查,加大对科研群体的合规性监督,构建事先自我治理与事后外部追责的“双轨”制,既给科研人员科研自由,又给科研人员划定行为边界。制定科研算法模型准确性、鲁棒性和可解释性的指标体系,开发识别歧视、偏见、虚假内容的技术工具。制定科研成果出版、传播的新标准,规避错误信息“科学化”,及时阻断“伪科学”成果生成和传播。原文刊载于《电子政务》2025年第3期