AI 已经会搞科研、写论文了。
近日,一个名为 AI 科学家(The AI Scientist)的系统引起了广泛关注。在无需人类帮助的情况下,它可以独立完成科学研究和后续论文的撰写,并且成本极低。
这个由日本 AI 初创公司 Sakana AI 与英国牛津大学和加拿大不列颠哥伦比亚大学的科学家们合作开发的系统,预示着科研工作或将迈入一个全新的自动化时代。
(来源:Sakana AI)
AI 科学家系统的核心优势在于,其能够自主完成从创意生成到论文撰写的整个研究过程。
这个系统利用大语言模型模仿科学研究的全过程,包括生成研究想法、设计和执行实验、分析结果,甚至对自己的论文进行同行评审。
近日,相关论文以《人工智能科学家:迈向全自动开放式科学发现》(The AI Scientist:Towards Fully Automated Open-Ended Scientific Discovery)为题,发表在预印本网站 arXiv[1]。相关代码已在 GitHub 上完全开源。
论文作者包括:Chris Lu、 Cong Lu、 罗伯特·恰尔科·兰格(Robert Tjarko Lange)、雅各布·福斯特(Jakob Foerster)、杰夫·克伦(Jeff Clune)和大卫·哈(David Ha)。
图丨相关论文(来源:arXiv)
他们还在论文中展示了由该模型生成的 10 篇论文,有的论文甚至达到了机器学习会议 Weak Accept 的水平。
图丨 AI 科学家生成的论文(来源:arXiv)
该系统的主要特点包括:全自动化研究过程、自动化同行评审、开放式发现、应用于机器学习研究以及高计算效率。
它可以管理科学研究的整个生命周期,比如,生成创新的研究思路、编写代码、执行实验,总结和可视化实验结果,最终形成完整的科学论文。
该系统不仅能进行研究,还可以评估生成论文的质量,提供反馈,并迭代改进结果,在评估准确性方面接近人类水平。
在初步示范中,系统已被应用于机器学习的多个子领域,包括扩散模型、Transformer 和学习动态分析等方面。
AI 科学家的另一个显著特点是其成本效益。每个研究想法从构思到形成论文的成本约为 15 美元,是一种相当经济、高效的科学知识生成工具。
研究团队对媒体表示:“通过自动化发现过程并整合 AI 驱动的评审系统,我们为最具挑战性的科学技术领域的创新和解决问题打开了无限可能。
最终,我们设想了一个完全由 AI 驱动的科学生态系统,包括 AI 驱动的研究人员、审稿人和整个会议。”
图丨 AI 科学家的工作流程(来源:Sakana AI)
AI 科学家的工作流程主要包括:创意生成、实验迭代、论文撰写和自动化论文评审。
在创意生成阶段,系统首先基于提供的起始模板进行头脑风暴,提出一系列新颖的研究方向。
为确保想法的原创性,系统会在语义学者(Semantic Scholar)数据库中进行搜索。在它的起始模板中,还有一个 LaTeX 文件夹,里边包括了用于论文撰写的样式文件和章节标题。
实验迭代阶段,该系统执行提出的实验并生成结果可视化。它会记录每个图表的内容描述,来确保所保存的图表和实验记录已包含撰写论文所需的所有信息。
在论文撰写阶段,系统以标准机器学习会议论文的风格,用 LaTeX 编写简洁而信息丰富的研究进展报告。此外,它还会自主使用语义学者搜索并引用相关文献。
最后的自动化论文评审是该系统的一大亮点。由大模型驱动的 AI 评审智能体,能够以接近人类的准确度评估生成的论文。
这些评审可用于改进当前项目或为未来的开放式创意提供反馈,从而形成一个持续的反馈循环,使系统能够不断改进其研究成果。
需要了解的是,尽管 AI 科学家表现出巨大的应用潜力,但它也面临一些挑战和局限性。目前,该系统无法处理或理解视觉信息,这会导致无法读取图表信息,页面布局欠佳等问题。
它有时还会错误实施其想法或与基准方法进行不公平比较,导致误导性结果。此外,系统偶尔会在写作和评估结果时出现重大错误,如难以准确比较数值。
研究人员还发现,AI 科学家可能会为了达成某些目的,偷偷摸摸地修改代码,试图改变人类设下的游戏规则。
比如,它在一次实验中耗费了过多时间,它却选择修改时间限制,从而为自己留出更多的时间。
与此同时,AI 科学家的潜在影响也带来了一系列伦理、实际和哲学方面的挑战。例如,该系统可能被滥用,用自动生成的大量论文破坏同行评审过程。
自动化审稿人的使用,可能导致有偏见的评审或审核质量下降。这些风险凸显了制定严格伦理准则和安全措施的必要性。
从哲学和更广泛的角度来看,随着类似 AI 科学家的系统越来越多地融入科学研究,人类科学家的角色或将发生转变。
最终,这样的系统是否能够普及,关键在于 AI 是否能提出真正具有革命性的想法,甚至复制人类创造力和创新迸发的时刻。
参考资料:
1.http://arxiv.org/abs/2408.06292v1
https://sakana.ai/ai-scientist/
https://venturebeat.com/ai/sakana-ai-scientist-conducts-research-autonomously-challenging-scientific-norms/
https://medium.com/@learngrowthrive.fast/sakana-ai-the-ai-scientist-914b6930e7b7
运营/排版:何晨龙