沈向洋:大模型对算力需求每年增长四倍以上,合成数据催生百亿创业风口

界面新闻记者 | 陈振芳

界面新闻编辑 | 文姝琪

从长远的角度来看,人类社会发展每次巨大跃迁都是由技术创新带来的。工业时代的全球GDP年均增速约为1%-2%,信息时代增速为3%-4%,人工智能时代,这个数字会是多少?

11月22日,IDEA研究院创院理事长、美国国家工程院外籍院士沈向洋在2024 IDEA大会上表达了上述观点。他强调,随着AI的各项能力逼近、甚至超越人类,AI治理已成亟待全球共同面对的议题。

当天,粤港澳大湾区数字经济研究院(下称IDEA研究院)发布DINO-X目标检测视觉大模型,该模型作为GroundingDINO系列升级之作,在多项能力上得到提升。

在检测能力上,无需用户提示即可检测万物,无论是常见物体还是罕见的长尾物体(出现频率低但种类繁多的物体)都能精准识别并给出类别。

得益于超1亿高质量样本的大规模数据集多样化训练,DINO-X对未知场景和新物体适应性强,泛化能力出色,在实际应用场景中更具灵活性。

在探讨AI发展脉络时,沈向洋提及算力、算法与数据层面变化。算力上,摩尔定律指出每18个月算力需求增长一倍,而当下大模型对算力需求每年增长四倍以上,过去十年英伟达市值大幅攀升300倍与算力需求剧增紧密相关,十年间算力需求增长约100万倍。

算法层面,2017年Transformer架构面世后,AI、深度学习、大模型多沿此路线发展,OpenAI的O1系列带来算法突破思路,改变过往单纯预训练预测“下一个token”模式,融入类似人思考、推理的后训练、后推理过程。

数据方面,“缺数据”已经成为大模型行业内的共识之一。随着GPT系列发展,数据需求激增。沈向洋透露,距离GPT3面世已经过去三年,当时OpenAI用了2T数据,1万亿Token。GPT4用12T数据,训练用了20T数据,事实上,互联网上洗干净的数据大概是20万亿。”

沈向洋认为,GPT5预计需200T数据规模,合成数据可以给大模型提供更为丰富的训练材料,还有望催生未来百亿美金级别的创业机遇。

互联网上已经找不到那么多的数据,未来需要更多高质量的合成数据训练未来的模型。”他举例称,1万亿的数据约等于500万本书,20万张高清照片,抑或500万篇论文。人类历史上的书籍大概是21亿Tokens,微博有38亿Tokens,Facebook大概拥有140TTokens的数据。

当下互联网数据存量告急,社交媒体数据质量欠佳,合成数据受重视,且私域数据利用存在安全孤岛问题。对此,IDEA研究院通过IDEADataMaker用加密方式利用私域数据生成新语料、语境图谱。