别只盯着GPU了,AIGC时代“先进存力”了解一下

文|李薇

编辑|宋辰


近一个多月来,浪潮信息存储产品线的一支小分队多次造访国内一所专注前沿科学和高新技术研究的高校,与院方老师展开交流,试图解决他们在科研中遇到的痛点。

他们要知道客户业务的全过程是什么样的,要知道整个数据作业流程是怎样的,然后再看IT的技术架构是什么,对存储的功能要求是什么。

这正是每一次“跑客户”的意义,也是浪潮信息存储产品线整个团队的日常:他们必须时刻保持和客户的频繁沟通,每一个项目,从客户有诉求到最终交付产品,至少需要和客户互动十几次,才能在“实战”下收获口碑——

上海交通大学2024年3月正式上线的科学大数据平台,融入了浪潮信息存储的科学计算解决方案,极大提高了科研团队的效率。以前复制几十个T数据集需要一周的时间,借助科学大数据平台,现在仅仅需要三个小时。

清华大学在全球范围首次捕捉到“清醒小鼠全脑皮层亚细胞的动态活体观测图像”,背后是对数据存储提出的精细化、实时性及数据零遗失的新挑战,而能达成这一目标,离不开清华大学使用了浪潮信息基于13000系列的存储解决方案。


图片


当产业进入AIGC时代,每个团队更不能懈怠。这个时代,数据不再只是信息的积累,而是关键的生产要素,成为推动业务创新与提升生产力的重要引擎;存储不仅是数据的载体,更是数据与AI深度融合的重要桥梁。

数据是人工智能时代的核心引擎,数据中心逐渐由以计算为中心向以数据为中心转变。随着人工智能从“以模型为中心”加速转向“以数据为中心”,高质量数据的全生命周期管理成为人工智能发展的核心动力之一。

AIGC时代,人工智能和数据要素将是数据中心两大核心工作场景,而AIGC场景下,存储面临性能、效率和韧性方面的挑战。作为中国头部企业级存储企业,浪潮信息存储将如何应对挑战?


大咖科技

 Tech Chic

打造先进存力,

需要先进架构


从距今3万年的史前洞穴壁画,到3000年前泥板楔形文字和甲骨文,到由竹简、羊皮纸记录文字,再到磁带、硬盘、云等介质。人类一直在探索和发明更好用、更便捷的存储方式。伴随人类文明的进化,存储迈入人工智能时代。

ChatGPT发布后,全球范围内十万卡算力集群层出不穷,模型参数增长到数千亿甚至达到万亿级别;同时,数据处理的复杂度和数据膨胀率也呈指数级激增;数据作为核心基础,其质量和处理效率将尤为关键。这些都给存储提出了新的命题。

人工智能对存储带来的挑战表现在:多样多类型数据的快速归集、海量EB(艾字节)数据的混合负载、高维向量数据的组织形式和数据的全命周期管理。

此外,可信数据空间作为数据要素的资源中心,提供从数据汇集到数据使用及面向行业的数据服务,对数据存储的数据跨域管理、高效流通共享、数据安全存放和调用、采用节能技术来降低PUE(电源使用效率)等提出了更大的挑战。

一直以来,数据中心作为信息存储、处理和分发的核心基础设施,扮演着不可或缺的角色。过去很长一段时间,云计算在影响和改变着数据中心;另一条线则是科学计算;最近这两年,又有发展迅猛的人工智能计算。

无论是云计算、科学计算抑或人工智能计算,在应用端都有一个明显的趋势——那就是计算模式的融合。可以预见,未来的数据中心,应该是能够承载云计算、科学计算、人工智能计算、大数据计算的复合负载。

这样的趋势让存力面临六大挑战:数据多样、混合负载、存算协同、安全可信、全局管理和绿色节能。尤其随着海量数据的增长,对存储提出了更高的需求,先进存力成为了存力的重要发展方向。


那么,什么样的存力是先进的?


图片


对此,浪潮信息存储首席架构师孙斌总结,先进存力应是以数据为核心,满足数据全流程、全状态、全生命周期的多维能力,可实现数据的高效处理、容纳、协同、安全、流通和绿色六类特性需求。此外,先进存力需要先进架构。

在融合趋势加快的背景下,浪潮信息提出了新型存储架构,并创新提出基于新型存储架构的机柜级存储底座(Bottom of Rack,BoR)和数据中心级存储底座(Bottom of Data center,BOD),以存储架构创新打造先进存力,满足集约高效、一体化数据中心的建设要求。

孙斌透露,新型存储架构并不是从零开始的架构,而是一种架构的重构和架构的革新,是在现有的分布式架构和兼容式架构之上,以分布式架构为基础,融合集中式架构高性能、高可用、高可靠的优点后,结合人工智能计算、大数据计算对存储新的需求和技术后做的一个新架构。

虽然有一个过程,但浪潮信息的存储产品将逐渐地演进新架构,将现有的产品用新架构替代,最终的理想状态是,只有这样一套架构。预计2025年3月份,浪潮信息将发布基于新架构的新一代分布式存储产品。


大咖科技

 Tech Chic

AIGC时代,

也是存力的春天


“ChatGPT每天的访问量达到10亿次”“特斯拉已有700万辆汽车在路上”“百度文小言累计调用量已超35亿次”“阿里通义千问实现了1000万字长文本”“全球首例远程单臂单孔机器人手术成功完成”……

人工智能时代,科技飞速发展正改变着我们的生活。这背后,算力、存力和运力“三驾马车”支撑着网络世界的运转。

算力指的是计算能力,它是数字时代的核心驱动力之一,尤其随着人工智能、大数据等技术的不断进步,算力的需求呈现出爆炸式增长;

存力即数据存储能力,强大的存力不仅可以保证数据的安全性和可靠性,还能够为数据分析和挖掘提供坚实的基础;

运力则是信息传递的关键,只有具备强大的运力,我们才能享受到流畅的视频通话、即时的在线服务和无缝的物联网应用。

过去两年,在人工智能大火之际,全球算力市场热闹非凡,科技巨头都在争抢GPU以期获得更多算力,全球科技界陷入一场算力争夺战。而相比算力市场的火爆,存力则默默地低调增长。


图片


数据显示,2024年前三季度,全球存储市场规模累计达1202亿美元,同比增长96.8%。中国算力市场亦迎来大幅增长,预计2025年上游产业链产值将超过2600亿元,中下游产值则超过8000亿元。

IDC报告指出,2024年第一季度中国存储市场销售额保持增长,销售额11.2亿美元,同比增长5.7%,出货量39512套。其中浪潮信息存储销售额以11.4%的占比居中国第二,同比增长13.6%,在头部厂商中位列第一。

据IDC分析,智能制造、智慧医疗、AIGC等新兴应用的爆发式增长及数字经济高质量发展的政策红利,为分布式存储市场带来前所未有的发展机遇。

以AIGC为例,“百模大战”掀起新一轮的算力存力竞赛,推动融合架构、全闪存、CXL、QLC等新技术的普及应用,加速存储与AI的深度融合。可以预见,AIGC将成为驱动存储市场快速增长的重要引擎。

孙斌从技术层面解释了存力在AIGC时代将迎来新一轮快速发展:“都说大模型算力越大越好,但这也要建立在数据的基础上,数据则离不开存储里面的数据IO和持久化存储。

上世纪60年代,IBM计算机架构师吉恩·阿姆达尔提出过一个关于计算要做好平衡设计的定律,可以理解为算力、存力和运力的比例关系大概为1:1:1。

谷歌在去年发表的一篇论文中指出,过去20年谷歌算力增长了1000倍,但存力并未取得同步的增长,这意味着存力即便朝着百倍的增长,也将会是一次跨越式的增长。


图片


存力怎么做到增长?很重要的手段是,存力怎么跟运力协同,怎么跟算力协同。存力与算力的协同可以通过以存代算和以存强算来实现。

孙斌进一步解释:“很多计算没有必要让GPU再算一遍,只需要做增量计算就好,我们提出用KV Cache(键值缓存),存下来代算;以存强算,就意味着让CPU和GPU等待的时间越短越好,可以大大减少能耗。”

如今,从交通出行到教育研究,从医疗服务到金融分析,从智能家居到市政建设,人工智能已经渗透到各个领域

在这些应用端的刺激下,大算力时代拉开序幕,先进存力也将不断演进,时代的滚滚车轮正在存算协同的轨道上奋勇向前。