DeepSeek开源第五弹:3FS并行文件系统

三言科技 2月28日消息,DeepSeek推出开源周第5弹:优化的并行策略。3FS、用于所有DeepSeek数据访问的推进器。

Fire-Flyer 文件系统 (3FS) 是一种利用现代 SSD 和 RDMA 网络的全部带宽的并行文件系统。

性能包括:

 180 节点集群中的聚合读取吞吐量为 6.6 TiB/s

25 节点集群中 GraySort 基准测试的吞吐量为 3.66 TiB/分钟

每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s

具有强一致性语义的分解架构

在 V3/R1 中进行训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索和 KVCache 查找以进行推理。

图片