三言科技 2月28日消息,DeepSeek推出开源周第5弹:优化的并行策略。3FS、用于所有DeepSeek数据访问的推进器。
Fire-Flyer 文件系统 (3FS) 是一种利用现代 SSD 和 RDMA 网络的全部带宽的并行文件系统。
性能包括:
180 节点集群中的聚合读取吞吐量为 6.6 TiB/s
25 节点集群中 GraySort 基准测试的吞吐量为 3.66 TiB/分钟
每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s
具有强一致性语义的分解架构
在 V3/R1 中进行训练数据预处理、数据集加载、检查点保存/重新加载、嵌入向量搜索和 KVCache 查找以进行推理。