DeepSeek开源周收官之作：3FS让AI数据处理迈入"高铁时代"

type

status

date

slug

summary

3FS如何颠覆AI数据处理

如果说前四天的开源项目（DualPipe、EPLB等）是在优化计算流程，那么今天的3FS（Fire-Flyer File System）则是在解决一个更加基础却常被忽视的问题：数据处理效率。

在我之前采访过的许多AI团队中，数据准备和处理往往是整个训练流程中最耗时的环节，工程师们戏称为"九成时间在处理数据，一成时间在训练模型"。传统文件系统在处理海量AI训练数据时就像"骑自行车送快递"，而DeepSeek的3FS则相当于建造了一条专用的"AI数据高铁"。

3FS系统能够充分利用现代SSD和RDMA网络的全部带宽，在180节点集群中实现了惊人的6.6 TiB/s聚合读取吞吐量。要理解这个数字有多夸张，可以想象：一部4K电影（约50GB）在这个系统中只需不到0.01秒就能完全读取，几乎是眨眼的时间。

核心优势：不仅仅是速度

作为一个长期关注AI基础设施的观察者，我认为3FS的价值远不止于表面的性能数据。它的真正意义在于：

分离式架构与强一致性：这意味着它不仅快，而且可靠。在分布式系统中，这两点往往难以兼得，3FS通过链式复制（CRAQ）实现了强一致性，同时保持了高性能。

全面覆盖AI工作流：从训练数据预处理、数据集加载、检查点保存/重新加载，到推理中的嵌入向量搜索和KVCache查找，3FS几乎覆盖了AI开发全流程中的所有数据密集型操作。

KVCache优化：在大语言模型推理中，KVCache（存储先前生成token的key和value向量）是降低延迟的关键。3FS为每个客户端节点提供高达40+ GiB/s的KVCache查找吞吐量，这对于提升推理速度至关重要。

走进技术细节：3FS如何实现超高性能

在我与几位资深基础设施工程师的交流中，大家一致认为3FS能实现如此高性能的关键在于其精心设计的系统架构：

高度并行化：3FS充分利用了现代硬件的并行特性，将数据处理任务分散到数千个SSD和数百个存储节点上同时执行。

RDMA网络优化：远程直接内存访问（RDMA）技术允许网络适配器在不占用CPU的情况下直接访问另一台计算机的内存，3FS对RDMA进行了深度优化，最大化了网络带宽利用率。

智能数据分布：系统会根据访问模式自动优化数据分布，确保热点数据能够均匀分散，避免单点瓶颈。

在GraySort基准测试中，3FS展示了其实际应用能力——在25节点集群上对110.5 TiB数据排序仅用了30分14秒，平均吞吐量达到了3.66 TiB/分钟。这个性能水平在业界处于领先地位。

与Smallpond的协同：完整的数据处理生态

DeepSeek同时开源了Smallpond，这是一个构建在3FS之上的数据处理框架。两者的结合为AI研发团队提供了完整的高性能数据处理解决方案。

Smallpond专注于在分布式环境中进行高效的数据处理和转换，它与3FS的无缝集成意味着从原始数据到训练就绪数据集的整个过程都能以前所未有的速度完成。

我的思考：开源基础设施的战略意义

作为一个长期关注AI产业发展的内容创作者，我认为DeepSeek这一周的连续开源行动具有深远的战略意义。

特别是今天发布的3FS，它解决的是AI发展中一个最基础却往往被低估的瓶颈。在当前AI模型规模和数据量双双爆炸式增长的背景下，数据处理效率已经成为制约训练速度的关键因素之一。

我曾与多家中小型AI创业公司交流，他们普遍反映在有限的计算资源下，如何最大化利用这些资源是一个巨大挑战。DeepSeek开源的这套工具链，尤其是3FS这样的基础设施组件，相当于为这些公司提供了一条技术捷径，让他们能够在有限资源下实现更高效的训练和推理。

从产业格局来看，开源高性能基础设施有助于降低AI技术的门槛，促进整个生态的繁荣。正如一位业内人士评价的那样，这就像是"给整个AI社区免费赠送了一艘宇宙飞船"。

与其他开源项目的协同效应

回顾DeepSeek本周开源的所有项目：

FlashAttention-2的DeepSeek优化版

DeepGEMM（GPU矩阵乘法库）

DualPipe（双向并行计算策略）

EPLB（专家并行负载均衡器）

3FS（高性能分布式文件系统）和Smallpond

我们可以看到这是一整套从底层到上层的优化工具链。这些工具组合使用时，效果将远大于单独使用的总和。例如，DualPipe优化计算和通信重叠，3FS加速数据读取，两者结合可以进一步提升训练效率。

写在最后

DeepSeek开源周的连续技术发布，让我对中国AI基础技术的自主创新能力有了更深的信心。从计算优化到数据处理，DeepSeek展示了全栈技术实力，也为整个行业提供了宝贵的开源资源。

作为一个亲历中国AI发展的内容创作者，我能感受到这些技术创新背后的激情和雄心。正如DeepSeek的口号"用好奇心解开AGI的奥秘，用长期主义回答本质问题"所表达的那样，真正的技术突破需要持之以恒的探索和务实的工程能力。

你们对DeepSeek这一周的开源项目有什么看法？哪一个技术在你看来最具潜力？欢迎在评论区留言讨论！

开源链接：

3FS: https://github.com/deepseek-ai/3FS

Smallpond: https://github.com/deepseek-ai/smallpond

我是易安，一位专注AI技术研究的AI超级个体。每天为大家带来前沿AI工具评测和实践经验，用通俗易懂的方式解读复杂的技术概念，👇长按扫码关注，一起探索AI技术的无限可能！