由 XSKY星辰天合 发布于2026-10-29
MeshFS 是专为 AI 定义的高性能全闪存文件系统,专为 AI 大模型训练、推理及大规模数据预处理设计,以 TB/s 级带宽与微秒级低延迟突破存储瓶颈,构建 GPU 算力极速通道。它基于全闪 Shared-Everything 架构和 RDMA,消除单点热点,稳定支撑多节点高并发访问。
核心功能
Shared-Everything 全共享架构:任意节点访问全局数据和元数据,高并发下线性扩展;
FlexPath 智能网络引擎:多路径聚合、协议自适应,毫秒级故障切换;
MDShard 分布式元数据分片:针对海量小文件优化,亿级文件秒级检索,百万级 OPS;
大块 IO 直读与 EC 直写:缩短数据路径,小 IO 场景性能不受影响;
海量小文件归并:单目录亿级目录项,集群支撑千亿级小文件;
智能降本:EC、压缩、重删,冷数据自动下沉对象存储,以 20% 热数据成本享受 100% 全闪性能。
性能与生态:支持 POSIX、S3、NFS、SMB,一份数据在清洗、训练、归档中零拷贝流动。深度适配 K8s CSI,支持 PyTorch、TensorFlow,现有代码无需修改即可接入。
适用场景
大模型训练、Checkpoint、数据预处理,以及自动驾驶、具身智能、生命科学、私募量化等高吞吐、高并发场景。
完整架构、性能数据和行业实践,见《MeshFS 白皮书》。