全面解读 KV Cache 扩展加速技术与落地实践 | MeshFusion 产品白皮书

由 XSKY星辰天合 发布于2026-10-29


产品定位

MeshFusion 是面向 AI 推理的 KV Cache 扩展加速系统,主要解决 AI 推理的“内存墙”问题。基于端到端 RDMA 技术,把多个节点上的 DRAM 和 NVMe SSD 组织成大容量、高性能的 KV Cache 存储池,结合自研的 KV Cache 感知路由与管理引擎,把 KV Cache 从稀缺的 GPU 显存扩展至 PB 级存储,有效提升推理效率。

核心功能

  • 原生 KV Cache Chunk 接口,用户态零拷贝 I/O,减少协议转换和内存拷贝;

  • 本地优先读写,同时支持跨节点共享,兼顾低延迟和集群级调度;

  • 全局空间智能分配,Append-only 顺序写、Chunk 级 TRIM,主动保护 SSD 寿命;

  • FlexPath 智能网络引擎,支持 RoCE、InfiniBand,多路径聚合,RDMA 优先、异常回退 TCP;

  • 兼容与性能,支持主流算力卡和 DPU/JBOF 环境,是国内首个实现 NVIDIA CMX 架构的 KV Cache 存储系统。第三方测试中,TPS 最高提升 57 倍,TTFT 降低 98%,QPM 提升 6 倍,读带宽达到集群理论带宽的 90.6%。

适用场景

AI Coding、企业知识库问答、复杂 Agent 工作流、MaaS/Token 工厂。

完整功能、部署方式和测试数据,见《MeshFusion 白皮书》


来源:
立即下载《全面解读 KV Cache 扩展加速技术与落地实践 | MeshFusion 产品白皮书》
数据常青,智领未来
即刻申请,获 30 天免费使用
在线咨询
快速响应您的问题
工作日: 9:00 ~ 18:00
官方微信