由 XSKY星辰天合 发布于2026-11-06
10 月 27 日晚，GPUStack x XSKY 星辰天合联合线上 Meetup 成功举办。直播累计观看超千人次，吸引了许多关注 GPU 算力管理与 AI 推理加速的朋友参与，在线热烈讨论。
在本次活动中，GPUStack 的工程师们就 GPUStack 2.3 版本的新功能进行了全面的解读。XSKY 产品同学则详细介绍了 MeshFusion 与 GPUStack 的联合方案，并进行了实操演示。
通过 XSKY MeshFusion 与 GPUStack 的深度集成，XSKY 为 GPUStack 用户们提供了 KV Cache 共享存储的企业级选择，助力突破 AI 推理瓶颈、提升 Token 工厂生产力。
MeshFusion与 GPUStack联合方案架构
图 1｜GPUStack 负责模型服务与集群调度，MeshFusion 为多节点提供共享 KV Cache 存储
在大模型走向长上下文、多轮对话及复杂 Agent 工作流时，推理系统面临显著瓶颈：同一段上下文被反复计算，GPU 显存无法承载日益增长的 KV Cache。这直接导致首 Token 响应变慢（TTFT 变高）、Token 产出率下降（TPS 降低），且高并发下 GPU 资源易被长上下文请求占满。
XSKY MeshFusion 与 GPUStack 的联合方案，正是为了解决这件事：让已经计算过的上下文可以被复用，让 KV Cache 从单卡显存扩展到跨节点的共享存储池，在继续使用 GPUStack 的同时，为用户带来三大核心收益：
更快推理响应： 复用已处理的上下文，减少重复 Prefill，大幅提升 TTFT。
更大缓存空间： 利用 DRAM、NVMe SSD 构建 PB 级 KV Cache 共享存储。
无缝平滑升级： 在模型部署中启用 MeshFusion 缓存服务，不改变现有入口，继续使用 GPUStack。
GPUStack 与 MeshFusion 如何协同？
GPUStack 是轻量级的开源 GPU 集群管理与大语言模型服务平台，支持 vLLM、SGLang 等多种推理引擎，并可对异构算力进行统一调度和管理。它适合承载企业 AI 平台、模型服务平台和 Token 工厂。
MeshFusion 是 XSKY 的推理加速系统。它基于 RDMA 网络，将多个 GPU 节点上的 DRAM 与 NVMe SSD 组织成大容量、高性能的 KV Cache 存储池，再通过 KV Cache 管理引擎完成缓存的卸载、保存与复用。
两者组合后的数据路径可以简单理解为：
1.用户请求通过 API Gateway 进入 GPUStack。
2.GPUStack 将请求调度到合适的 GPU 节点，并由 vLLM、SGLang 等引擎执行推理。
3.需要长期保留或跨节点复用的 KV Cache，经由 MeshFusion 从 GPU 显存卸载到共享缓存池。
4.后续请求命中缓存后，直接复用已经处理的上下文，减少重复 Prefill。
这套方式把 GPU 显存用于更需要它的计算，把 DRAM 和 NVMe SSD 组成的共享存储用于承载更大规模的 KV Cache。对于已有 GPUStack 的团队，只需要在模型部署中启用 MeshFusion 缓存服务，原有服务入口和使用方式可以继续保留。
GPUStack 2.3 实操演示，三步启用 MeshFusion
如果你已经在使用 GPUStack，启用联合方案不需要更换现有模型服务入口。只需要联系我们进行 MeshFusion 存储部署后，然后在 GPUStack 控制台按下面四步操作。
第一步：创建缓存服务并选择 MeshFusion
登录 GPUStack 2.3，在左侧导航进入 缓存加速 模块。点击“创建缓存服务”，在服务提供方中选择 XSKY MeshFusion 企业级 KV Cache 共享缓存服务，按界面提示填写MeshFusion 服务信息并保存。
图 2｜创建缓存服务时，选择 XSKY MeshFusion
第二步：部署模型并关联服务实例
进入模型部署或编辑页面，在缓存相关配置中启用缓存加速，并选择刚刚创建的 MeshFusion 服务实例，例如 akv-cache (XSKY MeshFusion)。保存后，模型服务就具备使用共享 KV Cache 的条件。
图 3｜在模型部署配置中关联 MeshFusion 服务实例
第三步：用基准测试对比加速效果
在 GPUStack 的基准测试或业务压测环节，使用同一模型、同一组提示词、同一上下文长度和并发配置，分别记录启用缓存前后的指标。建议至少关注：
TTFT：首 Token 响应是否下降；
TPS：持续生成阶段的 Token 产出是否提升；
QPM：单位时间完成的请求数是否增加；
缓存命中率：重复上下文是否被有效复用。
图 4｜在基准测试中，使用相同的测试配置对比启用 MeshFusion 前后的推理性能
上图展示了一类长上下文推理场景，模型实例启用 MeshFusion 前后的性能对比。基准测试按照 10k 输入、128 输出、90% 可复用前缀进行设计。可以看出 MeshFusion 带来的推理加速表现：
开启 MeshFusion 的首次测试 vs 未开启的模型：TTFT 降低了 32.6%（4.53s -> 3.05s）、TPS 提升了 3.09 倍（8784.31 tok/s -> 27223.79 tok/s）
开启 MeshFusion 的再次测试 vs 未开启的模型：TTFT 降低了 66.2%（4.53s -> 1.53s）、TPS 提升了 4.92 倍（8784.31 tok/s -> 43289.67 tok/s）
需要注意开启 MeshFusion 的再次测试（in10kout128_new_instance）中使用的是新的模型实例，从基准测试的结果中可以看出已保存至 MeshFusion 的 KV Cache 数据并没有因为跨实例而失效，反而因为不需要重新预热而带来更高的性能提升，这也是「共享」KV Cache 的价值。
从一次集成，到可持续的推理优化
对 GPUStack 用户而言，MeshFusion 的价值可以从一次体验开始：先选择一个上下文复用明显的模型和业务，完成缓存服务接入；再用固定的基准测试比较启用前后的 TTFT、TPS、QPM 和命中率；最后根据真实流量和缓存空间需求，规划更多节点和更大规模的共享缓存池。
当 AI Coding、知识库问答和 Agent 应用逐渐成为企业日常生产工具，推理系统需要同时面对更长上下文、更高并发和更严格的响应要求。GPUStack 提供统一的模型服务与算力管理，MeshFusion 提供可共享、可扩展的 KV Cache 加速，两者结合，可以把已有 GPU 资源转化为更稳定、更高效的 Token 生产能力。
注：具体实施效果与模型、硬件、网络、上下文长度、并发量和缓存命中率有关。
如果您的团队已经在使用 GPUStack，欢迎联系部署 MeshFusion 存储系统，体验 XSKY MeshFusion 与 GPUStack 联合方案带来的推理加速效果。
方案咨询：400-016-6101｜sales@xsky.com
售后支持：400-606-0072｜support@xsky.com
