新一代分布式文件系统XGFS揭秘——多协议客户端XClient

2020年11月 · XSKY

随着5G、AI、云多种技术的快速普及，全行业的数字化转型正在火热进行中。数据作为一种新的资产越来越被重视，数据量也在飞速增长，XSKY XGFS新一代分布式文件系统不仅容量大、而且性能好，其中有一个核心的组件发挥了关键的作用，这就是面向各行业中不同场景，高适应性的多协议客户端XClient。

首先，我们先介绍XGFS的XClient。

XGFS的秘密武器：XClient

多样性的场景和需求，XGFS都可以通过XClient来满足。XClient是XGFS区别于业界分布式文件的主要特征之一。

微信图片_20201106195309.png

XClient对上，承载多场景多协议的非结构化访问需求：

  • 完全自研的用户态文件客户端XClient，支持在X86/ARM多体系架构、Linux/Windows 多操作系统、容器/虚拟机/物理机多环境中部署使用，满足更多非结构化场景中的文件存储需求。

  • XClient既提供Libxmds动态库支持完备的类文件语义直接供HPC MPI应用程度调用，又可与XSKY Hadoop Connector、XSKY CSI Driver组合使用。

  • XSKY统一运维管理界面中还针对网关节点、文件系统等资源提供了丰富的性能、状态监控：文件数/容量使用情况、完善的性能数据（各类细分OPS、延迟、带宽、IO 大小）、共享个数等。

微信图片_20201106195315.png

XClient对下，连接元数据集群和多个数据资源池：

  • XClient创新使用高性能网络模块来原生支持RDMA等高速网络，通过网络模块与IO栈的深度结合，既避免了不必要的线程上下文切换，又减少了入队出队的损耗，实现了元数据的快速通路，让IO延迟响应进入亚毫秒级别。

  • XGFS通过XClient来实现丰富的存储策略：动态整池扩容、多活动池、同时支持副本和EC数据池等功能；XClient还可按需配置各类别的文件访问日志审计，记录完整的文件创建、修改、删除等操作，并可使用日志审计功能对接常见的审计计费、日志分析工具，实现对数据访问的计费、分析和掌控。

  • XClient还支持自适应的垃圾回收，让应用从容应对多业务共存、海量文件删除等细分场景；XClient实现了完善的网络容错机制，高效准确地判断出本节点网络异常并执行自动流量切换。

下面对各种需求和场景展开分析，看XClient是如何解决的。

数据生产环节中的多类型文件协议需求

在应用和操作系统的发展历程中，对于文件类型的海量数据，逐渐形成了如下的NAS访问协议标准：

微信图片_20201106195638.png

XGFS XClient不仅支持SMB/CIFS、NFS、FTP三类文件访问协议，而且支持完善的用户认证方式，还具备多协议共享、子目录共享等功能。

微信图片_20201106195644.png

大数据生态快速演进：计算云化，存算分离

随着生产数据的快速增长与积累，越来越多的企业和机构使用Hadoop作为海量数据分析和清洗的解决方案，企业内逐步形成了如下的Hadoop部署架构，这样的架构带来了资源利用率低、分析效率低、数据孤岛等问题。

微信图片_20201106195745.png

XGFS XClient支持完备的HDFS协议，不仅支持全新部署的存算分离架构：Hadoop + XGFS ，还可与已有HDFS共存部署：Hadoop + （HDFS/XGFS）。

XSKY块存储也可作为Hadoop各类组件：Spark、Flink、Impala云化部署（虚拟化或容器）时的存储底座。

微信图片_20201106195751.png

HPC与AI分析的融合

XGFS XClient可以支持标准文件协议和10Gb/25Gb/50Gb/100Gb高速网络，以满足HPC和AI 场景需求。

XGFS还能支持Linux私有客户端以大幅降低文件协议开销，支持RDMA 100Gb网络互联，从而应对更高要求的分布式AI 训练、自动驾驶、基因测序、GIS大数据等场景。

微信图片_20201106195756.png

构建云原生计算平台

XGFS XClient使用标准的CSI 接口对接各主要的容器平台：Openshift、Rancher等，XGFS不仅为各类有状态服务带来极致的IO 性能，而且面向海量应用场景实现了管理流水线优化：1分钟内可完成100 pod 创建。

微信图片_20201106195801.png

最后，我们来总结一下XClient的优势。

多协议客户端XClient 的优势与价值

XSKY的XClient具有众多的优势：

1、完善的多协议支持：SMB/NFS/FTP/POSIX/CSI/HDFS，满足不同应用的存储需求。

2、超高性能和超低延迟：原生支持RDMA 等高速网络，软件栈面向远程调用深度优化。

3、部署灵活：既可以直接部署在主机侧使用POSIX 直联访问，也可以部署在存储侧作为标准文件协议网关。

4、优异的操作系统兼容性：不仅完备支持各发行版CentOS、EulerOS，还支持KylinOS 等国产操作系统。

5、支持HPC 并行文件系统：当XClient 部署在HPC 主机侧时，可以同时和多个存储节点进行并行IO交互。

XClient的独特价值：

XClient是在软件定义存储背景下，针对下一代分布式文件系统新兴的应用需求，面向异构化、高性能介质、大规模化的文件客户端设计并实现，它面向各行业多场景中的海量数据存储需求，一套存储同时满足多类型非结构化数据存储需求，一份数据可通过不同协议提供访问。

IT 领导者可基于XGFS 构建下一代的工作流：

1、海量业务数据的生产与统一存储

2、基于存算分离的Hadoop 平台实现数据清洗

3、使用HPC/AI 融合工具链执行高效的数据分析

微信图片_20201106200119.png