从传统SAN到统一SDS平台,XSKY星辰天合助力圆通速递数字化转型

2021年07月 · XSKY

XSKY星辰天合7月发布新品 助力圆通等上千家机构数字化转型


一家速递公司平均每天处理快递数量超过3000万件,那么由此产生的海量数据,到底该如何实现有效存储?全国31个省市自治区的7万多个服务网点,不同地点同步产生的数据又该如何实现存储,高效实现数字化运营?


44台存储节点实现2.64 PB裸容量,这是国内数据存储领先企业XSKY星辰天合给国家5A级物流企业圆通速递的解决方案。


日前,针对圆通速递业务发展迅速面临的海量数据存储问题,XSKY通过分布式块、文件、对象的统一存储方式,以多样化、高性能和高安全稳定的存储服务,助力圆通速递实现存储架构转型,支撑其业务实现全面数字化转型。

  

现有存储架构三大局限

 

截至202012月,作为一家集快递物流、科技、航空、金融、商贸等为一体的综合物流服务运营商和供应链集成商,圆通速递全网拥有分公司4600多家,服务网点和终端门店7万多个,各类转运中心133个,员工45万余人,快递服务网络覆盖全国31个省、自治区和直辖市,县级以上城市已基本实现全覆盖。
与此同时,2020年全年圆通速递业务完成了达到126.48亿件。

 

1.png


每天产生着海量的数据,支撑着快递业务高速运转,但现有的存储架构,已无法满足不断快速增长的业务及随之产生的海量数据。制约主要体现在以下三个层面:


扩展性差,无法满足业务需求。


现有SAN存储提供VMware虚拟化平台,60~70台宿主机。多达2000多台虚拟机,虚拟化平台主要承载着圆通速递前端业务系统、数据库、中间件等应用。由于SAN存储的性能、扩展性由机头决定,无法弹性扩容,无法快速响应业务系统对数据存储的需求。

 

无法满足对海量非结构化数据的有效访问。


现有传统 NAS 承载企业文件共享、MySQL数据备份等业务,文件、图片、音频数据多达5000万量级。并且部分目录文件数量达到几十万甚至上百万,一次ls需要花费5~6min时间。随着物流信息化发展,未来将有更大量的图片、音频等信息需要存入,预计每天会产生上百万的数据量,整体数据量会达到上亿级别。


安全性低。


现有架构存在单点故障风险,仅靠存储自身RAID保障数据安全,安全性较低。并且无法随着业务扩展,无法同时满足多种业务系统对数据存储的要求,无法快速在线扩展性能和容量。


为此,圆通速递与XSKY星辰天合展开深度合作,致力实现数据存储架构转型。

 

五大亮点,助力数据存储架构转型

 

针对上述圆通速递在数据存储架构面临的几大难点,XSKY星辰天合为其量身定做了一套新的数据存储方案,助力圆通速递实现架构转型。

 

具体而言,底层通过分布式存储架构保障性能,且由平台自身提供数据冗余机制,保障数据安全不丢失。此外,在后续业务扩大时,在线增加存储节点即可满足容量扩容、提升存储集群性能的需求,无需停止前端业务,由此保障业务连续性。未来随着业务发展,多种不同的应用系统上线,还可快速响应各种业务对存储数据的要求。

 

由于非结构化数据的增长最难预测,因此,XSKY的下一代文件系统XGFS成为本次存储架构的首选平台。

 

2.png 

XGFSXSKY Global File System)是 XSKY 提供的新一代分布式文件存储系统:

统一命名空间支持百PB容量

统一命名空间支持百亿文件数

标准文件协议客户端和私有客户端均访问统一命名空间

高级存储功能均可按需在任意目录上设置


1.jpg.png

 

元数据集群支持基于统一命名空间的元数据读写操作,支持完整的权限、ACLXattr等文件属性。元数据集群支持强一致性的复制保护机制,支持自动故障切换,增量恢复与全量恢复。元数据服务基于NVMe/SCM 高速介质,通过高性能KV数据库和独有专利的键值设计,实现高性能低延迟的文件元数据访问。元数据服务使用WAL日志保护机制,支持针对元数据盘的亚健康检查与隔离。


2.png

XGFS创新的分布式网关集群,支持高可用的DNS 存储域名解析服务,存储域名可按需绑定不同的负载均衡策略;同时支持配置多个VIP组成VIP 池,支持配置VIP 网关,并且任意VIP 支持自动故障切换。网关集群支持丰富的访问协议:SMB/CIFS NFSFTPPOSIX/FUSECSIHDFS,支持多协议同时访问同一文件目录,支持任意层级目录设置共享。支持完善的用户认证体系:本地、ADLDAP,支持完善的权限管理:RWXACL。集群中所有网关均可并发读写统一命名空间,性能随着网关扩展而线性提升。网关支持以RoCE 高速网络协议访问元数据和数据池。


3.png

 

XSpeed 数据池给XGFS 中的文件访问带来极致的性能体验,所有文件数据IO 写到XSpeed 缓存层即返回。XSpeed 小文件后台合并和数据压缩功能,大幅提升XGFS 系统可承载的数据总量,轻松突破百PB 容量和百亿文件数。XSpeed 丰富完善的企业级功能:快照、恢复QoS、阈值管理,大大降低存储管理员的运维投入。


也正是基于XGFS的优势,XSKY根据圆通速递的需求,首期规划共44台存储节点,利旧X86服务器,整体约2.64PB裸容量,数据冗余安全采用三副本保护策略。

 

集群规划方面,则分别在生产网部署30台存储节点,测试网14台存储节点,两个集群提供相同存储服务,块接口用于VMware虚拟化平台,提供虚拟机存储访问,分布式文件接口用于数据库备份、图片、音频等非结构数据存储需求。


3.png

  

XSKY数据存储架构得到了圆通速递的高度认可。在圆通速递看来,XSKY提供的数据存储架构解决方案,高效支撑了快递业的数字化转型升级,存储架构本身的亮点也十分突出:


成本可控。


采用Scale-out架构,可实现在线扩容,按需建设,且在扩容节点数量的同时,不仅提高使用空间,还提升存储集群性能。


软硬解耦


新的存储架构不绑定硬件,兼容多种主流通用服务器,甚至可以利旧老服务器,相比专用存储,成本可控,运维更简便。


高性能


即支持存储百亿级别的文件数量,经过严格的测试,满足单目录100w文件2minlist性能,1亿小文件340M/S吞吐的存储需求。


安全性


由副本、EC、故障域等多种安全机制保障平台数据安全。


业务扩展性


未来随着业务系统扩增,不同业务系统对接存储数据的要求,存储平台可提供分布式块、文件、对象的统一存储方式,提供多样化、高性能和高安全稳定的存储服务。


4.png


助力上千家政企机构数字化转型升级

 

XSKY星辰天合利用自己在分布式软件定义存储方面的创新成果,助力圆通速递加速企业数字化转型,已成物流业加速数字化转型升级的典型案例。

 

当前,数字化转型给物流行业带来巨大变革,智慧化、数字化智慧物流体系成为发展趋势,无人仓在其中扮演重要角色。智能物流的基础就是数据,而传统的存储架构,无法满足现代物流业对数据的汇、存、管、用的需求,存储架构的转型首当其冲。

 

作为中国软件定义存储市场Top5唯一一家专业的软件厂商,XSKY星辰天合正在利用自身的技术优势和存储解决方案,帮助政务、金融、电信、广电、交通、公用、医疗、教育、物流等行业的上千家大中型政企客户,进行关键生产系统存储云化改造和数字化转型升级。