如果空间数据+是一场化学反应,SDS也许是最好的催化剂

2018年09月 · XSKY

“寻龙分金看缠山,一重缠是一重关,关门如有八重险,不出阴阳八卦形。”在《鬼吹灯》小说以及依据该小说改编的电影《寻龙诀》中,主人公胡八一是一名“摸金校尉”,他在找寻目标的时候,经常默念到这些口诀。从某种意义上来说,“摸金校尉”的口诀就包含了对星宿排列与山川河流等空间数据的认知和利用。

图片来源网络

我们身处的世界,其中80%的数据都与空间有关。空间数据与业务场景的叠加(空间数据+),催生了各个行业的化学反应,更智能化的出行,更精准的商业选址,更精确的灾难救援……一切成为可能。

与此同时,海量、多源、异构的空间大数据也在源源不断地生成中。从数据采集,数据生产,数据管理,数据发布到应用服务,空间大数据业务对当前的存储系统带来了巨大挑战。

9月18-19日,2018年第十六届Esri中国用户大会在北京举办,作为Esri的战略合作伙伴,XSKY面向空间大数据对存储系统的挑战,向与会者展示了先进的软件定义存储解决方案(SDS)。

Esri中国用户大会

XSKY蔡志敏分享GIS大数据统一存储平台技术实践

在该方案下,通过支持SCSI、iSCSI、FC、S3、NFS、SMB、FTP等多种协议,以及支持广泛的虚拟化平台和数据库应用,提供高性能、高可用性、高扩展能力,可基于一套SDS数据平台承接包括影像处理、BIM、三维模型、AI分析等所有空间大数据业务,满足用户结构化、半结构化、非结构化所有数据类型的存储与管理需求。该方案具有以下特点:

海量数据全生命周期管理

  • 分布式统一存储平台,按需扩容实现海量影像数据存储管理;
  • 小文件归并特性解决海量小文件管理难题;
  • 多副本、纠删码、快照、同步异步复制、云归档备份等功能实现完备数据保护策略;
  • 全业务数据接口,实现影像数据全业务应用支持。

海量数据管理与应用

  • 支持对象标签,弹性搜索实现数据快速查找;
  • 多虚拟化支持,提升GIStack的适用场景;
  • 提供GIStack所需的全类型对象存储接口;
  • 支持原生S3,提供更大的空间和更高效的检索性能;
  • 提供Restful API,GIStack可高效监控底层存储资源;
  • 全图形化界面提升用户的管理效率;
  • 存储热/冷池实现海量数据下更优的存储性能的配比;
  • 多路径提供更高效、更稳定的带宽输出。

存储平台向数据平台升级

  • 提供数据库以及HDFS接口支撑非结构化数据的大数据分析场景;
  • 支持HIVE ,支持半结构化数据场景;
  • 通过S3a支持最新的Spark分析框架,支撑海量非结构化数据场景,实现数据应用的未来就绪;
  • S3对象存储实现真正的海量数据管理长期保存,大幅提升大数据分析的样本有效性。

随业务变化的按需扩展

  • 分布式架构提供更高的业务延续性,最大限度的降低因为存储调度造成大数据分析中断 ;
  • 按需扩展,提供与计算集群动态适配的存储资源;
  • 多路径实现输出最佳性能及可靠性;
  • SSD Cache提供高并发下的存储性能;
  • 便捷运维管理,直观维护应用分析任务与存储池的关联关系。

未来就绪

  • 分布式文件与对象存储实现内部协议转换;
  • 支持对象标签,实现数据更小粒度的管理,为分析提供更高效的分析和查询能力;
  • 按需扩展的对象存储,实现EB级别的空间支持,从而实现AI数据的全生命周期管理;
  • 特有的小文件归并,可大幅提升小文件管理能力 ;
  • 多副本、纠删码、保护域、备份等提供7个9的可靠性;
  • 权限管理、密钥、数据销毁等保障科研成果的安全。

方案实践

目前,XSKY统一数据存储平台X-EDP与Esri公司专业的地理信息服务应用软件ArcGIS实现了无缝打通,经过双方的多次大规模生产数据测试,结果表明,X-EDP可有效支撑Esri ArcGIS系统对存储功能、可靠性、性能的需求。

在国内某直辖市GNSS卫星定位连续运行基准站网系统数据中心建设项目中,XSKY SDS解决方案不仅达到了存储资源的高可用、高可靠性和可扩展性,保证了坐标转换业务的性能需求,并且基于XSKY与Esri双方的紧密技术合作,解决了地图瓦片数据的高效存储问题。