最佳实践」北斗定位,数据护航,精准指引方向

2018年08月 · XSKY

老师问同学们长大了想做什么

小明说长大了想当船长,横渡五大洋

小刚说想做飞行员,翱翔蓝天

小红说想做一名气象预报员,

这样就可以知道什么时候下雨刮风

……

即便是人说中年不如狗

但梦想还是要有的,万一实现了呢

所以,喜欢就去做,有梦就去追

逐梦旅程中,来或去路

GNSS始终为你指引

「GNSS与应用」

GNSS全称是全球导航卫星系统(Global Navigation Satellite System),它是泛指所有的卫星导航系统,包括美国的GPS、俄罗斯的Glonass、欧洲的Galileo、中国的北斗卫星导航系统,以及相关的增强系统。

GNSS连续运行基准站网,则是由若干连续运行基准站、数据中心、数据通信网络组成。具备长期连续跟踪观测和记录卫星信号的能力,并通过数据通讯网络定时或实时将观测数据传输到数据中心。

除了人们生活经常用到的地图导航服务,GNSS以及GNSS连续运行基准站网在航海、航空、气象预报、农业、工程建设测量等诸多领域发挥着巨大作用。

例如,利用GNSS无线电信号穿越大气圈时受到电离层与对流层的弥散效应和出现的折射现象,进行数值分析,特别是可以精确的提取大气层中的水分含量和分布,从而对可能出现的降水时间和强度作出精确预报;

在可能发生地震、滑坡的地区,可以利用GNSS参考站来监测地壳运动;GNSS还是海上获取导航、定位、搜救应急等领域的重要手段……

图片来源网络

欧洲伽利略管理局发布的2017年《GNSS市场报告》显示,全世界GNSS设备的安装数量预期会从2017年的58亿台飙升至2020年的约80亿台,预估地球上平均每人拥有超过一台GNSS设备。

「数据存储需求分析」

2017年,国内某直辖市GNSS卫星定位连续运行基准站网系统数据中心建设项目,作为“该地区现代测绘基准升级改造工程”的主要内容之一,其主要目标是建设完成数据中心并为当地提供更加稳定、可靠的RTK服务(GPS测量)、基准服务、成果转换服务并具备良好的扩展性,同时兼顾信息安全,以更加优越的性能服务于当地测绘基准的维持以及城市建设。

接入数据源

本次项目中,需要考虑接入的数据源来自于三个方面:

  • 其他相关单位(如气象局)的共享数据;
  • 基准站从卫星端实时或定时接收到的数据,包括坐标、观测值、时间等结构化数据。目前该直辖市所有基准站一年能够产生的数据将近10TB,并且根据上级单位要求所有的基站数据需要保存5年以上;
  • 互联网IGS数据,来自互联网第三方服务商的卫星导航定位数据。

坐标转换数据

早在2008年,国家测绘局已经宣布自2008年7月1日起,中国正式启用2000国家大地坐标系, 并将我国全面启用新坐标系的过渡期定为8~10年。原有基础地理信息4D数据, 采用的坐标框架包括1954北京坐标系、1980西安坐标系, 以及各个地方坐标系,需要将原有成果进行坐标转换到CGCS2000。

为此,本项目中考虑设计了基于FME等平台进行坐标转换。除了新增的从基准站接收的数据需要转换外,目前每年项目方还需要转化4D数据包含DOM、DEM、DRG和DLG四种类型,预计5年内数据转换业务系统会产生50TB的数据量。

瓦片数据

地图瓦片数据处理与发布是基于ArcGIS平台以及内嵌的ENVI影像处理模块,对地图数据实现分级处理以及后期的发布服务,按照固定的若干个比例尺(瓦片级别)和指定图片尺寸,切成若干行、列的正方形图片,并以指定的格式保存为图片文件。

切片之后的数据称为瓦片,这些数据可以让用户对地图数据实现快速浏览。瓦片数据动辄上千万个文件,并且文件很小,导致存储碎片化严重;同时,多用户并发实时访问也对底层存储I/O提出了更高的要求。本项目中的瓦片数据预计将保持在TB量级。

互联网地图影像瓦片金字塔示意

「一个平台解决所有数据需求」

为了最大限度提升IT敏捷性,承载项目中各个业务系统日益增长的数据存储需求,并达到存储资源的高可用、高可靠性和可扩展性,当地的测绘院经过周密调研和实际测试对比,最终在项目中决定采用XSKY软件定义存储(SDS)解决方案。其中,主存储采用X-EDP统一数据平台,备份系统基于X-EOS对象存储构建。

存储资源池逻辑架构图

安全存储

基准站的单个文件和总体数据量虽然都不大,但是这部分数据关系重大,并且由于系统需要长期监测运行,文件个数多。为了保证数据存储的安全,存储资源池整体采用双副本+故障域的数据保护方式,每故障域部署于一个独立的机柜中。双副本的方式保障数据的可靠性,双故障域则可避免因某一机柜故障(如机柜完全掉电)导致数据的不可用。作为备份的X-EOS对象存储,还通过配置8+2 EC校验码,在保证备份数据安全同时,还极大提高磁盘空间的利用率,降低数据备份成本。

QoS为坐标转换“保驾护航”

从地方或其他坐标转换到国家CGCS2000,时间紧,任务重,在这个过程中,还需要同步保证其他业务的正常运行。基于XSKY的在线卷QoS功能,可对相应卷进行设置,根据业务需求智能控制数据传输速率,不仅能够保证坐标转换业务的突发性能需求,同时也为其他业务的正常开展提供了最基本性能需求。

瓦片数据不再是问题

随着基准站原始数据成果进入应用阶段,不仅需要底层存储与ArcGIS等专业的地理信息服务应用软件实现无缝打通,还面临着如何高效处理海量的瓦片数据与影像数据的问题。为此,XSKY X-EDP与Esri(易智瑞公司)公司ArcGIS系统联合进行了互通测试,测试结果表明,互通测试项全部通过,X-EDP可有效支撑Esri ArcGIS系统对存储性能的需求。

而针对瓦片数据的海量小文件问题,X-EOS的海量小文件功能,支持单存储池超过1000亿的文件对象数量,并实现了小文件合并处理与压缩,极大减少了海量文件元数据对文件系统索引体系带来的压力,还大幅提高了存储空间使用率。

客户收益

  • 将多台双路服务器组成统一的存储资源池,实现一套存储平台,满足结构化、半结构化、非结构化所有数据存储需求;
  • 副本、EC纠删码、故障域等多层级数据保护,保障数据高可用;
  • 卷QoS功能帮助用户在使用存储资源时,有效实现资源隔离,为坐标转换等关键业务提供突发性能同时,还为其他业务正常运行保障基本性能;
  • 海量小文件,支撑瓦片数据高效存储;
  • 全图形化可视化界面,运维更便捷;
  • 支持广泛的虚拟化平台和数据库应用,为FME、ArcGIS、ENVI等第三方不同应用软件提供支撑;
  • 线性扩展,满足未来业务系统不断扩容对存储I/O等性能更高的要求。

未来,随着地理信息数据服务在各行业的深入应用,GNSS卫星定位连续运行基准站网的成果将真正“飞入寻常百姓家”。软件定义存储解决方案将持续满足用户的业务扩张需求,并为后期地理影像大数据、数据湖的落地奠定坚实基础。