数据洪流下的精准匹配:XSKY EasyData 重塑测绘行业存储范式

由 XSKY星辰天合 发布于2025-05-20


在低空经济、智慧城市等国家战略推动下,地理信息行业正经历爆发式增长:卫星遥感每日产生 TB 级原始影像,无人机航测单日生成千万级小文件,三维建模数据量年增超 200%。

国内某知名测绘企业,成立于 90 年代,拥有多个商业遥感卫星组成的卫星组网。近日,XSKY 以 EasyData 智能数据管理平台为该企业构建了覆盖全业务流程的数据底座。

业务流程全景与数据洪流特征

某地理信息企业的核心业务链涵盖数据采集 → 预处理 → 生产作业 → 数据合并 → 成果归档和服务五大环节,每个阶段对存储的需求呈现显著差异化特征:

1、数据采集阶段

  • 场景描述:通过卫星、无人机等设备获取原始勘测数据并上传至存储。

  • 核心特点:需快速完成数据上传,单个文件大小通常为 GB 级,单次采集量可达 TB 甚至 PB 级。

2、预处理阶段

  • 场景描述:通过数据清洗、格式统一、投影转换、数据融合、数据简化和压缩、数据增强以及一致性检查等手段,提高数据的质量、一致性和适用性。

  • 核心特点:数据需要进行多次处理,预处理中的阶段性结果都要进行保留,因此数据总量会放大 5 - 12 倍。

3、生产作业阶段

  • 场景描述:主要包括数据处理、分析、建模和产品生成等关键任务。

  • 核心特点:将数据读取至工作站本地进行处理,需要支持多达 220 个工作站并行处理,每个工作站读取速率要求 300MB/s。此外,在生产阶段还需要预览预处理后的数据。

4、数据合并阶段

  • 场景描述:计算完成的数据进行合并检查。

  • 核心特点:根据项目可能会有海量小文件的读写,例如瓦片处理等。合并数据会使数据量放大 1 倍。

5、成果归档和交付阶段

  • 场景描述:成果数据质检后,交付给客户。

  • 核心特点:成果数据单独拷贝一份用于质检。根据项目不同,数据按 KB 级,甚至 GB 级切片后在质检,因此质检过程可能涉及海量小文件的读写。

存储需求:对存储能力的全面考验

  • 性能需求:数据采集、预处理和生产作业阶段,要求大文件的并发读写能力,而在数据合并和质检阶段,对海量小文件的读写性能也有较高要求。

  • 扩展性:随着精度的提高和合规要求,在各个业务阶段,都有大量的过程数据和结果数据要保存,要求存储具有敏捷的弹性。

  • 成本控制:数据归档阶段要求存储系统具备合理的成本效益。

  • 安全性:测绘行业受到严格的法规监管,所有的测绘数据都需要长期保存以备追溯和查阅。例如,根据《测绘成果管理条例》,基础测绘成果应当长期保存,以满足国家经济建设、国防建设和社会发展的需要。因此,存储系统必须具备完善的数据归档和管理功能,确保数据的合规性。

XSKY GIS 数据全生命周期解决方案:应对数据洪流的业务精确匹配

XSKY 基于客户业务流程(数据接收 → 预处理和生产 → 成果归档),构建 “国产化分布式存储 + 智能数据管理” 的一体化方案,在一个集群中创建原始数据池、生产数据池、归档数据池精确匹配业务流。

1、原始数据持 --  采集阶段:弹性扩展“汇聚通道”

  • 通过 EasyData 智能数据管理平台实现多源分散数据自动采集汇聚。

  • 纳管存储系统数据,实现全局统一查询。

2、生产数据池 --  预处理/生产作业/数据合并阶段:高性能的 “智能工厂”

  • XSpeed 缓存池 + 小文件聚合归并 + 智能读写缓存,无论是大文件还是小文件,都可以满足数百个工作站的性能需求。

  • 内置解压缩、图片处理、自动标签等服务。

  • 自定义插件接入,处理能力可扩展。

3、归档数据池 --  成果保存/质检/数据发布阶段:低成本的 “数据银行”

  • 采用 EC 技术,相比三副本,得盘率提升 100% 以上。

  • 内置压缩功能,进一步降低成本。

  • 支持 NFS、CIFS、FTP、S3 等多种协议,实现数据快捷发布

方案亮点

  • 弹性存储架构

支撑全业务流程,实现数据的无缝流动和存储的精准匹配。

  • 全协议统一管理

减少数据拷贝,消除数据孤岛,提升数据共享和协作效率。

  • 自定义分级策略

数据全生命周期管理,激活数据价值,实现数据从采集到归档的精细化管控。

  • EC + 压缩技术

大幅降低成本,“0” 性能损耗,提供高效能、低成本的存储解决方案。

  • 全栈支持信创

安全功能丰富,满足合规要求,确保数据安全和业务连续性。

行业实践:50 + 客户验证的 “地理信息存储范式”

在 “低空经济” 建设背景下,地理信息数据的高效管理已成为行业升级的核心引擎。XSKY 通过分布式存储技术,帮助客户构建了 “高性能、低成本、强合规” 的数据基础设施,实现了从数据采集到应用的全生命周期优化。这一方案不仅解决了传统存储的效率与成本难题,更通过软件定义技术为地理信息行业注入智能化动能。


来源:数据洪流下的精准匹配:XSKY EasyData 重塑测绘行业存储范式

在线咨询:
9:00-18:00
快速响应您的问题

方案咨询

400-016-6101

售后支持

400-606-0072

官方微信