XSKY 大数据解决方案

高性能 Hadoop 客户端,使能存算分离

方案概述

Hadoop 是数据湖最常用的解决方案,但是,HDFS 存在扩展性不够,容量无法独立扩展,缺乏企业存储特性,难于维护和成本高昂的问题。 存算分离可以有效解决这些问题。原生的 Hadoop 中包含 S3A 连接器,允许 Hadoop 集群连接到任何与 S3 兼容的对象存储。 虽然 S3A 可以实现存算分离,但是存在性能不佳,部署复杂,不支持追加写等问题。
为了解决 S3A 的问题,XSKY 开发了 XSKY HDFS Client —— XSKY 对象存储集群和 Hadoop 计算集群量身打造的连接器。 通过 XSKY HDFS Client(简称“XHC”),不仅实现了容量独立扩展,高性能,支持追加写等好处,而且可以充分利用 XSKY 对象 存储丰富的企业特性,特别是灾备和运维方面的专业优势,构造企业稳固的数据湖底座。

方案优势

存算分离部署

  • 无缝对接 Hadoop 大数据平台,实现存储和计算独立扩展。

丰富的灾备特性

  • EC(纠删码)、双活、多站点、数据分层等多种企业级数据保护特性,帮助大数据平台数据持久保存。

丰富的运维特性

  • 便捷的运维特性(硬盘和网络亚健康检测、整池扩容、Recovery QoS、图形化界面等)帮助用户有效降低运维成本。

客户收益

高扩展

高扩展

存算分离支持容量和计算独立按需扩展,并且没有 HDFS 的扩展限制。

高性能

高性能

高性能客户端支持 Impala、Spark、Hive 等主流大数据应用,并且性能媲美 HDFS。

低 TCO

低 TCO

丰富的企业存储特性,TCO 更低,数据更可靠性,运维更简单。

客户实践