Gartner分析认为，在公有云成功的背景下，在本地部署对象存储以满足所有非结构化数据需求已成为一个趋势。其预测到2024年，企业会将存储为文件或对象存储的非结构化数据的数量比2019年增加两倍。
01
在中国，IDC《China SDS Market Overview》显示，到2019年H1，XSKY已经领跑中国对象存储市场九个季度。XSKY XEOS提供了经济实惠、综合全面的对象存储解决方案，用于解决广泛用例中不断增加的非结构化数据存储难题，这些用例包括分析、归档、备份、云存储和内容分发。
为了进一步增强对象存储解决方案的用户体验，满足不同场景下的对象产品的适配、生产交付以及持续稳定的运行，提升客户运维效率，日前，XSKY SDS V4针对对象存储产品模块新增和优化了一系列功能，包括：
系统资源池显示和监控，按资源池设置IO智能过滤阈值，归并对象空间整理策略，S3网关角色分离，HDFS Client支持Output Committers，类文件接口SDK（C++、java），新增硬盘类型-混合盘，多资源池共享OSD。
02
1、系统资源池显示和监控
在‘资源管理’-‘存储池’中，提供对象存储系统资源池tab，列表显示所有的系统资源池信息。此功能将提供系统资源池的性能统计、历史统计信息及系统资源池的相关告警。
2、按资源池设置IO智能过滤阈值
在‘资源管理’-‘存储池’中，提供按资源池设置智能IO过滤阈值，按照阀值定义，小数据块写入高速缓存，大块数据块智能透传直接写入数据盘。
3、归并对象空间整理策略
在删除已经被归并的小文件时，系统根据默认配置的空洞率来选择是否将归并对象添加到归并空间整理列表中。后台的空间整理服务模块，从整理列表中提取数据做空间整理。这类空间整理会消耗系统资源，可能对业务造成影响。
本次提供全局设置归并空间整理执行的时间范围，只有在此范围内，才会执行空间整理。
4、S3网关角色分离
新增S3网关角色分离功能，即可以按照客户环境需求，创建，删除，配置S3网关角色。当前 S3 网关是无状态、对等关系，每个网关都包含了所有的处理逻辑，主要是：
-S3 业务角色负责访问处理逻辑，处理从用户应用发起的各类 S3 API 请求；
-后端服务角色，负责小文件归并服务、对象生命周期服务、多站点数据同步服务、对象垃圾数据回收服务及数据分层服务等多种后台业务功能。
服务功能将占用系统资源，如果按照客户实际环境需求，不需要某些服务，则此功能支持客户自定义S3网关角色，降低系统资源占用。可有效解决业务连续性和资源抢占问题。
5、HDFS Client支持Output Committers
Hadoop MapReduce和Apache Spark从多个任务提交（commit）工作的正常方法是通过重命名输出（output）。每个任务尝试(attempt)都将写入一个私有任务尝试目录。当任务由MapReduce Application Master或Spark Driver授予提交权限时，此任务尝试目录将重命名为作业尝试目录。当作业准备好提交时，所有任务的输出将合并到最终输出目录中，再次通过重命名（rename）文件和目录来实现。
Hadoop的计算需要多次对文件和目录进行重命名。文件系统有原子rename，但对象存储不原生支持更名，需要copy和delete操作代替，这导致严重的性能问题。
本次XSKY HDFS Client研发了文件秒合技术，避免了rename操作，解决了Output Committers操作引起的性能问题。而且，实现方式明显好于社区S3A Output Committers的实现，不需要依赖其它应用（如S3Guard）来保障数据一致性，更加高效简洁。
6、类文件接口SDK
封装最基本的S3 API访问功能，提供符合用户文件访问习惯的类文件接口访问对象存储的SDK开发包，支持最常见的C++、C#、Java语言，可简化基于对象存储的应用开发。
7、新增硬盘类型-混合盘
SDS中，作为索引池的每个OSD对应一个RocksDB，用来管理存放元数据。由于之前支持SSD盘做索引池。因此典型的3节点，每节点2块SSD配置中，只支持6个RocksDB。在海量小文件场景，将带来性能挑战。
本次对象存储新增特性，增加了一种硬盘类型-支持混合盘（SSD+HDD），按照上面的典型配置，可以创建30个RocksDB。此功能将大幅提升元数据处理性能，并且让单桶支持的对象数量提升10倍。
8、多资源池共享OSD功能
此功能可以使用同一组OSD创建最多3个资源池，资源池的类型可以不同，它们共享分配使用OSD的存储空间。且同一组OSD创建的资源池，支持采用不同的数据安全策略，副本或者EC。
对于用户来说，此功能既支持混合盘，又支持SSD，HDD等多种硬盘类型。配置灵活，大幅提升元数据处理性能，最大限度利用资源，节省用户成本；还可以利用全HDD盘做索引和数据池，更好的支持监控场景。