XSKY推出OCPF开放内容处理框架,首期支持图片处理

2020年12月 · XSKY

微信图片_20210108171307.png

随着对象存储的推广与应用,各大行业的存储选型采购以及更新已逐步将传统NAS存储替换为对象存储,对象存储已成为当今企业内非结构化数据存储的最佳选型。对象存储对海量非结构化数据的存储能力已经被广泛应用与验证,如今客户的数据已经不是简单的存储,而是需要进一步处理,而且对业务的敏捷性要求越来越高,另外一个诉求是如何简化业务处理流程,减少业务端的交互逻辑,提高业务处理效率,帮助客户实现更大价值。

XSKY 为适应客户更好使用存储数据,构建了新的开放内容处理框架OCPF(Open Content Processing Framework),同时支持在线数据处理和离线批量数据处理,适应业务不同需求,打通用户业务处理全流程。在线处理主要适用于一次性、快速响应等场景。通过离线处理服务实现业务和存储端的交互联动,存储端可以直接接收业务端各种各样的数据处理任务,统一由任务中心调度和管理,驱动执行不同的数据处理。

微信图片_20210108171316.png

微信图片_20210108171330.png

XSKY的OCPF开放内容处理框架,有如下特点:

1、智能存储,开放生态

XSKY开放内容处理框架OCPF支持灵活扩展各种数据处理组件,应用和存储端交互联动,存储智能化。

2、简化业务架构,提高硬件资源利用率

数据处理服务在存储系统内运行并处理操作,不需要单独的数据处理系统,简化业务架构及数据处理流程,提高硬件资源利用率的同时提高业务处理效率。

3、释放网络带宽压力,提高用户体验

XSKY 在线数据处理服务省去了数据处理过程中的原始数据来回拷贝流程,释放网络带宽,提升业务响应效率及用户体验。

4、更高的并发负载和服务可用性

XSKY OCPF数据处理服务相比独立地部署单台数据处理服务器,可以更好的支持大并发负载,同时可以满足服务高可用,避免单点故障。

5、灵活高可扩展

XSKY数据处理服务和存储网关是解耦合关系,可以根据前端业务的访问需求和数据处理需求灵活扩展存储网关服务和数据处理服务。XSKY存储系统内置的负载均衡器会根据前端业务需求灵活分配到不同数据服务模块来处理相应访问请求。

微信图片_20210108171356.png

在海量图片的场景中除了基础的存储需求之外,往往还希望结合业务提供更多“在线数据处理”的能力。比如数字档案场景,数字档案数据包含图片、照片以及各类证件、纸质材料等文件扫描件,都以图片的形式存储,根据国家档案馆要求档案数据需要长期存储。档案数据不但要长期存储,而且要求长期可访问,档案管理员还会定期审核数据的正确性,一般通过调阅压缩后的图片或图片缩略图进行校验,提高浏览效率。对于普通用户查阅自己的档案数据,也是通过缩略图的形式提高查阅效率,而且档案数据一般会打上水印以防数据篡改及方便信息源追溯。再比如在政务云场景,人员证照应用系统可针对用户自行上传的照片,进行裁剪,旋转、压缩等基本功能,不需要通过专业的图像处理软件进行调整后再上传,降低用户操作复杂度,提高用户体验,同时提升业务处理效率。

常见的对象存储图片处理方案是存储端只负责存储图片,不负责图片处理,图片处理的工作都交由中间服务模块去处理,应用端想要获取经处理后的图片需要从存储端获取原始图片数据,再发送到图片处理服务平台,经处理后再次返回到应用端。

微信图片_20210108171401.png

如上图所示,整体架构比较复杂,获取处理后的图片需要经过前端应用在存储端和图片处理端不断交互,整体处理流程冗长复杂。而且还给业务网络带宽带来很大压力,对于一些高清图片整个流程的响应效率会更慢,直接影响应用的使用,间接的影响整体用户体验。

XSKY 在为了满足以上场景对图片访问处理的需求,提高对业务的处理效率。在数据处理框架中新增了图片处理服务(Image Processing Service 简称 IPS),可以为 XSKY 对象存储增加丰富的图片处理能力。使图片处理的全处理流程均在对象存储内部完成,减少业务端的交互逻辑,赋能对象存储更大能力,帮助客户实现更大价值。

微信图片_20210108171507.png

XSKY OCPF开放内容处理框架中的在线图片处理服务,结合XSKY 对象存储为用户提供海量、稳定安全、高效、低成本的图片处理服务。包括:图片缩放、裁剪、格式转换、水印、旋转、质量调节等十几种图片处理功能。可以有效地帮助客户简化业务架构,释放网络带宽,提升业务响应效率及用户体验,同时提高硬件资源利用率。 

微信图片_20210108171512.png

用户将原始图片数据上传并保存在XSKY对象存储,应用端可通过调用相关接口实现对图片的处理操作。图片处理服务会根据用户请求,实时地将用户的原图转换成按需求处理后的目标图片并发送给用户。

微信图片_20210108171551.png

灵活多种使用方式

AWS SDK 访问:支持在 HTTP Header 中添加图片处理参数,从而兼容最常见的 AWS SDK,最大程度降低用户开发成本。

S3 API 访问:支持开发者通过在标准的 S3 API 请求(GetObject)上追加图片处理参数(x-sds-process),即可快速调用图片处理的能力。

OSS SDK 访问:兼容阿里云 OSS SDK 的图片处理请求,帮助客户应用从公有云到 XSKY 无缝切换

同时在XSKY S3 Console 1.3.0 版本将为 XSKY对象存储的图片处理服务提供功能界面,届时可以使用 XSKY S3 Console直接体验各种图片处理功能。

[图片处理Demo,点击观看]

微信图片_20210108171623.png

XSKY 数据处理服务不仅仅是支持上面的在线数据处理服务,同时还支持离线处理服务。离线处理服务可以满足业务端对数据的批处理需求,通过调用离线处理API,请求对一批数据做数据处理,XSKY 的离线处理服务对业务发起的请求做统一的任务管理和调度,根据数据处理需求,调度到不同的数据处理服务模块处理。在处理完成后,向业务在离线处理API请求中携带的回调入口发送通知消息,业务端根据业务处理流程访问处理结果数据,继续后续业务逻辑流程。比如,对于已存储的历史图片、视频等数据进行身份证识别、鉴黄、暴恐、敏感信息等内容识别;小文件打包批量下载;小文件打包上传后的拆解存储;GIS遥感图像处理等等。借助完备的离线任务处理框架和通知机制,实现业务端和存储端直接交互联动,打通业务全流程,提高整体用户体验。

微信图片_20210108171628.png

微信图片_20210108171642.png

XSKY OCPF开放内容处理框架结合存储系统,使数据处理的全处理流程均在存储端内部完成,简化业务架构,减少业务端的交互逻辑,提高业务处理效率,从而帮助客户提升整体业务效益。

目前XSKY OCPF已经支持自有的图片的在线处理,未来将很快接入第三方的内容分析引擎,特别是AI多媒体分析引擎,满足客户更多的选择。