XSKY助力华数传媒打造新一代云原生媒资系统

2020年12月 · XSKY

客户介绍

微信图片_20201218171017.jpg

华数传媒网络有限公司是华数数字电视传媒集团有限公司旗下专业从事数字电视网络运营与新传媒发展的运营企业,是华数系主力上市平台之一。其具有电视直播,转播,宽带网络运营,IPTV点播,自制内容电视频道的综合性广电运营商,华数传媒拥有大型的数字化节目内容媒体资源库,是大型的互动电视内容提供商、大型的手机电视内容提供商,是本地有线数字电视网络运营平台和面向全国的互动电视运营服务主平台。

广电运营商内容管理转型之路

当前,互动电视、新媒体及网络媒体正在高速发展。以电视剧为例,国内从2003年开始每年都维持在400-500部产出,视频技术的发展,从标清、高清、全高清,再到现在火热的4K、8K,同一部视频容量越来越大,广电运营商原媒资管理技术已无法满足未来内容数据的爆发增长需求。华数传媒探索转型一套新的融合媒资管理平台来进行媒资数据的高效管理及存储,满足未来的发展需求。

微信图片_20201218171022.jpg

为此,华数传媒通过深入研究,将原始素材库,生产加工制作内容库,视频审核内容库等分散的媒资管理方式,通过建设统一内容管理平台进行数据融合,从内容管理中心到数据存储中心,对媒资归档数据进行全面统一管理,提高数据资产管理及利用,从而降低运营成本。

从NAS到SDS对象

近年来,华数积极贯彻落实超高清战略,从终端到网络全部按照真4K标准设计开发。继 4K 央视专区、央视超清 4K 频道先后在华数互动电视落地后,华数还在筹备求索纪录 4K 超高清频道,致力于在全平台打造真正的 4K 超高清家庭影院。在内容端,华数目前可以向用户提供累积 2000+ 小时超高清视频,还与优酷、中国蓝、TVB、求索等 800 家国内外优质品牌内容服务商进行合作,内容涵盖影视、 综艺、少儿、电竞、纪录、健身、财经等多领域。

针对业务快速变化,原存储架构已不能满足新时代的需求:

存储资产投入产出比低

前期采用大量的国外昂贵的NAS设备,未来媒资数据越来越多,单TB成本资金投入巨大,给企业增加运营成本。

NAS存储无法支撑几十亿的数据

华数内部媒资素材资源历史数据量巨大,传统方式存储在分布式NAS中,由于NAS存储支撑文件数量有限,在历史数据近40PB分散在几十套分布式NAS存储中,数据管理及本身带来的价值体现问题日益突出。

新媒资业务平台加速推进存储技术更替

随着业务规模的提升,视频制式的进步,广电运营商OTT及IPTV业务快速发展,推进广电运营商内容管理平台的升级改造,要求将内容数据集中统一存储,单套系统能够支撑EB级别数据容量。

运维管理复杂

原始业务平台采用NAS方式,媒资数据分散在多套NAS存储中,且品牌,型号不同,部分型号设备已运行8年以上,由于媒资容量巨大,数据无法迁移,致使硬件资源不能及时更替,给运维来带巨大挑战,数据资产存在安全危机。

新的海量媒资系统存储架构应具有如下特征:

媒资素材多样性

内容管理平台媒资素材多样性,如电影电视剧等常规视频资源,新媒体视频资源,媒资数据海报,媒资文案,字幕,多语种音轨等各种类型的资源需求,需要存储支持资源的分类。

互联网友好型

原生支持,无“目录锁”,扁平的命名空间;对接媒资生产Pass平台,易于构建互联网友好应用;URL访问,位置透明,便于内部媒资生产及内容发布描述。

应用感知

内容平台需直接 URL访问,直接通过HTTP抓取媒资素材源;自定义元数据;业务元数据控制存储行为;对象路由负载均衡;海量文件检索效率高。

针对以上需求,用户最后决定把媒资系统存储从纯NAS转向NAS和SDS对象存储融合方式,因为SDS对象存储具有如下天然优势:

  • 基于标准化X86服务器,易于维护,易于更换配件,可选面广泛

  • SDS软件定义数据无边界,通过迭代更新功能和需求

  • 软件定义数据多维标签

  • 软件定义访问控制权限

  • 软件定义对象访问自动均衡

  • 媒资管理平台与内容存储统一

  • 基于桶的扁平化资源结构,天然可支撑未来上亿万数量级媒资数据,及上百PB到EB级别容量的长久存储

  • 基于HTTP的S3协议支持,天然有利于应用平台集成,发挥应用平台与存储结合的能力

经过严格的招标和考察,华数传媒最后选择了XSKY的对象存储XEOS来构建新一代媒资系统。

微信图片_20201218171028.jpg

项目简介

华数项目一期采购一套480TB XSKY XEOS对象存储,用于对接总编室介质库媒资归档数据,及新融合媒资平台建设,涉及包括原始素材及总编室审片后的媒资数据永久归档。一期仅购买480TB裸容量做业务对接测试。

但是通过前期项目对XSKY对象存储的尝试, XSKY XEOS在功能、性能、兼容性、技术能力得到客户的认可,用户在二期依然选择了XSKY对象存储产品,部署裸容量为4PB

解决方案

经过方案设计及最佳实践认证,项目实施后系统已经稳定运行,以下为最新的配置方案:

1. 媒资生产对象存储采用4U高度的高密度存储服务器、每台高达 288TB 裸容量,共计14个节点。

2. XSKY独有的故障设置,可以灵活区分数据中心,机架,主机三种不同的故障域,默认每个下发IO切片为4MB(EC逻辑颗粒度)。

微信图片_20201218171032.jpg

3. 跨机器级别故障域划分,设置了纠删码保护数据,采用EC 10+2数据安全策略,可达到3PB可用存储容量。

4. 容忍同时断电或损坏两个节点的设备,数据安全性达到99.9999999%。

产品优势

在这个项目中,XSKY XEOS产品丰富的功能给客户留下了深刻的印象:

S3 网关负载均衡:审片客户端只需一个IP地址满足多个对象网关并发写入的需求

海量小文件归并:媒资库多种文件,应对不同粒度的存储文件,缓解存储压力提升速度

支持标准S3接口:融合媒资平台支持业界标准S3,可与对象存储快速业务对接

数据查询引擎:基于存储层,业务可通过XSKY S3 console控制台使用数据标签或索引快速查询到每一个媒资素材文件

访问权限管理:Bucket Policy 比较 Bucket ACL 具备更细的管理权限,利用XSKY S3 console控制台管理文件可很好的控制用户权限

XSKY S3 console客户端:可提供用户文件的管理,包括上传、下载、删除、创建删除桶,权限管理、全局文件搜索等功能,给媒资审核人员带来使用便利

运维管理全面:运维管理功能丰富,界面直观,存储资源易于管理

用户收益

经过两年多的实践,客户认为新一代媒资系统从NAS转向XSKY SDS对象存储是正确的。

从专有架构走向开放架构,实现软硬解耦自主可控,大幅降低 TCO

SDS 解决方案基于通用的硬件平台,全图形化管理界面,破解多套存储共存、运维复杂的难题

高可靠、弹性伸缩的存储资源交付,保障互联网新应用与新业务的快速构建上线

XSKY为用户量身定制XSKY S3 console客户端,降低了用户使用对象存储的门槛

SDS 软件定义数据无边界,通过迭代更新功能和需求

S3标准接口无缝对接媒资应用软件,保证业务快速上线

独有的数据分层及生命周期策略,为今后3-5年媒资业务数据价值体现带来无限可能

当然,XSKY的收获更多。XSKY通过和华数传媒合作,打造了一个功能强大的新产品XSKY S3 Console,也帮助了其他XSKY对象存储的客户更方便利用XEOS。