音响论坛 门户 技术 综合 查看内容

卢英锁:新中心媒体资产管理管理系统的技术特点

2010-10-8 13:45| 发布者: admin| 查看: 242| 评论: 0

  北京电视台卢英锁阐述了新北京电视中心媒体资产管理系统的网络架构及工作流程,并着重介绍了在设计新中心媒资系统数据归档软件时几个方面的考虑。

  1、概述

  新北京电视中心媒资管理系统主要是存储并管理数据资料,即对综合节目制作网、新闻制作网、体育节目制作网、深度编辑网等子网和播出控制系统、历史节目的存储和管理。根据北京电视台的实际情况,把需要保存的节目细分为三类。第一类是历史留下的节目:鉴于当时的文件格式,使用25MIBP格式来上载并保存节目。第二类是新生产的节目:沿用制作网的50MI帧的格式进行上载、迁移和保存节目。第三类是播出后的节目:直接使用仅在播出系统中使用的格式为8MIBP的文件,迁移和保存节目。整个媒资系统根据功能划分,可以分为几个子系统,分别是:上下载子系统、编目子系统、检索子系统、存储管理子系统、业务管理子系统等几个部分。网络架构及工作流程新北京电视中心媒资系统采用FC+以太网的SAN双网共享存储架构构建网络的高速数据通道和安全的以太网数据信息控制管理通道。IT网络采用FC(FiberChannel)和以太网并行工作的双网结构,借助FC通道对大数据包传输的高可靠及高效性,构建一个高速集中共享的网络,供有卡工作站实时处理高码率的音视频素材,使得高码率素材在有卡站点与在线存储体之间高速交换;以太网络用于对整个系统的管理。

  2、新北京电视中心媒资存储管理系统关键技术

  电视台现在的存储系统划分为在线、近线、离线三个区域。各存储区将根据实际应用要求,配置相应的存储设备。在线存储系统采用磁盘阵列,近线存储系统采用独立的磁带库,离线系统是磁带的密集排架。三个存储区由存储管理系统统一调度,共同完成数据对象的存储、交换和维护任务。在线存储全部低码率素材和部分高码率素材,近线存储全部高码率素材,离线存储高密级高码率素材。存储管理服务器,负责迁移策略管理和数据流带库机械手控制,同时完成任务调度管理离线管理工作站提供离线数据流磁带管理。

  2.1数据归档软件

  数据归档软件的工作模式与AV归档软件的工作模式比较类似,但在开发过程中针对视音频的特殊应用需求作了针对性的优化,采用了多种技术手段提高系统数据迁移的效率,更适于在媒体资产管理领域中应用。数据归档软件系统主要由存储迁移服务器、离线管理工作站、媒资管理工作站三个模块构成,这三个模块之间通过存储API、消息中间件以及数据库进行通讯实现系统的资源配置、资源调度、任务执行以及进度监控等。媒资管理工作站根据外界制定的与应用相关的存储策略自动实现任务的生成、提交。该模块内部有三个线程分别实现四种不同的策略:归档策略、迁移策略、保留策略和删除策略。

  媒资存储迁移采用分级存储管理软件。分级存储管理软件属于整个系统软件体系中的中间层存储平台,存储系统不属于业务应用层,为系统所有业务提供数据分级存储服务。分级存储管理软件采用分布式软件体系结构设计,并基于面向对象的大容量数据存储迁移方式。软件模块主要分为:存储调度服务器、近线存储设备控制器、数据迁移器、存储策略服务器、存储监控工作站这几个部分。数据归档软件是一个纯被动的软件模块,也就是说数据归档软件本身不会产生数据归档或回调请求,而只是存储迁移服务器发出的归档/回调请求并进行响应。数据归档软件对外的唯一接口就是策略服务器。

  2.2新北京电视中心媒资系统数据归档软件中使用的几个关键技术特点

  2.2.1数据归档软件直接基于SCSI指令集的设备控制

  数据流磁带读写控制插件直接基于SCSI指令集,并整合了IBM的LTO,LTO-2,SONY的S-AIT,STK的9840B这几种主流磁带机的读写控制命令,通过一个磁带机控制类来实现系统对磁带机的无关性。上层软件通过扫描SCSI端口自动检测磁带机设备,并与相应的驱动进行挂接,无需更改软件即可实现目前各种主流磁带机驱动器的读写控制。另外,针对数据流磁带库,也通过类似于磁带机的方式实现了控制软件与控制设备的无关性,目前能够支持IBM,ADIC,SONY,STK,SpectraLogic等几种数据流磁带库的机械手控制,对于其它机械手带库,只需厂家提供相应的控制协议即可完成设备控制的整合。

  2.2.2数据分段回调技术

  由于直接针对SCSI指令对数据流磁带机进行读写控制,因此通过对写入的视频对象建立秒索引,可以实现DV50、MPEG-2IBP高质量视频数据的分段回调的技术。这对提高网络带宽利用率,降低设备负载和缩短用户等待时间具有非常大的意义。而通过秒索引完成的数据分段回调,误差可以控制在一秒左右,用户完全可以接受,数据回调时间则是完整数据回调的几分之一。

  2.2.3双线程、双缓冲区的数据读写

  随着磁带机技术的不断进步,磁带机读写速度越来越接近磁盘阵列的读写速度,如果对磁盘的数据读写和对磁带的数据读写在同一线程中进行,由于受到磁盘读写速度的限制,很难将磁带机读写性能发挥到最大值。通过采用双缓冲区双线程的技术,可以充分发挥数据流磁带机的带宽资源,经过多次测试,基于此方式的数据流磁带读写速度可以接近甚至达到其设备的标称速度。

  2.2.4利用数据库加速磁带定位

  对于属于线性设备的磁带机而言,读写定位是非常耗费时间的,如果从数据流磁带中读取存储数据元信息,再根据其进行读写定位,则速度非常慢,因此将相应的存储数据元信息放入数据库,则磁带定位速度成倍提高。但考虑到磁带的独立性,在数据流磁带中仍然保留了全部的元信息内容,以确保数据流磁带在脱离系统后仍然可以使用。

  2.2.5开放的磁带写入格式

  目前市场上大多数数据迁移软件均使用了自己独有的数据流磁带写入格式,造成各家产品生成的数据流磁带间无法互换。这既不利于用户未来对产品的升级换代又为系统间的数据交换制造了很大的困难。新北京电视中心媒资系统使用的数据分级存储软件采用的磁带写入格式为MTF格式,这是由微软公司推出的一种开放的磁带写入格式,微软随操作系统提供的备份程序使用的就是MTF格式。鉴于微软公司在操作系统领域的霸主地位,MTF格式可以被认为是一种事实上的工业标准。另外,数据分级存储软件生成的数据流磁带中的数据可以被微软Backup程序正确读出。

2009年10月13日
发表评论

微信扫码关注公众号