音响论坛 门户 技术 综合 查看内容

孙季川:在线包装技术特点

2010-10-8 13:49| 发布者: admin| 查看: 244| 评论: 0

  随着电视制作播出技术的不断发展,作为节目视频画面一部分的图形字幕技术也在不断地演变推进,由二维发展到三维,渲染的效果和效率都在不断地提高,特别是在糅合了视音频播放技术与实时数据获取技术之后,逐渐形成了目前的“在线包装”技术,除了为节目提供大量的文字图示信息之外,其画面的精致美观与绚丽动感也对节目内容起到了直接而明显的包装作用。新奥特 (北京)视频技术有限公司孙季川通过对在线包装一些关键性技术特点的分析来描述该技术的一个轮廓性的概念,并对该技术在国内业界的应用做一点展望。

  概括地讲,在线包装技术有三大技术特点:场景,字幕图像与视音频多元结合的三维图形实时渲染技术;实时获取外部数据并控制画面的内容和形态的播出控制技术;制播分离的工作流程和网络化的设备构成技术。下面分别把这三点拆分成一些更细致的要点进行分析。

  1、高质量、高标清、实时三维渲染引擎:渲染引擎是在线包装系统的核心技术部分。经过多年的发展,个人计算机的三维图形渲染技术已经相当成熟, Open GL或Direct 3D清染技术三维图形加速芯片GPU技术相辅相成,依然处于快速发展的状态中。业界著名的操作系统和图形软件公司联合三维图形卡厂商,不仅实现了三维处理流程全程硬件化固件化并行化,而且在渲染流程的顶点和像素处理阶段提供了强大的可编程能力。基于这个技术,在线包装系统的渲染引擎应该提供质感亮丽自然,动感柔和强劲的三维空间的渲染效果:在保证三维图形质量的前提下,系统应该以极高的效率保证清染的实时性,没有预先渲染,以便满足外部实时数据控制,状态控制的需要,同时,对于广电行业来说,渲染引擎与I/O硬件需要精确配合,完整地支持各种高标清画面的实时输出。

  2、三维场景、字幕与视频无缝结合:系统在全三维空间中,不仅需要处理三维物体的渲染,同时必须处理字幕,图像,图像序列,输入视频和视频文件回放,使用纹理贴图这一关键技术,使它们作为三维场景中的纹理贴图以各种方式无缝融入到其中,从而展现各种三维图形效果。对于字幕通常可以采用生成平面图片的方式或者产生三维物体模型两种方式予以支持,同时,传统字幕的典型应用方式,比如唱词,底拉,滚屏功能必须予以完整的支持,并且应该借助三维空间提供的展现方式予以提升。

  3、视频、图像序列回放和打包以及音频支持:对视音频文件回放的支持是在线包装系统的一个重要特点。在实际应用中,视频文件画面可以用来展示节目亮点,人物介绍,背景知识以及画面背景或者边条装饰等等,不一而足。在线包装系统可以支持多种格式视频文件和图像文件序列的实时回放,回放画面可以作为纹理以多种混合方式贴加在任意物体的表面,也可以进行所有平面和三维特技的处理和各种变换,非常适合制作画中画效果和各种复杂的活动纹理和背景效果。

  4、实时输入视频开窗功能:作为对视音频支持的一个技术要点,同时是直播类节目应用中的一个非常重要的功能,在线包装系统通常都支持2路以上的高清或标清视频输入的实时开窗功能。在线包装系统产生的视频窗通过模板时间线的预先设计而可以与同为本系统产生的背景或者前景图形画面精确配合产生各种翻转,缩放等运动效果,比之传统的通过切换台视频开窗功能搭配字幕机画面的做法,不但效果大大增强,富有变化,而且减少了操作环节,完全避免了操作两种设备之间配合失误的可能。视频开窗可以使用两种方式进行:贴图模式和硬件DVE模式。采用贴图模式进行的开窗,可以将实时画面作为纹理以多种混合方式贴加在任意物体的表面,进行所有平面和三维特技处理和各种变换,弱点是延时相对较多。采用硬件DVE模式,依赖硬件性能不同,窗口可以平面或立体方式进行运动和缩放,同时支持裁剪和淡入淡出,优点是输出画面延时很小,基本与音频同步,适合直播类节目使用。

  5、场景状态点平滑切换:在线包装系统可以支持包装场景不离屏的情况下,由一种画面构成平滑演变成另外一种画面构成,从而很大地提高信息展示的容量和连贯程度,给予包装画面的更多更强的变化效果。将场景中的一种画面构成称作一个状态点,这种技术称为状态点控制技术。每个状态点的稳定状态并非完全静止的,而是处于相对静止的循环变化中,以保证画面的动态效果,而一个场景在多个状态点之间理想情况下应该是两两可以自由演变切换的,以达到播出时根据具体要求进行灵活的顺序组合。技术上,系统需要同时支持多个时间线,提供多个动画线索,才能实现不同场景状态的平滑过渡切换功能,可以实现复杂的时序控制,满足播出过程中根据实际情况产生的随机场景无缝切换的要求。

  6、多场景分层叠加播出:在对节目的包装工作中,总是要求多层画面可以同时出现在屏幕上,产生分布或者叠加装饰的效果,实现多种信息的同时展示:比如角标、时钟、底飞、人名条,肩上板同时出现的情况就很典型。在线包装系统本身可以提供多个场景分层叠加播出的功能,基于清染引擎的能力,可以同时渲染多个场景,完成多个任务。每个场景是一个独立的三维空间,拥有自己独立的三维灯光系统和三维投影的摄像机体系。渲染和I/O支持多个场景同时叠加输出,为多播出任务同时执行或者插播功能提供了完整的支持。

  7、编程脚本和条件运算控制的实时数据注入:在线包装系统的典型应用是进行场景模板的设计,在模板中指定预留出场景中可以在播出时进行替换的内容,比如文字内容,图片等,在播出时由播出系统进行实时数据注入改变,完成每次播出任务的展示,更进一步,场景中物体的位置,大小甚至形状,都应该可以接受外部输入数据的控制实时改变。为了实现上述功能,在系统内部,一种典型的技术方式是“数据池”和“数据插件”的组合结构。

  8、各种外部数据流与数据库的支持:数据库技术在包装系统的应用中占有很重要的地位,新闻,财经,资讯和体育等节目中,其作用和需求十分明显。上述的场景数据池技术是在线包装系统对于数据支持的一部分技术,是内容数据流入到系统渲染时的数据处理,可以称为内部数据处理或者数据后处理。而这些数据的源头则是多种形式的,这些数据格式各异,传输方式不同,需要不同的技术进行接收,同时,其内容与最后展示的内容通常部会有一定差异,需要经过筛选、提取、组合甚至于计算、分析、综合才能得到应用。

  9、对虚拟图形的支持:虚拟图形是利用虚拟演播室类似的技术,通过使用拍摄镜头的定位,俯仰,摇移等传感控制技术,计算出场景图形画面相对于镜头的位置和姿态,使叠加在实拍画面上的图形画面呈现出与实拍画面相对静止的状态,不随镜头摇移而改变虚拟位置:同时,抠像技术的应用可以使“贴在地面上”的虚拟图形在人走过时被“踩在脚下”而不会形成遮挡。由于在线包装的渲染技术是基于三维空间渲染的,外部实际镜头的参数正好可以用来改变虚拟的三维空间观察镜头的参数,从而产生逼真的虚拟画面与实际画面的结合。

  10、制播分离、专业产品与网络化部署:在线包装系统的应用流程目前都是典型的制播分离模式。由于包装效果的质量需求,包装场景即模板的设计通常会有专业人员进行,可以分为创意设计,场景实现,数据配置和检查审定等几个阶段,持续时间会比较长。而模板一旦审定投入播出使用,使用周期也会比较长,播出线的工作人员一般只负责进行数据引入和绑定并控制播出,可以对模板进行微调,但一般不会对模板进行修改。在线包装系统针对这种工作模式一般设计和部署为模板设计系统,包装播出系统和模板管理系统三个专业功能部分。其中模板设计软件为通用软件,可以针对各种栏目进行设计工作,对第三方设计软件的文件也具备一定的导入利用能力。而播出系统通常由播出服务器与播出控制端以及数据前处理设备一并构成,其中的播出控制软件和数据处理软件针对不同的应用会有较大的不同,专业性比较强。而在规模比较大的在线包装部署中,统一的模板管理服务对于资源共享,协同工作,版木管理和发布管理都具有重要的作用。

2010年01月11日
发表评论

微信扫码关注公众号