3.4.2 编码技术
除纹理编码、分级编码、形状编码等编码外,对象描述框架技术、场景描述、二进制格式场景技术也是MPEG-4编码标准所特有的。下面对这些技术进行介绍。
对象描述框架
对象描述框架:对象描述框架是一个或多个基本码流描述符的集合,它表示这些流配置和与视听对象或场景描述有关的信息,可用于识别和描述基本码流,并将它们和视听场景描述联系起来。
场景描述
MPEG-4将图像编码为不同类型的视听对象,这些对象有自然的视频和音频对象以及纹理、文本、二维和三维图形以及合成音乐和声音效果等。为了在终端重新构建一个多媒体场景,只传输原始的视听数据到接收端是不够的,需要额外的信息在接收端来组合这些视听数据并创建和给用户显示一个有意义的多媒体场景。这个信息就是场景描述,它决定视听对象在时间和空间中的位置,它和视听对象的编码数据一起传输。一个多媒体场景如图3.31所示。
图3.31 一个基于对象的多媒体场景示例
场景中的视听对象根据不同类型进行分组,场景中的视听对象分组情况如图所示。该树状结构是可以动态修改的,节点可以任意的添加、删除和修改。场景种逻辑结构如图3.32所示。
|
| 图3.32 场景逻辑结构 |
场景中的视听对象根据不同类型进行分组,场景中的视听对象分组情况如图所示。该树状结构是可以动态修改的,节点可以任意的添加、删除和修改。场景种逻辑结构如图3.32所示。
|
| 图3.32 场景逻辑结构 |
场景描述码流:场景描述码流信息用来说明一个场景中根据空间和时间属性对视听对象的组织。在各个解码器将码流数据解码后,再利用场景描述信息合成和显示各个视听对象。同时,场景描述信息中还集成了用户与对象交互的机制。
场景描述和传输流数据的基本码流是ISO/IEC 14496标准系统结构的基本组成部件,基本码流传输场景描述的视听数据。对象描述框架提供了基本码流和场描述间的联结。场景描述声明视听对象的时空关系,而对象描述框架指定提供随时间变化场景数据的基本码流资源。
BIFS
Binary Format for Scene description:BIF(二进制格式场景)BIFS是一个紧致二进制格式,表示提前定义的视听对象和行为以及时空关系的集合。
BIFS中有CommandFrame和AnimationFrameMPEG-4强调不同类型的视听对象的编码。为了在终端重建一个多媒体场景,需要额外的信息来组合这些视听数据并创建和给用户显示一个有意义的多媒体场景,这个信息就是场景描述,它决定了视听对象在时间和空间中的位置,并与编码对象一起传输。
场景描述以二进制格式BIFS(binary format forscene)表示,BIFS与AVO(audio2visual object)一同传输和编码。场景描述主要用于描述各AVO在一具体AV场景坐标下,如何组织与同步等问题,同时还有AVO与AV场景的知识产权保护等问题。MPEG-4为我们提供了丰富的AV场景。BIFS用于描述场景中对象的时空位置及它们的属性和特征。场景的组成单元和它们之间的关系形成了必须被编码传送的场景图。基本的场景图单元是“节点”,它们描述了视听对象及它们的属性和场景图自身的结构。
BIFS借用了虚拟现实建模语言(VRML)中使用的大量概念,VRML的场景描述能力被用来作为MPEG-4场景描述的基础。BIFS 包含了对几乎全部的VRML规范中节点的支持,扩展了VRML的功能,并增加了数据的流式播放、场景的更新和压缩等与VRML不同的机制,提供了压缩的二进制格式、流式播放、动画制作、2-D图元原语、增强的音频效果以及脸部动画等工具。
【责任编辑:
夏书 TEL:(010)68476606】