3.3.3  SEI技术

SEI附加增强信息（Supplemental enhancement information）包含了视频画面定时等信息，一般放在主编码图像数据之前，在某写应用中，它也可以被省略掉。它的数据结构定义如下：

 typedef enum {
SEI_BUFFERING_PERIOD = 0,
SEI_PIC_TIMING,
SEI_PAN_SCAN_RECT,
SEI_FILLER_PAYLOAD,
SEI_USER_DATA_REGISTERED_ITU_T_T35,
SEI_USER_DATA_UNREGISTERED,
SEI_RECOVERY_POINT,
SEI_DEC_REF_PIC_MARKING_REPETITION,
SEI_SPARE_PIC,
SEI_SCENE_INFO,
SEI_SUB_SEQ_INFO,
SEI_SUB_SEQ_LAYER_CHARACTERISTICS,
SEI_SUB_SEQ_CHARACTERISTICS,
SEI_FULL_FRAME_FREEZE,
SEI_FULL_FRAME_FREEZE_RELEASE,
SEI_FULL_FRAME_SNAPSHOT,
SEI_PROGRESSIVE_REFINEMENT_SEGMENT_START,
SEI_PROGRESSIVE_REFINEMENT_SEGMENT_END,
SEI_MOTION_CONSTRAINED_SLICE_GROUP_SET,
SEI_FILM_GRAIN_CHARACTERISTICS,
SEI_DEBLOCKING_FILTER_DISPLAY_PREFERENCE,
SEI_STEREO_VIDEO_INFO,
SEI_MAX_ELEMENTS
} SEI_type;

1恢复点SEI消息（SEI_RECOVERY_POINT）

恢复点SEI消息帮助解码器确定，在解码器开始随机访问或解码器遇到序列中断的链接以后，解码过程生成能够合格显示的图像的时间。当解码过程从一个解码顺序中与恢复点SEI消息关联的访问单元开始时，所有此SEI消息指明的输出顺序中恢复点以后的解码图像是内容正确的或大致正确的。由恢复点SEI消息关联的图像之前的随机访问单元生成的解码图像在内容上不一定是正确的，直到指定的恢复点。从与恢复点SEI消息关联的访问单元开始的解码过程操作可以包含对解码图像缓冲区中不存在的图像的引用。

2解码参考图像标记重复SEI消息（SEI_DEC_REF_PIC_MARKING_REPETITION）
该消息用于重复解码参考图像标记的语法结构，此语法结构位于解码顺序中较早图像的条带头中

3备用图像SEI消息（SEI_SPARE_PIC）
该表示被称作备用条带组映射单元的条带组映射单元，在一个或多个解码参考图像中，与被称作目标图像的指定解码图像中的相同位置条带组映射单元类似。一个备用条带组映射单元可以用于在目标图像中代替一个解码错误的同位置的条带组映射单元。一幅包含备用条带组映射单元的图像称作备用图像。

4场景信息SEI消息（SEI_SCENE_INFO）
场景和场景转换是输出顺序上连续的一组图像。一个场景里的解码图像一般有相近的内容。场景信息SEI消息用场景标识符标注图像和指示场景改变。这个消息描述被标注的图像的源图像是如何创建的。解码器可以用这个信息选择合适的算法以掩盖传输错误；场景信息SEI消息还可以在由应用决定的方式下应用，比如在编码序列中检索一个场景。场景信息SEI消息根据解码顺序为所有图像作标注。

5子序列信息SEI消息（SEI_SUB_SEQ_INFO）
该消息用于说明一幅图像在由子序列层和子序列组成的数据相关结构中的位置。一个子序列层包含一个序列中的编码图像的子集。子序列层以非负整数编号。层编号大的层是层编号小的层的上层。某一层的任一图像不能根据任何其上层的任一图像去预测。
子序列是子序列层中的一组编码图像。一幅图像应属于且只属于一个子序列层和一个子序列。子序列中的任一幅图像不能根据同一子序列层或更上层的其他子序列去预测。第0层的子序列不依赖不属于该子序列的任一图像即可独立解码。

6子序列层特征SEI消息（SEI_SUB_SEQ_LAYER_CHARACTERISTICS）
该消息用来描述子序列层的特征。

7子序列特征SEI消息（SEI_SUB_SEQ_CHARACTERISTICS）
该消息描述子序列的特征。它还描述子序列之间的内部预测相关性。本消息应包含在它所应用的子序列的解码顺序中的第一个访问单元中。在这里这个子序列称作目标子序列。

8全帧冻结SEI消息（SEI_FULL_FRAME_FREEZE）
该消息指示当前图像和输出顺序中满足特定条件的后续图像不应影响显示的内容。在任何访问单元中出现全帧冻结SEI消息不能超过一个。

9全帧冻结解除SEI消息（SEI_FULL_FRAME_FREEZE_RELEASE）
全帧冻结解除SEI消息取消输出顺序中当前图像之前的图像发出的全帧冻结SEI消息的作用。全帧冻结解除SEI消息表示当前图像和输出顺序中的后续图像将影响显示的内容。在任何访问单元中出现全帧冻结解除SEI 消息不能超过一个。全帧冻结解除SEI 消息不能在包含全帧冻结SEI 消息的访问单元中出现。如果出现全帧冻结SEI 消息的访问单元包含互补场对中的一场，那么互补的两个访问单元中不能出现全帧冻结解除SEI消息。

10全帧快照SEI消息（SEI_FULL_FRAME_SNAPSHOT）
当前帧被应用程序标记时，实现视频内容的一个静止图像快照。

11逐步细化段开始SEI消息
（SEI_PROGRESSIVE_REFINEMENT_SEGMENT_START）
该消息表示连续的一组编码图像的开始。被标记的当前图像后面是一个细化当前图像质量的一幅或多幅图像序列，而不是一个对连续运动场景的描述。

12运动受限条带组集SEI消息（SEI_MOTION_CONSTRAINED_SLICE_GROUP_SET）
设置帧内预测时条带组集的边界值。

13胶片颗粒特征SEI消息语义（SEI_FILM_GRAIN_CHARACTERISTICS）
设置是否在解码器中使用胶片颗粒的合成，该消息可以描述在原始视频资料中出现，但被滤波器消除的胶片颗粒。

14去块效应滤波器显示选项SEI消息
（SEI_DEBLOCKING_FILTER_DISPLAY_PREFERENCE）
设置解码器在输出图像时，是使用去块效应滤波器方法裁剪的结果进行显示，还是用去块效应滤波器前图像构建方法的裁剪结果进行显示。

15立体视频信息SEI消息（SEI_STEREO_VIDEO_INFO）
该消息通知解码器整个视频编码序列包含由立体视觉内容组成的图像对。

16缓冲周期SEI消息的语义（SEI_BUFFERING_PERIOD）
当NalHrdBpPresentFlag或VclHrdBpPresentFlag等于1时，一个缓冲周期SEI消息可以关联到比特流中的任一访问单元。同时，每个IDR访问单元应该关联一个缓冲周期SEI消息，每个关联了恢复指针SEI消息的访问单元也应该关联一个缓冲周期SEI消息。

17图像定时SEI消息（SEI_PIC_TIMING）
当CpbDpbDelaysPresentFlag等于1或pic_struct_present_flag等于1时，视频编码序列的每个访问单元中都要有图像定时SEI消息。

18泛扫描矩形SEI消息的语义（SEI_PAN_SCAN_RECT）
设置一个裁剪矩形的坐标，该矩形的每个坐标由相对于亮度采样格栅的1/16采样间隔为单位表示。

19填充载荷SEI消息语义（SEI_FILLER_PAYLOAD）
使用数值0xFF进行填充。

20未登记的用户数据的SEI消息语义（SEI_USER_DATA_UNREGISTERED）
设置由UUID标识的用户数据。