Abstract: The H.264 standard that uses block-based motion compensation, having the technology of half-pixel and quarter-pixel sample motion compensation, enhance the accuracy of motion estimation. The number of reference frame is added to eight, and the video object based method is used in motion estimation. The displacement, shift and revolve parameter of video objects are calculated and entropy coded, then transmitted. The bit rate of video coding is lowered by experiment results.
key words:  H.264 standard; video object; video coding; motion estimation

1 引言
    由运动图像专家组（MPEG）和视频编码专家组（VCEG）联合组成的联合图像组(JVT)在2003年公布了一个比MPEG-4和H.263标准具有更好的视频图像压缩性能的标准,“Advanced Video Coding” (AVC)，并将其同时作为MPEG-4的第10部分和ITU-T 的H.264标准发布[1]。
    AVC采用树结构的运动补偿，即在连续两帧之间的亮度分量采用从16x16到4x4的运动补偿块。第一个16x16的亮度宏块可以分成16x16、 16x8、 8x16和8x8的块。如果分成4个8x8的方块，那么每个8x8的方块又可以进一步分成8x8、8x4、4x8 或4x4的小块。颜色分量以亮度分量的一半进行分块，其它内容不变，运动估计时以块为单位进行[2]。
    AVC采用半像素和四分之一像素等方法进行运动估计，即在参考帧的整像素之间插入其它像素（通常称为半像素）[1]。第一个半像素是由周围的整像素插值生成的，如图1所示，像素b、h、 m、s是由权重因子为1/32、?5/32、 5/8、 5/8、?5/32、1/32的FIR函数对相应的整像素位置滤波后生成的。例如，半像素点b是由其周围水平方向的六个整像素E、 F、 G、H、I 和 J，经下面的公式计算生成的：
   （1）
 
    同样，h是由A、C、G、M、R和T滤波后生成的。垂直方向的计算方法与水平相同。
    水平和垂直方向的半像素计算完成后，对角线方向的半像素由其周围的六个已经计算完成的水平或垂直半像素计算得出（水平和垂直方向计算的结果是一样的）。例如，j 可以由cc、dd、h、m、ee 和ff点经FIR滤波后得出。
    四分之一像素的值是由其周围的点经线性插值后生成的，利用水平、垂直或对角方向的两个整像素或半像素进行插值[1]，如图2中， a、c、i、k和d、f、n、q是由水平方向和垂直方向相邻的整像素和半像素点插值后生成的，e、g、p 和r是由对角线方向的半像素点线性插值后生成的。 例如四分之一像素a是由整像素G和半像素b经线性滤波后生成的：
          （2）
八分之一像素的预测方法与此相同，但一般只用在颜色分量上。
 
图1 半像素插值位置示意图
Fig 1  Interpolation of half-pixel positions
 
 
图2 四分之一像素插值位置示意图
Fig 2  Interpolation of quarter-pixel positions
    本文采用上述方法对视频对象进行运动估计，视频对象采用四叉树的方法进行分块。在编码端对连续的八帖图像进行运动估计，计算出各特征点的运动矢量及匹配块，解码端根据这些运动矢量生成源图像和重构的八帧参考图像。背景图像由解码端经八帧连续图像计算后生成，同进保存在背景图像缓冲区中，以后根据背景的变化进行调整，解码端的背景缓冲区保存与编码端相同的内容。视频对象传输时只传输视频对象和背景图像的变化，即上面提到的运动矢量及纹理信息。视频对象的运动和背景的变化采用上述的半像素和四分之一像素的运动估计方法，从而保证了视频对象和背景之间的平滑连接。
    该方法在背景不变或变化较小的情况下降低码率的作用比较明显，而在背景变化较大或视频对象运动较快的情况下，因为将部分运动的背景作为视频对象，所以码率上升，出现传输整帧图像（I帧）的现象。
    本文的内容如下：下一部分介绍了基于多特征的视频对象分割算法，第二部分介绍了基于视频对象的运动估计方法，实验结果在第三部分进行了说明，最后是结论部分。
2 基于多特征的视频对象分割算法
    以图像的方向信息测度[3]为基础，采用基于图像的多个特征来提取视频对象，将变化检测和像素分类相结合来进行视频对象分割。使用相似区域判定函数来合并具有相同特性的区域，该函数结合了图像的空间和时间特性，并结合形态滤波的方法来去除像素分类掩膜中的小区域。像素分类是通过图像的方向信息测度的计算来划分的，然后再使用颜色信息来合并小的区域。最后，结合运动矢量图采用阀值的方法用最小四边形来提取运动部分。运动矢量图是通过对序列图像中的多个连续帧进行计算后得到的。该方法的细节部分有另文发表[4]。
 
3 视频对象的运动估计
    在序列图像中找到了视频对象，就可以采用模板匹配的方法在原始图像的低分辨率图中找到运动对象的大致位置,然后进行半像素或四分之一像素的运动估计，即插值运算，得到运动对象的高分辨率图像，而不是整幅图像的高分辨率图。在对视频图像进行运动估计时，将视频对象作为一个整体进行运动估计，为了提高运动估计的精度，对视频对象边界区进行四分之一和八分之一像素运动补偿计算。运动补偿的算法采用H.264的基于块的算法，块的划分方法是在视频对象及其边界区用四叉树的方法，背景区不参加视频对象的运动估计计算。运动估计计算方法如下：首先在低分辨率图像上的一邻域内计算视频对象所在的位置，然后将计算结果作为初始值扩展到高分辨率图像中,同时在视频对象边界的进行插值运算，从而提高了运动补偿的精度。这样就保证了视频对象相邻各点在高分辨率图像中只在一定区域内进行运动，运动结果不会超出视频对象的有效范围，发生断开的“孤点”现象。
    在对视频对象进行运动估计时，采用YCrCb颜色模型，将亮度和颜色公开，大大提高了系统对光照的抗干扰能力。我们进行了室内开关灯的实验，光线变化时，系统只传输I帧的亮度变化参数，颜色信息保持不变，实验结果表明该方法对光线变化的抗干扰能力较强。
在此基础上，结合H.264视频图像编码标准中的分层编码技术，将视频信号分成基本层和增强层。基本层包含视频对象的基本信息，通过它可以恢复一定质量的视频信号，包括视频对象的运动矢量和露出的背景变化。增强层包含视频对象及背景的详细信息，包括视频对象和背景的纹理变化，可提高视频的恢复质量。为了提高对信道的抗干扰能力，分层编码结合分级传输，可保障基本层码流受损程度最低，保证接收端得到一定质量的视频信号。
4 实验结果
    我们在分辨率为352*240的标准彩色序列图像“Tens”和自已拍摄的序列图像上进行了实验。
    “Tens”序列的背景不变，而前景包含较多的运动信息，由于场景中的运动对象的运动较强烈，运动对象发生了较多的形变，所以虽然视频对象分割的结果比较好，但用四叉树方法进行运动估计的块分割时，分割的块较多，计算量较大，即视频对象的纹理变化较大，针对这种情况，我们将其分割成一些较小的视频对象进行处理。实验结果如图3所示：(a)是Tens序列图中的第11帧的原图像（缩小后），(b)是经形态滤波处理后的视频对象， (c)是视频对象进行运动估计时采用的分块方法，(d)是解码后的包含视频对象的图像。
    在背景不发生连续的变化，视频对象运动不太剧然的条件下，我们对自已拍摄的序列图像进行了处理。实验中，如果背景中的内容处在运动状态，系统则将其作为前景视频对象，参加视频对象的编码；如果前景运动对象不动时，系统将其作为背景处理，不进行编码。经过这样处理后，码率大大下
 
(a)第11帧的始图像（缩小后）The original image of no.11 frame (contracted)
(b)视频对象（形态滤波处理后）Video object(after morphological filter)
(c)视频对象进行运动估计时采用的分块方法　The method of blocking of VO motion estimation
(d)解码后的图像（部分图）The decoded image (partly)
 
图 3  在Tens序列图像上的计算结果
Fig 3  Algorithm result on Tens sequences
 
 
降，系统的抗干扰能力有所提高。实验结果如图4所示：(a)是原始图像，(b)是分割出的视频对象， (c)是对分割出的视频对象进行运动估计时采用的分块方法，(d)是解码后的包含视频对象的图像。
 
(a)原始图像（缩小后）original image (contracted)
(b) 视频对象The video object
(c)视频对象进行运动估计时采用的分块方法The method of blocking of VO motion estimation
(d) 解码后的图像（部分图）The decoded image (partly)
图 4  室内序列图像的计算结果
Fig 4  Algorithm result of sequence in the room

    我们使用MatLab6.5进行程序设计，在CPU为Pentium2.6GHz、内存256M的计算机上运行程序，实验结果如下：
    每秒12帧，图像大小为60*80时平均码率为7.03K左右，经Huffman编码后平均码率为5.68K左右。当图像大小为120*160时，平均码率为28.12K，经Huffman编码后平均码率为23.07K左右。
    如果进行代码优化或者增加预测编码或变换编码等方法，效果会更好一些。
从上述实验结果可以看出，我们的算法在得到准确的视频对象后，采用多分辨率处理及H.264的运动估计方法可以提高计算速度和精度，基本可以满足实时性的要求。
5  结 论
    本文以H.264视频图像编码标准为基础，在其基于块的运动补偿方法的基础上，采用了基于视频对象的半像素和四分之一像素的运动补偿技术，因为只对视频对象进行运动估计，所以极大地降低了码率。因为系统将运动的背景也作为视频对象处理，所以在降低码率的同时，提高了系统的稳定性。对于接近刚体的视频对象（对象内部形变较少），进行对象整体运动估计，计算出视频对象的平移及旋转参数，将这些参数进行熵编码后传输，实验表明这种方法大大降低了视频图像的传输速率。

参 考 文 献
[1]   Iain E. G. Richardson,  H.264 and MPEG-4 Video Compression: Video Coding for Next-generation Multimedia[M]. The Atrium, Southern Gate, Chichester,West Sussex PO19 8SQ, England, John Wiley & Sons Ltd, 2003: 159,170.
[2]   Iain E G Richardson. Prediction of Inter Macroblocks in P-slices.
[3]   H.264 / MPEG-4 Part 10 White Paper[M], www.vcodex.com. H.264 / MPEG-4 Part 10: Intra Prediction, 2003 April 03,P10-11.
[4]   杨海军,梁德群,毕胜,基于图像信息测度的图像像素分类方法[J]. 中国图像图形学报,2001年,6(5) :429-433
[5]   Fu xianping,Wang zhao and Liang dequn. Segmentation of Moving Objects in Image Sequence Based on Orientation Information Measure [C], Wavelet Analysis and Its Application, and Active Media Technology,ChongQing,china, 2004.5