三维视频序列辅助信息的解码方法、编码方法及装置-复审决定


发明创造名称:三维视频序列辅助信息的解码方法、编码方法及装置
外观设计名称:
决定号:183948
决定日:2019-06-24
委内编号:1F266479
优先权日:2012-04-25
申请(专利)号:201210433288.2
申请日:2012-11-02
复审请求人:浙江大学 中兴通讯股份有限公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:吴丽君
合议组组长:吴恂恂
参审员:秦菊秀
国际分类号:H04N7/26,H04N13/00
外观设计分类号:
法律依据:专利法第2条第2款,专利法第22条第3款
决定要点:如果一项权利要求所要求保护的主题不属于专利法意义上的产品发明,同时也不属于专利法意义上的方法发明,则其是不属于专利法第2条第2款规定的客体。
全文:
本复审请求审查决定涉及申请号为201210433288.2,名称为“三维视频序列辅助信息的解码方法、编码方法及装置”的发明专利申请(下称本申请)。申请人为浙江大学和中兴通讯股份有限公司。本申请的申请日为2012年11月02日,优先权日为2012年04月25日,公开日为2013年10月30日。
经实质审查,国家知识产权局实质审查部门于2018年08月03日发出驳回决定,驳回了本申请。驳回决定所依据的文本为:申请日2012年11月02日提交的说明书第0001-0251段(即第1-23页),说明书附图第1-3页,说明书摘要,摘要附图;2018年06月04日提交的权利要求1-24项。
驳回决定所引用的对比文件为:
对比文件1:WO2012029884A1,公开日为2012年03月08日;
对比文件2:JP2005006114A,公开日为2005年01月06日。
驳回决定的主要理由是:权利要求1与对比文件1的区别在于:(1)所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;(2)所述辅助信息码流中的部分或全部信息存在于相应的SEI、VUI、SPS中,而对比文件1不同的辅助信息分散于SEI、VUI、SPS中。区别特征(1)的一部分在对比文件2中公开,其余部分是本领域的常规选择,区别特征(2)是本领域的惯用手段,因此在对比文件1的基础上结合对比文件2和本领域的惯用手段来得出权利要求1的技术方案对本领域技术人员来说是显而易见的,权利要求1不具有专利法第22条第3款所规定的创造性。权利要求2-3的附加技术特征在对比文件1中公开,因此权利要求2-3不具有专利法第22条第3款所规定的创造性。权利要求7与对比文件1的区别在于:(1)从三维视频序列码流中的辅助信息中解码获得平移像素数,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;(2)所述辅助信息码流中的部分或全部信息存在于相应的SEI、VUI、SPS中,而对比文件1不同的辅助信息分散于SEI、VUI、SPS中。区别特征(1)的一部分在对比文件2中公开,其余部分是本领域的常规选择,区别特征(2)是本领域的惯用手段,因此在对比文件1的基础上结合对比文件2和本领域的惯用手段来得出权利要求7的技术方案对本领域技术人员来说是显而易见的,权利要求7不具有专利法第22条第3款所规定的创造性。权利要求8的附加技术特征的一部分在对比文件1中公开,其余部分是本领域的惯用手段,因此权利要求8不具有专利法第22条第3款所规定的创造性。权利要求4-6是与权利要求1-3的解码方法对应的编码方法,权利要求9-10是与权利要求7-8的解码方法对应的编码方法,权利要求11是与权利要求1一一对应的装置权利要求,权利要求12是与权利要求4一一对应的装置权利要求,权利要求13是与权利要求7一一对应的装置权利要求,权利要求14是与权利要求9一一对应的装置权利要求,参见相应权利要求的评述可知,权利要求4-6、9-14也不具有专利法第22条第3款所规定的创造性。权利要求15中包含并列特征最小视点序号视点为左视标识的并列方案与对比文件1的区别在于:(1)最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;2)所述辅助信息码流中的部分或全部信息存在于相应的SEI、VUI、SPS中,而对比文件1不同的辅助信息分散于SEI、VUI、SPS中。区别特征(1)和(2)是本领域的惯用手段,因此在对比文件1的基础上结合本领域的惯用手段来得出权利要求15的技术方案对本领域技术人员来说是显而易见的,因此权利要求15不具有专利法第22条第3款所规定的创造性,而权利要求15中包含并列特征平移像素数的并列方案相比对比文件1、对比文件2和本领域惯用手段的的结合也不具有专利法第22条第3款所规定的创造性。权利要求16的附加技术特征的一部分在对比文件1中公开,其余部分是本领域的惯用手段,因此权利要求16不具有专利法第22条第3款所规定的创造性。权利要求17-18是与权利要求15-16的编码方法对应的解码方法,权利要求19-20是与权利要求15-16一一对应的装置权利要求,权利要求21-22是与权利要求17-18一一对应的装置权利要求,参见相应权利要求的评述可知,权利要求17-22也不具有专利法第22条第3款所规定的创造性。权利要求23中包含并列特征最小视点序号视点为左视标识的并列方案与对比文件1的区别在于:(1)最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;(2)所述辅助信息码流中的部分或全部信息存在于相应的SEI、VUI、SPS中,而对比文件1不同的辅助信息分散于SEI、VUI、SPS中。区别特征(1)和(2)是本领域的惯用手段,因此在对比文件1的基础上结合本领域的惯用手段来得出权利要求23的技术方案对本领域技术人员来说是显而易见的,权利要求23不具有专利法第22条第3款所规定的创造性,而权利要求23中包含并列特征平移像素数的并列方案相比对比文件1、对比文件2和本领域惯用手段的的结合也不具有专利法第22条第3款所规定的创造性。
驳回决定所针对的权利要求书内容如下:
“1. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中获取用于构建立体视频对的辅助信息,其中,所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
从三维视频序列码流中获取用于构建立体视频对的辅助信息包括:从所述三维视频序列码流中提取辅助信息码流;从所述辅助信息码流中解码得到所述辅助信息;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
2. 根据权利要求1所述的方法,其特征在于,所述辅助信息还包括以下至少之一:虚拟视点合成标识、最小视点序号视点位置标识、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数,其中,
所述虚拟视点合成标识,用于指示所述立体视频对中是否包含虚拟视点视频序列;
所述最小视点序号视点位置标识,用于指示所述三维视频序列中两个视点的视频序列之间的左右关系;
所述合成精度,用于指示当所述立体视频对中包含虚拟视点视频序列时,合成所述虚拟视点视频序列时所需采用的投影精度;
所述最小视点序号视点选择标识,用于标识当所述立体视频对中包含虚拟视点视频序列时,最小视点序号视频序列和次小视点序号视频序列中与所述虚拟视点视频序列合成所述立体视频对的视频序列;
所述虚拟视点位置参数,用于指示当所述立体视频对中包含虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
3. 根据权利要求1或2所述的方法,其特征在于,所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
4. 一种三维视频序列辅助信息的编码方法,其特征在于,包括:
将三维视频序列码流的辅助信息写入三维视频序列码流中,其中,所述辅助信息用于指示由重建的三维视频序列构建立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C’小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
将三维视频序列码流的辅助信息写入三维视频序列码流中包括:将所述辅助信息编码为辅助信息码流;将所述辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
5. 根据权利要求4所述的方法,其特征在于,所述辅助信息还包括以下至少之一:虚拟视点合成标识、最小视点序号视点位置标识、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数,其中,
所述虚拟视点合成标识,用于指示所述立体视频对中是否包含虚拟视点视频序列;
所述最小视点序号视点位置标识,用于指示所述三维视频序列中两个视点的视频序列之间的左右关系;
所述合成精度,用于指示当所述立体视频对中包含虚拟视点视频序列时,合成所述虚拟视点视频序列时所需采用的投影精度;
所述最小视点序号视点选择标识,用于标识当所述立体视频对中包含虚拟视点视频序列时,最小视点序号视频序列和次小视点序号视频序列中与所述虚拟视点视频序列合成所述立体视频对的视频序列;
所述虚拟视点位置参数,用于指示当所述立体视频对中包含虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
6. 根据权利要求4或5所述的方法,其特征在于,将所述辅助信息写入所述三维视频序列码流中包括:
将所述辅助信息写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
7. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数包括:从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流;从所述辅助信息码流中解码得到所述平移像素数;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
8. 根据权利要求7所述的方法,其特征在于,所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
9. 一种三维视频序列辅助信息编码方法,其特征在于,包括:
将平移像素数写入三维视频序列码流中,其中,所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
将平移像素数写入所述三维视频序列码流中包括:将所述平移像素数编码为辅助信息码流;将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
10. 根据权利要求9所述的方法,其特征在于,将所述平移像素数写入所述三维视频序列码流中包括:
将所述平移像素数写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
11. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息获取单元,用于从三维视频序列码流中获取用于构建立体视频对的辅助信息,其中,所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
所述辅助信息获取单元包括:辅助信息码流提取模块,用于从所述三维视频序列码流中提取辅助信息码流;辅助信息码流解码模块,用于从所述辅助信息码流中解码得到所述辅助信息;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
12. 一种三维视频序列辅助信息编码装置,其特征在于,包括:
辅助信息写入单元,用于将三维视频序列码流的辅助信息写入三维视频序列码流中,其中,所述辅助信息用于指示由重建的三维视频序列构建立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流生成模块,用于将所述辅助信息编码为辅助信息码流;辅助信息码流写入模块,用于将所述辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
13. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息获取单元,用于从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流提取模块,用于从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流;辅助信息码流解码模块,用于从所述辅助信息码流中解码得到所述平移像素数;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
14. 一种三维视频序列辅助信息编码装置,其特征在于,包括:
辅助信息写入单元,用于将平移像素数写入所述三维视频序列码流中,其中,所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流生成模块,用于将所述平移像素数编码为辅助信息码流;辅助信息码流写入模块,用于将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
15. 一种三维视频序列辅助信息的编码方法,其特征在于,包括:
将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流,并将所述辅助信息码流写入所述的三维视频序列码流中,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
16. 根据权利要求15所述的方法,其特征在于,按照以下方式之一将所述的辅助信息码流写入所述的三维视频序列码流:
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中;
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中;或者
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。
17. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中提取辅助信息码流,并解码所述辅助信息码流获得三维视频序列辅助信息,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所 述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
18. 根据权利要求17所述的方法,其特征在于,按照以下方式之一从所述三维视频序列码流中提取所述辅助信息码流:
从所述三维视频序列码流的补充增强信息中获取所述辅助信息码流的部分或全部信息;
从所述三维视频序列码流的视频可用信息中获取所述辅助信息码流的部分或全部信息;或者
从所述三维视频序列码流的子集序列参数集中获取所述辅助信息码流的部分或全部信息。
19. 一种三维视频序列辅助信息的编码装置,其特征在于,包括:
辅助信息码流生成模块,用于将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流的,其中,所述辅助信息码流生成模块的输入为三维视频序列辅助信息,输出为辅助信息码流;
辅助信息码流写入模块,用于将所述辅助信息码流写入三维视频序列码流中,其中,所述辅助信息码流写入模块的输入为所述辅助信息码流和所述三维视频序列码流,输出为含有所述辅助信息码流的三维视频序列码流;
其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,其中,所述三维视频序列辅助信息包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
20. 根据权利要求19所述的装置,其特征在于,所述辅助信息码流写入模块还用于按照以下方式至少之一将所述辅助信息码流写入三维视频序列码流中:
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中;
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中;或者
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。
21. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息码流提取模块,用于从三维视频序列码流中提取辅助信息码流,其中,所述辅助信息码流提取模块的输入为三维视频序列码流,输出为所述的辅助信息码流;
辅助信息码流解码模块,用于解码所述辅助信息码流获得三维视频序列辅助信息,其中,所述辅助信息码流解码模块的输入为所述辅助信息码流,输出为所述三维视频序列辅助信息,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
22. 根据权利要求21所述的装置,其特征在于,所述辅助信息码流提取模块还用于按照以下方式至少之一从三维视频序列码流中提取辅助信息码流:
从所述三维视频序列码流的补充增强信息中获取所述辅助信息码流中的部分或全部信息;
从所述三维视频序列码流的视频可用信息中获取所述辅助信息码流中的部分或全部信息;或者
从所述三维视频序列码流的子集序列参数集中获取所述辅助信息码流中的部分或全部信息。
23. 一种三维视频序列辅助信息码流,其特征在于,所述三维视频序列辅助信息码流中携带有用于指示由重建的三维视频序列产生一个立体视频对的三维视频序列辅助信息,所述三维视频序列辅助信息包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。
24. 根据权利要求23所述的信息码流,其特征在于,所述辅助信息码流的组成包括:
当所述虚拟视点合成标识指示由所述最小视点序号视频序列和次小视点序号视频序列组成所述立体视频对时,所述辅助信息码流中不包含所述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者对应的比特;
当所述虚拟视点合成标识指示由所述最小视点序号视频序列和次小视点序号视频序列组成所述立体视频对时,所述辅助信息码流中包含所述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者中至少一者对应的比特。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年11月19日向国家知识产权局提出了复审请求,同时修改了权利要求书,其中在权利要求1、4、7、9、11-15、17、19、21、23中增加特征“0≤K≤-1”。复审请求人认为:(1)对比文件2中的视差量调整信息909是一个包含了“平移像素数”的上位概念,且没有具体实施方式,以及本申请创造性地记载了确定具体的平移像素数,明确了移动的数值,(2)对比文件1公开的是将不同的辅助信息分散于SEI、VUI、SPS中,即分散于SEI、VUI、SPS中的辅助信息之间是没有任何联系的,并且是不同的辅助信息。并不能创造性的想到将辅助信息部分或全部存在于相应的SEI、VUI、SPS中。因此坚持认为权利要求1-24具有专利法第22条第3款所规定的创造性。
复审请求时新修改的权利要求1、4、7、9、11-15、17、19、21、23内容如下:
“1. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中获取用于构建立体视频对的辅助信息,其中,所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
从三维视频序列码流中获取用于构建立体视频对的辅助信息包括:从所述三维视频序列码流中提取辅助信息码流;从所述辅助信息码流中解码得到所述辅助信息;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“4. 一种三维视频序列辅助信息的编码方法,其特征在于,包括:
将三维视频序列码流的辅助信息写入三维视频序列码流中,其中,所述辅助信息用于指示由重建的三维视频序列构建立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C’小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
将三维视频序列码流的辅助信息写入三维视频序列码流中包括:将所述辅助信息编码为辅助信息码流;将所述辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“7. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数包括:从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流;从所述辅助信息码流中解码得到所述平移像素数;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“9. 一种三维视频序列辅助信息编码方法,其特征在于,包括:
将平移像素数写入三维视频序列码流中,其中,所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
将平移像素数写入所述三维视频序列码流中包括:将所述平移像素数编码为辅助信息码流;将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“11. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息获取单元,用于从三维视频序列码流中获取用于构建立体视频对的辅助信息,其中,所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息获取单元包括:辅助信息码流提取模块,用于从所述三维视频序列码流中提取辅助信息码流;辅助信息码流解码模块,用于从所述辅助信息码流中解码得到所述辅助信息;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“12. 一种三维视频序列辅助信息编码装置,其特征在于,包括:
辅助信息写入单元,用于将三维视频序列码流的辅助信息写入三维视频序列码流中,其中,所述辅助信息用于指示由重建的三维视频序列构建立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流生成模块,用于将所述辅助信息编码为辅助信息码流;辅助信息码流写入模块,用于将所述辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“13. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息获取单元,用于从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流提取模块,用于从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流;辅助信息码流解码模块,用于从所述辅助信息码流中解码得到所述平移像素数;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“14. 一种三维视频序列辅助信息编码装置,其特征在于,包括:
辅助信息写入单元,用于将平移像素数写入所述三维视频序列码流中,其中,所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流生成模块,用于将所述平移像素数编码为辅助信息码流;辅助信息码流写入模块,用于将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“15. 一种三维视频序列辅助信息的编码方法,其特征在于,包括:
将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流,并将所述辅助信息码流写入所述的三维视频序列码流中,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“17. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中提取辅助信息码流,并解码所述辅助信息码流获得三维视频序列辅助信息,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所 述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“19. 一种三维视频序列辅助信息的编码装置,其特征在于,包括:
辅助信息码流生成模块,用于将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流的,其中,所述辅助信息码流生成模块的输入为三维视频序列辅助信息,输出为辅助信息码流;
辅助信息码流写入模块,用于将所述辅助信息码流写入三维视频序列码流中,其中,所述辅助信息码流写入模块的输入为所述辅助信息码流和所述三维视频序列码流,输出为含有所述辅助信息码流的三维视频序列码流;
其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,其中,所述三维视频序列辅助信息包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“21. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息码流提取模块,用于从三维视频序列码流中提取辅助信息码流,其中,所述辅助信息码流提取模块的输入为三维视频序列码流,输出为所述的辅助信息码流;
辅助信息码流解码模块,用于解码所述辅助信息码流获得三维视频序列辅助信息,其中,所述辅助信息码流解码模块的输入为所述辅助信息码流,输出为所述三维视频序列辅助信息,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
“23. 一种三维视频序列辅助信息码流,其特征在于,所述三维视频序列辅助信息码流中携带有用于指示由重建的三维视频序列产生一个立体视频对的三维视频序列辅助信息,所述三维视频序列辅助信息包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中。”
经形式审查合格,国家知识产权局于2018年11月28日依法受理了该复审请求,并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年02月28日向复审请求人发出复审通知书,该复审通知书所针对的审查文本为:申请日2012年11月02日提交的说明书第1-23页,说明书附图第1-3页,说明书摘要,摘要附图;2018年11月19日提交的权利要求1-24项。该复审通知书所引用的对比文件与驳回决定所引用的对比文件相同,为对比文件1和对比文件2。该复审通知书指出权利要求1-22相对于对比文件2、对比文件1以及本领域惯用手段的结合不具有专利法第22条第3款所规定的创造性,权利要求23不属于专利法第2条第2款规定的客体。并针对复审请求人的意见陈述进行了相应答复。
复审请求人于2019年04月12日提交了意见陈述书,并修改了权利要求书,其中将权利要求3的附加技术特征并入权利要求1中,将权利要求6的附加技术特征并入权利要求4中,将权利要求8的附加技术特征并入权利要求7中,将权利要求10的附加技术特征并入权利要求9中,在权利要求11中增加特征“所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集”,在权利要求12中增加特征“所述辅助信息写入单元还用于,将所述辅助信息写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集”,在权利要求14中增加特征“所述辅助信息写入单元还用于,将所述平移像素数写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集”,在权利要求13、17、21、23中增加特征“所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集”,将权利要求16的附加技术特征并入权利要求15中,将权利要求20的附加技术特征并入权利要求19中,并相应调整权利要求序号及其引用关系形成新的权利要求1-18。复审请求人在意见陈述书中认为:(1)对比文件2公开了视差量调整信息,但并没有具体说明视差量调整信息对视频序列图像进行水平平移的作用,更加没有公开视差量调整信息最终呈现的是左右眼图像像素平移方式,本领域技术人员也不清楚如何将视差量信息设置为平移像素数,更加想不到设置具体的像素平移参数,可见对比文件2无法给出相关技术启示,而且相应特征也不是本领域的惯用手段;(2)对比文件1中将不同的辅助信息分散于SEI、VUI、SPS中,上述分散的辅助信息之间没有任何联系,而且本领域技术人员不清楚如何将不同的辅助信息与SEI、VUI、SPS进行关联,更加想不到将辅助信息如本申请所描述的部分或全部存于SEI、VUI、SPS。对比文件1与本申请是完全不同的操作方式;(3)对比文件1中分离单元携带L图像的编码数据、SPS以及SEI的NAL单元,但没有公开分离单元与三维视频序列码流之间的关系,也就是说分离单元与三维视频序列并不是相同的装置,因此从对比文件1公开的内容不能想到将辅助信息携带在三维视频序列码流中,更加想不到将辅助信息携带在三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集中,而且相应特征也不是本领域的惯用手段。因此坚持认为权利要求1-18具有创造性。
2019年04月12日提交的权利要求书内容如下:
“1. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中获取用于构建立体视频对的辅助信息,其中,所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
从三维视频序列码流中获取用于构建立体视频对的辅助信息包括:从所述三维视频序列码流中提取辅助信息码流;从所述辅助信息码流中解码得到所述辅助信息;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
2. 根据权利要求1所述的方法,其特征在于,所述辅助信息还包括以下至少之一:虚拟视点合成标识、最小视点序号视点位置标识、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数,其中,
所述虚拟视点合成标识,用于指示所述立体视频对中是否包含虚拟视点视频序列;
所述最小视点序号视点位置标识,用于指示所述三维视频序列中两个视点的视频序列之间的左右关系;
所述合成精度,用于指示当所述立体视频对中包含虚拟视点视频序列时,合成所述虚拟视点视频序列时所需采用的投影精度;
所述最小视点序号视点选择标识,用于标识当所述立体视频对中包含虚拟视点视频序列时,最小视点序号视频序列和次小视点序号视频序列中与所述虚拟视点视频序列合成所述立体视频对的视频序列;
所述虚拟视点位置参数,用于指示当所述立体视频对中包含虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
3. 一种三维视频序列辅助信息的编码方法,其特征在于,包括:
将三维视频序列码流的辅助信息写入三维视频序列码流中,其中,所述辅助信息用于指示由重建的三维视频序列构建立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C’小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
将三维视频序列码流的辅助信息写入三维视频序列码流中包括:将所述辅助信息编码为辅助信息码流;将所述辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
将所述辅助信息写入所述三维视频序列码流中包括:
将所述辅助信息写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
4. 根据权利要求3所述的方法,其特征在于,所述辅助信息还包括以下至少之一:虚拟视点合成标识、最小视点序号视点位置标识、合成精度、最小视点序号视点选择标识以及虚拟视点位置参数,其中,
所述虚拟视点合成标识,用于指示所述立体视频对中是否包含虚拟视点视频序列;
所述最小视点序号视点位置标识,用于指示所述三维视频序列中两个视点的视频序列之间的左右关系;
所述合成精度,用于指示当所述立体视频对中包含虚拟视点视频序列时,合成所述虚拟视点视频序列时所需采用的投影精度;
所述最小视点序号视点选择标识,用于标识当所述立体视频对中包含虚拟视点视频序列时,最小视点序号视频序列和次小视点序号视频序列中与所述虚拟视点视频序列合成所述立体视频对的视频序列;
所述虚拟视点位置参数,用于指示当所述立体视频对中包含虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置。
5. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数包括:从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流;从所述辅助信息码流中解码得到所述平移像素数;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
6. 一种三维视频序列辅助信息编码方法,其特征在于,包括:
将平移像素数写入三维视频序列码流中,其中,所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
将平移像素数写入所述三维视频序列码流中包括:将所述平移像素数编码为辅助信息码流;将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
将所述平移像素数写入所述三维视频序列码流中包括:
将所述平移像素数写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
7. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息获取单元,用于从三维视频序列码流中获取用于构建立体视频对的辅助信息,其中,所述辅助信息用于指示由重建的三维视频序列构建所述立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息获取单元包括:辅助信息码流提取模块,用于从所述三维视频序列码流中提取辅助信息码流;辅助信息码流解码模块,用于从所述辅助信息码流中解码得到所述辅助信息;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
8. 一种三维视频序列辅助信息编码装置,其特征在于,包括:
辅助信息写入单元,用于将三维视频序列码流的辅助信息写入三维视频序列码流中,其中,所述辅助信息用于指示由重建的三维视频序列构建立体视频对,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流生成模块,用于将所述辅助信息编码为辅助信息码流;辅助信息码流写入模块,用于将所述辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述辅助信息写入单元还用于,将所述辅助信息写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
9. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息获取单元,用于从三维视频序列码流中获取用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数的平移像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述辅助信息包括平移像素数,所述平移像素数用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流提取模块,用于从所述三维视频序列码流中提取携带有所述平移像素数的辅助信息码流;辅助信息码流解码模块,用于从所述辅助信息码流中解码得到所述平移像素数;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
10. 一种三维视频序列辅助信息编码装置,其特征在于,包括:
辅助信息写入单元,用于将平移像素数写入所述三维视频序列码流中,其中,所述平移像素数用于指示根据重建的三维视频序列构建的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果;
其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
所述辅助信息写入单元包括:辅助信息码流生成模块,用于将所述平移像素数编码为辅助信息码流;辅助信息码流写入模块,用于将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流中;所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述辅助信息写入单元还用于,将所述平移像素数写入所述三维视频序列码流中的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
11. 一种三维视频序列辅助信息的编码方法,其特征在于,包括:
将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流,并将所述辅助信息码流写入所述的三维视频序列码流中,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
按照以下方式之一将所述的辅助信息码流写入所述的三维视频序列码流:
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中;
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中;或者
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。
12. 一种三维视频序列辅助信息的解码方法,其特征在于,包括:
从三维视频序列码流中提取辅助信息码流,并解码所述辅助信息码流获得三维视频序列辅助信息,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
13. 根据权利要求12所述的方法,其特征在于,按照以下方式之一从所述三维视频序列码流中提取所述辅助信息码流:
从所述三维视频序列码流的补充增强信息中获取所述辅助信息码流的部分或全部信息;
从所述三维视频序列码流的视频可用信息中获取所述辅助信息码流的部分或全部信息;或者
从所述三维视频序列码流的子集序列参数集中获取所述辅助信息码流的部分或全部信息。
14. 一种三维视频序列辅助信息的编码装置,其特征在于,包括:
辅助信息码流生成模块,用于将三维视频序列码流对应的三维视频序列辅助信息编码为辅助信息码流的,其中,所述辅助信息码流生成模块的输入为三维视频序列辅助信息,输出为辅助信息码流;
辅助信息码流写入模块,用于将所述辅助信息码流写入三维视频序列码流中,其中,所述辅助信息码流写入模块的输入为所述辅助信息码流和所述三维视频序列码流,输出为含有所述辅助信息码流的三维视频序列码流;
其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,其中,所述三维视频序列辅助信息包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述辅助信息码流写入模块还用于按照以下方式至少之一将所述辅助信息码流写入三维视频序列码流中:
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中;
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中;或者
将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。
15. 一种三维视频序列辅助信息的解码装置,其特征在于,包括:
辅助信息码流提取模块,用于从三维视频序列码流中提取辅助信息码流,其中,所述辅助信息码流提取模块的输入为三维视频序列码流,输出为所述的辅助信息码流;
辅助信息码流解码模块,用于解码所述辅助信息码流获得三维视频序列辅助信息,其中,所述辅助信息码流解码模块的输入为所述辅助信息码流,输出为所述三维视频序列辅助信息,其中,所述三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理,包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数,其中,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息 码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
16. 根据权利要求15所述的装置,其特征在于,所述辅助信息码流提取模块还用于按照以下方式至少之一从三维视频序列码流中提取辅助信息码流:
从所述三维视频序列码流的补充增强信息中获取所述辅助信息码流中的部分或全部信息;
从所述三维视频序列码流的视频可用信息中获取所述辅助信息码流中的部分或全部信息;或者
从所述三维视频序列码流的子集序列参数集中获取所述辅助信息码流中的部分或全部信息。
17. 一种三维视频序列辅助信息码流,其特征在于,所述三维视频序列辅助信息码流中携带有用于指示由重建的三维视频序列产生一个立体视频对的三维视频序列辅助信息,所述三维视频序列辅助信息包括以下至少之一:
虚拟视点合成标识,用于标识以下两种情况之一:所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列组成的立体视频对;或者所述立体视频对是由所述三维视频序列中的最小视点序号视频序列和次小视点序号视频序列两者之一与一个合成的虚拟视点视频序列组成的立体视频对;
最小视点序号视点为左视标识,用于标识所述三维视频序列中最小视点序号视点是否在次小视点序号视点的左侧,以指示所述立体视频对中两个视点的视频序列的左右关系;
平移像素数,用于指示对所述的立体视频对中两个视点的视频序列图像进行水平平移的像素数,所述平移像素数C可数值化为一个包括0到2n -1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n -1,所述K为整数;
合成精度,用于指示当所述立体视频对中包含一个合成的虚拟视点视频序列时,合成所述虚拟视点视频序列所采用的投影精度;
最小视点序号视点选择标识,用于标识当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述三维视频序列中的最小视点序号视频序列和次小视点序列视频序列中作为所述立体视频对中的一个视频序列的视频序列;
虚拟视点位置参数,用于指示当所述的立体视频对中包含一个合成的虚拟视点视频序列时,所述虚拟视点视频序列对应的虚拟视点在由所述三维视频序列中的最小视点序号视点和次小视点序号视点构成的直线上的位置;
所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;
所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;
所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。
18. 根据权利要求17所述的信息码流,其特征在于,所述辅助信息码流的组成包括:
当所述虚拟视点合成标识指示由所述最小视点序号视频序列和次小视点序号视频序列组成所述立体视频对时,所述辅助信息码流中不包含所述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者对应的比特;
当所述虚拟视点合成标识指示由所述最小视点序号视频序列和次小视点序号视频序列组成所述立体视频对时,所述辅助信息码流中包含所述合成精度、最小视点序号视点选择标识、虚拟视点位置参数三者中至少一者对应的比特。”
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
决定的理由
(一)审查文本的认定
复审请求人于2019年04月12日答复复审通知书时,提交了权利要求书的全文修改替换页。本复审请求审查决定所针对的审查文本为:申请日2012年11月02日提交的说明书第1-23页,说明书附图第1-3页,说明书摘要,摘要附图;2019年04月12日提交的权利要求1-18项。经核实,上述修改文本的修改之处符合专利法第33条的规定。
(二)专利法第22条第3款
专利法第22条第3款规定:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
本复审请求审查决定所引用的对比文件与复审通知书和驳回决定所引用的对比文件相同,即:
对比文件1:WO2012029884A1,公开日为2012年03月08日;
对比文件2:JP2005006114A,公开日为2005年01月06日。
1.权利要求1要求保护一种三维视频序列辅助信息的解码方法,对比文件2(参见说明书第0039-0074段、第0084-0106段,图1-2、9、11、13、15-16)公开了一种广播数据源,广播数据传输方法以及广播数据接收机:广播数据源100包括节目配置信息准备装置101,复用装置102和传输线编码装置103。节目配置信息准备装置101包括PMT准备装置200和EIT准备装置201。在PMT准备装置200中,流信息包括组成3D图像的3D图像视频数据时,输入3D通用信息(相当于权利要求1的构建立体视频对的辅助信息),3D通用信息包括视点数目信息,图像复用模式信息和强制2D标记信息等。在EIT准备装置201中,3D特定信息(相当于权利要求1的构建立体视频对的辅助信息)是在3D图像控制信息中的每个3D内容的特定信息,比如2D显示图像信息,视差量调整信息以及3D场景时间信息。3D图像是由具有方位差的多个图像组组成的图像,比如对应两个视点的图像,左眼图像和右眼图像,并排对准。在广播数据接收机1500中,传输线解码装置1501执行数字解调和错误校正获得TS包数据(相当于权利要求1的三维视频序列码流),分离装置1502根据TS包数据关联的PID选择所需的TS包数据,以及PMT或EIT(相当于权利要求1的从三维视频序列码流中获取用于构建立体视频对的辅助信息,包括从所述三维视频序列码流中提取辅助信息码流),并输出TS包数据给节目配置信息分析装置1503,节目配置信息分析装置1503分析输入的PMT获得组合有节目、音频数据和用于数据广播的数据的视频数据的PID,再输入给分离装置1502,具有目标节目、音频数据和用于数据广播的数据的TS包数据被检索并分别输出到视频解码装置1505,音频解码装置1507和数据处理装置1506(对比文件2解码节目数据,必定重建相应的三维视频序列,相当于隐含公开了权利要求1的特征:重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果), 视频数据解码后被输入到合成装置1508。当强制2D标记信息为0时,显示控制在合成装置1508中执行由此3D显示可以执行,并且显示模式是3D,例如,当图像复用模式信息指示一集成方法并且图像配置信息指示一致,图像帧以如图13显示的形式作为视频数据服务输入,也就是输入左右眼图像(相当于权利要求1的辅助信息用于指示由重建的三维视频序列构建所述立体视频对)。如图16所示,左眼图像的像素L1显示在显示位置1601,右眼图像的像素R1相应的显示在显示位置1602,这些像素成像在位置1603,当右眼图像的像素R1的显示位置移动到左边,从显示位置1602改变到显示位置1604,在位置1603的图像则在1605变得可见。相对的,像素R1移动到显示位置1602的右边,在位置1603的图像在显示屏幕后面位置变得可见。为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像(相当于权利要求1的对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数)。
权利要求1与对比文件2的区别在于:1)从所述辅助信息码流中解码得到所述辅助信息,所述辅助信息包括平移像素数,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n-1,所述K为整数;2)所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。基于上述区别特征,本申请实际所要解决的技术问题是:1)如何对两个视点的立体视频对进行视差调整,2)如何传输辅助信息。
对于区别特征1),在本领域中,根据实际需要而在辅助信息码流中设置和传输相应的信息参数,这是本领域的惯用手段,由此在对比文件2已经公开通过将像素水平平移以调整视差的基础上,本领域技术人员有动机将其发送端的视差量调整信息设置为平移像素数,以直接指示对所述三维视频对中两个视点的视频序列图像进行水平平移的像素数,并且对编码的辅助信息码流在接收端进行解码也是本领域的惯用手段。另外,在三维视频领域,对于同一目标拍摄,左右眼图像之间具有最大和最小视差调整范围,在允许范围内,可以根据左右眼视点位置确定的视差为标准,进行视差范围内的更大或更小调整,而由此将平移像素数数值化,并根据具体情况设定指示图像移动方向的方式,例如选择右图像不动,向左或向右平移左图像来方便显示端调整相应视差,这是本领域的惯用手段。
对于区别特征2),其中一部分特征在对比文件1(参见说明书第0327、0330、0338、0372、0421、0431、0434段,图37、41、96)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求1的辅助信息码流中的部分信息存在所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求1的辅助信息码流中的部分信息存在所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。上述特征在对比文件1中所起的作用与在本申请中所起的作用相同,都是为了传送辅助信息。在通用的H.264编码模式中,具有序列参数集、补充增强信息、视频有用信息等信息,目的是为了改进码流结构,增强错误恢复能力,并提供额外的数据或同步信息以适当提高同步性能或定义图像的复杂特征。由此当在对比文件2中采用相应编码模式时,利用相应的序列参数集、补充增强信息和视频有用信息来传输视频附加信息是本领域的惯用手段,而根据序列参数集、补充增强信息、视频有用信息的定义,其可以传输的内容不同,其传输性能要求也不同,由此根据对所要传输附加信息的具体内容和性质,传输性能等的需求,将相应附加信息全部存在/携带于子集序列参数集、补充增强信息或视频有用信息中传输,或是部分存在/携带于视频有用信息中传输,这是本领域的惯用手段。
由此可见,在对比文件2的基础上结合对比文件1以及本领域的惯用手段来得出权利要求1的技术方案对本领域技术人员来说是显而易见的,权利要求1的技术方案不具有突出的实质性特点和显著的进步,因此权利要求1不具有专利法第22条第3款的创造性。
2.权利要求2是对权利要求1的进一步限定,其附加技术特征的一部分在对比文件1(出处同上)中公开:描述了表示图像的对应关系信息(interval_view_id)(相当于权利要求2的最小视点序号视点位置标识)作为视差信息。另外,在三维视频领域中,虚拟视点的应用已是本领域的惯用手段,为利于三维视频显示,根据对比文件2要发送视差量调整信息以调整最终三维显示效果的启示,当包含虚拟视点视频序列时,相应的将所描述的虚拟视点合成标识、合成精度、最小视点序号视点选择标识、虚拟视点位置参数存在辅助信息中发送给接收端,以进行三维视频对的构建显示从而获得更好的三维呈现效果。因此,在其引用的权利要求不具有创造性的情况下,本权利要求也不具有专利法第22条第3款的创造性。
3. 权利要求3要求保护一种三维视频序列辅助信息的编码方法,对比文件2(参见说明书第0039-0074段、第0084-0106段,图1-2、9、11、13、15-16)公开了一种广播数据源,广播数据传输方法以及广播数据接收机:广播数据源100包括节目配置信息准备装置101,复用装置102和传输线编码装置103。节目配置信息准备装置101构建的节目配置信息通过复用装置102复用存在TS包中,传输线装置103根据固定调制方法编码TS包并作为广播数据传输(相当于权利要求3的将辅助信息码流写入所述的三维视频序列码流中)。其节目配置信息准备装置101包括PMT准备装置200和EIT准备装置201。在PMT准备装置200中,流信息包括组成3D图像的3D图像视频数据时,输入3D通用信息,3D通用信息(相当于权利要求3的三维视频序列码流的辅助信息)包括视点数目信息,图像复用模式信息和强制2D标记信息等。在EIT准备装置201中,3D特定信息(相当于权利要求3的三维视频序列码流的辅助信息)是在3D图像控制信息中的每个3D内容的特定信息,比如2D显示图像信息,视差量调整信息以及3D场景时间信息。3D图像是由具有方位差的多个图像组组成的图像,比如对应两个视点的图像,左眼图像和右眼图像,并排对准。在广播数据接收机1500中,传输线解码装置1501执行数字解调和错误校正获得TS包数据,分离装置1502根据TS包数据关联的PID选择所需的TS包数据,以及PMT或EIT,并输出TS包数据给节目配置信息分析装置1503,节目配置信息分析装置1503分析输入的PMT获得组合有节目、音频数据和用于数据广播的数据的视频数据的PID,再输入给分离装置1502,具有目标节目、音频数据和用于数据广播的数据的TS包数据被检索并分别输出到视频解码装置1505,音频解码装置1507和数据处理装置1506(对比文件2解码节目数据,必定重建相应的三维视频序列,相当于隐含公开了权利要求3的特征:重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果),视频数据解码后被输入到合成装置1508。当强制2D标记信息为0时,显示控制在合成装置1508中执行由此3D显示可以执行,并且显示模式是3D,例如,当图像复用模式信息指示一集成方法并且图像配置信息指示一致,图像帧以如图13显示的形式作为视频数据服务输入,也就是输入左右眼图像(相当于权利要求3的所述辅助信息用于指示由重建的三维视频序列产生一个立体视频对)。如图16所示,左眼图像的像素L1显示在显示位置1601,右眼图像的像素R1相应的显示在显示位置1602,这些像素成像在位置1603,当右眼图像的像素R1的显示位置移动到左边,从显示位置1602改变到显示位置1604,在位置1603的图像则在1605变得可见。相对的,像素R1移动到显示位置1602的右边,在位置1603的图像在显示屏幕后面位置变得可见。为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像(相当于权利要求3的对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数)。
权利要求3与对比文件2的区别在于:1)将所述辅助信息编码为辅助信息码流,所述辅助信息包括平移像素数,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n-1,所述K为整数;2)所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;所述辅助信息携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。基于上述区别特征,本申请实际所要解决的技术问题是:1)如何对两个视点的立体视频对进行视差调整,2)如何传输辅助信息。
对于区别特征1),在本领域中,根据实际需要而在辅助信息码流中设置和传输相应的信息参数,这是本领域的惯用手段,由此在对比文件2已经公开通过像素水平平移以调整视差的基础上,本领域技术人员有动机将其发送端的视差量调整信息设置为平移像素数,以直接指示对所述三维视频对中两个视点的视频序列图像进行水平平移的像素数,而对辅助信息进行编码以进行相应传输也是本领域的惯用手段。另外,在三维视频领域,对于同一目标拍摄,左右眼图像之间具有最大和最小视差调整范围,在允许范围内,可以根据左右眼视点位置确定的视差为标准,进行视差范围内的更大或更小调整,而由此将平移像素数数值化,并根据具体情况设定指示图像移动方向的方式,例如选择右图像不动,向左或向右平移左图像来方便显示端调整相应视差,这是本领域的惯用手段。
对于区别特征2),其中一部分特征在对比文件1(参见说明书第0327、0330、0338、0372、0421、0431、0434段,图37、41、96)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求3的辅助信息码流中的部分信息存在所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求3的辅助信息码流中的部分信息存在所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。上述特征在对比文件1中所起的作用与在本申请中所起的作用相同,都是为了传送辅助信息。在通用的H.264编码模式中,具有序列参数集、补充增强信息、视频有用信息等信息,目的是为了改进码流结构,增强错误恢复能力,并提供额外的数据或同步信息以适当提高同步性能或定义图像的复杂特征。由此当在对比文件2中采用相应编码模式时,利用相应的序列参数集、补充增强信息和视频有用信息来传输视频附加信息是本领域的惯用手段,而根据序列参数集、补充增强信息、视频有用信息的定义,其可以传输的内容不同,其传输性能要求也不同,由此根据对所要传输附加信息的具体内容和性质,传输性能等的需求,将相应附加信息全部存在/携带于子集序列参数集、补充增强信息或视频有用信息中传输,或是部分存在/携带于视频有用信息中传输,这是本领域的惯用手段。
由此可见,在对比文件2的基础上结合对比文件1以及本领域的惯用手段来得出权利要求3的技术方案对本领域技术人员来说是显而易见的,权利要求3的技术方案不具有突出的实质性特点和显著的进步,因此权利要求3不具有专利法第22条第3款的创造性。
4.权利要求4是对权利要求3的进一步限定,其附加技术特征的一部分在对比文件1(出处同上)中公开:描述了表示图像的对应关系信息(interval_view_id)(相当于权利要求4的最小视点序号视点位置标识)作为视差信息。另外,在三维视频领域中,虚拟视点的应用已是本领域的惯用手段,为利于三维视频显示,根据对比文件2要发送视差量调整信息以调整最终三维显示效果的启示,当包含虚拟视点视频序列时,相应的将所描述的虚拟视点合成标识、合成精度、最小视点序号视点选择标识、虚拟视点位置参数存在辅助信息中发送给接收端,以进行三维视频对的构建显示从而获得更好的三维呈现效果。因此,在其引用的权利要求不具有创造性的情况下,本权利要求也不具有专利法第22条第3款的创造性。
5.权利要求5要求保护一种三维视频序列辅助信息的解码方法,对比文件2(参见说明书第0039-0074段、第0084-0106段,图1-2、9、11、13、15-16)公开了一种广播数据源,广播数据传输方法以及广播数据接收机:广播数据源100包括节目配置信息准备装置101,复用装置102和传输线编码装置103。节目配置信息准备装置101包括PMT准备装置200和EIT准备装置201。在PMT准备装置200中,流信息包括组成3D图像的3D图像视频数据时,输入3D通用信息,3D通用信息包括视点数目信息,图像复用模式信息和强制2D标记信息等。在EIT准备装置201中,3D特定信息是在3D图像控制信息中的每个3D内容的特定信息,比如2D显示图像信息,视差量调整信息以及3D场景时间信息。3D图像是由具有方位差的多个图像组组成的图像,比如对应两个视点的图像,左眼图像和右眼图像,并排对准。在广播数据接收机1500中,传输线解码装置1501执行数字解调和错误校正获得TS包数据(相当于权利要求5的三维视频序列码流),分离装置1502根据TS包数据关联的PID选择所需的TS包数据,以及PMT或EIT(相当于权利要求5的从三维视频序列码流中提取辅助信息码流),并输出TS包数据给节目配置信息分析装置1503,节目配置信息分析装置1503分析输入的PMT获得组合有节目、音频数据和用于数据广播的数据的视频数据的PID,再输入给分离装置1502,具有目标节目、音频数据和用于数据广播的数据的TS包数据被检索并分别输出到视频解码装置1505,音频解码装置1507和数据处理装置1506(对比文件1解码节目数据,必定重建相应的三维视频序列,相当于隐含公开了权利要求5的特征:重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果),视频数据解码后被输入到合成装置1508。当强制2D标记信息为0时,显示控制在合成装置1508中执行由此3D显示可以执行,并且显示模式是3D,例如,当图像复用模式信息指示一集成方法并且图像配置信息指示一致,图像帧以如图13显示的形式作为视频数据服务输入,也就是输入左右眼图像(相当于权利要求5的根据重建的三维视频序列构建的立体视频对)。如图16所示,左眼图像的像素L1显示在显示位置1601,右眼图像的像素R1相应的显示在显示位置1602,这些像素成像在位置1603,当右眼图像的像素R1的显示位置移动到左边,从显示位置1602改变到显示位置1604,在位置1603的图像则在1605变得可见。相对的,像素R1移动到显示位置1602的右边,在位置1603的图像在显示屏幕后面位置变得可见。为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像(相当于权利要求5的对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数)。
权利要求5与对比文件2的区别在于:1)从辅助信息码流中解码得到平移像素数,平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n-1,所述K为整数;2)所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。基于上述区别特征,本申请实际所要解决的技术问题是:1)如何对两个视点的立体视频对进行视差调整,2)如何传输辅助信息。
对于区别特征1),在本领域中,根据实际需要而在辅助信息码流中设置和传输相应的信息参数,这是本领域的惯用手段,由此在对比文件2已经公开通过像素水平平移以调整视差的基础上,本领域技术人员有动机将其发送端的视差量调整信息设置为平移像素数,以直接指示对所述三维视频对中两个视点的视频序列图像进行水平平移的像素数,并且对编码的辅助信息码流在接收端进行解码也是本领域的惯用手段。另外,在三维视频领域,对于同一目标拍摄,左右眼图像之间具有最大和最小视差调整范围,在允许范围内,可以根据左右眼视点位置确定的视差为标准,进行视差范围内的更大或更小调整,而由此将平移像素数数值化,并根据具体情况设定指示图像移动方向的方式,例如选择右图像不动,向左或向右平移左图像来方便显示端调整相应视差,这是本领域的惯用手段。
对于区别特征2),其中一部分特征在对比文件1(参见说明书第0327、0330、0338、0372、0421、0431、0434段,图37、41、96)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求7的辅助信息码流中的部分信息存在所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求7的辅助信息码流中的部分信息存在所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。上述特征在对比文件1中所起的作用与在本申请中所起的作用相同,都是为了传送辅助信息。在通用的H.264编码模式中,具有序列参数集、补充增强信息、视频有用信息等信息,目的是为了改进码流结构增强错误恢复能力,并提供额外的数据或同步信息以适当提高同步性能或定义图像的复杂特征。由此当在对比文件2中采用相应编码模式,并利用相应的序列参数集、补充增强信息和视频有用信息来传输视频附加信息是本领域的惯用手段,而根据序列参数集、补充增强信息、视频有用信息的定义,其可以传输的内容不同,其传输性能要求也不同,由此根据对所要传输附加信息的具体内容和性质,传输性能等的需求,将相应附加信息全部存在于子集序列参数集、补充增强信息或视频有用信息中传输,或是部分存在视频有用信息中传输,如将平移像素数携带在所述三维视频序列码流的视频可用信息、补充增强信息以及子集序列参数集的至少之一中,这是本领域的惯用手段。
由此可见,在对比文件2的基础上结合对比文件1以及本领域的惯用手段来得出权利要求5的技术方案对本领域技术人员来说是显而易见的,权利要求5的技术方案不具有突出的实质性特点和显著的进步,因此权利要求5不具有专利法第22条第3款的创造性。
6. 权利要求6要求保护一种三维视频序列辅助信息的编码方法,对比文件2(参见说明书第0039-0074段、第0084-0106段,图1-2、9、11、13、15-16)公开了一种广播数据源,广播数据传输方法以及广播数据接收机:广播数据源100包括节目配置信息准备装置101,复用装置102和传输线编码装置103。节目配置信息准备装置101构建的节目配置信息通过复用装置102复用存在TS包中,传输线装置103根据固定调制方法编码TS包并作为广播数据传输。其节目配置信息准备装置101包括PMT准备装置200和EIT准备装置201。在PMT准备装置200中,流信息包括组成3D图像的3D图像视频数据时,输入3D通用信息,3D通用信息包括视点数目信息,图像复用模式信息和强制2D标记信息等。在EIT准备装置201中,3D特定信息是在3D图像控制信息中的每个3D内容的特定信息,比如2D显示图像信息,视差量调整信息以及3D场景时间信息。3D图像是由具有方位差的多个图像组组成的图像,比如对应两个视点的图像,左眼图像和右眼图像,并排对准。在广播数据接收机1500中,传输线解码装置1501执行数字解调和错误校正获得TS包数据,分离装置1502根据TS包数据关联的PID选择所需的TS包数据,以及PMT或EIT,并输出TS包数据给节目配置信息分析装置1503,节目配置信息分析装置1503分析输入的PMT获得组合有节目、音频数据和用于数据广播的数据的视频数据的PID,再输入给分离装置1502,具有目标节目、音频数据和用于数据广播的数据的TS包数据被检索并分别输出到视频解码装置1505,音频解码装置1507和数据处理装置1506(对比文件2解码节目数据,必定重建相应的三维视频序列,相当于隐含公开了权利要求6的特征:重建的三维视频序列是对所述三维视频序列码流进行解码后得到的结果),视频数据解码后被输入到合成装置1508。当强制2D标记信息为0时,显示控制在合成装置1508中执行由此3D显示可以执行,并且显示模式是3D,例如,当图像复用模式信息指示一集成方法并且图像配置信息指示一致,图像帧以如图13显示的形式作为视频数据服务输入,也就是输入左右眼图像(相当于权利要求6的所述辅助信息用于指示由重建的三维视频序列产生一个立体视频对)。如图16所示,左眼图像的像素L1显示在显示位置1601,右眼图像的像素R1相应的显示在显示位置1602,这些像素成像在位置1603,当右眼图像的像素R1的显示位置移动到左边,从显示位置1602改变到显示位置1604,在位置1603的图像则在1605变得可见。相对的,像素R1移动到显示位置1602的右边,在位置1603的图像在显示屏幕后面位置变得可见。为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像(相当于权利要求6的对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数)。
权利要求6与对比文件2的区别在于:1)将平移像素数编码为辅助信息流,将携带有所述平移像素数的辅助信息码流写入所述三维视频序列码流,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n-1,所述K为整数;2)所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;将所述平移像素数写入在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。基于上述区别特征,本申请实际所要解决的技术问题是:1)如何对两个视点的立体视频对进行视差调整,2)如何传输辅助信息。
对于区别特征1),在本领域中,根据实际需要而在辅助信息码流中设置和传输相应的信息参数,这是本领域的惯用手段,由此在对比文件2已经公开通过像素水平平移以调整视差的基础上,本领域技术人员有动机将其发送端的视差量调整信息设置为平移像素数,以直接指示对所述三维视频对中两个视点的视频序列图像进行水平平移的像素数,而对平移像素数进行编码并写入到相应三维视频序列码流中也是本领域的惯用手段。另外,在三维视频领域,对于同一目标拍摄,左右眼图像之间具有最大和最小视差调整范围,在允许范围内,可以根据左右眼视点位置确定的视差为标准,进行视差范围内的更大或更小调整,而由此将平移像素数数值化,并根据具体情况设定指示图像移动方向的方式,例如选择右图像不动,向左或向右平移左图像来方便显示端调整相应视差,这是本领域的惯用手段。
对于区别特征2),其中一部分特征在对比文件1(参见说明书第0327、0330、0338、0372、0421、0431、0434段,图37、41、96)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求6的辅助信息码流中的部分信息存在所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求6的辅助信息码流中的部分信息存在所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。上述特征在对比文件1中所起的作用与在本申请中所起的作用相同,都是为了传送辅助信息。在通用的H.264编码模式中,具有序列参数集、补充增强信息、视频有用信息等信息,目的是为了改进码流结构,增强错误恢复能力,并提供额外的数据或同步信息以适当提高同步性能或定义图像的复杂特征。由此当在对比文件2中采用相应编码模式时,利用相应的序列参数集、补充增强信息和视频有用信息来传输视频附加信息是本领域的惯用手段,而根据序列参数集、补充增强信息、视频有用信息的定义,其可以传输的内容不同,其传输性能要求也不同,由此根据对所要传输附加信息的具体内容和性质,传输性能等的需求,将相应附加信息全部存在/携带于子集序列参数集、补充增强信息或视频有用信息中传输,或是部分存在/携带于视频有用信息中传输,这是本领域的惯用手段。
由此可见,在对比文件2的基础上结合对比文件1以及本领域的惯用手段来得出权利要求6的技术方案对本领域技术人员来说是显而易见的,权利要求6的技术方案不具有突出的实质性特点和显著的进步,因此权利要求6不具有专利法第22条第3款的创造性。
7.权利要求7要求保护一种三维视频序列辅助信息的解码装置,其是与权利要求1一一对应的装置权利要求,采用具有辅助信息码流提取模块和辅助信息码流解码模块的辅助信息获取单元来完成相应功能是本领域的惯用手段,结合权利要求1的评述可知,权利要求7也不具有专利法第22条第3款的创造性。
8.权利要求8要求保护一种三维视频序列辅助信息的编码装置,其是与权利要求3一一对应的装置权利要求,采用具有辅助信息码流生成模块和辅助信息码流写入模块的辅助信息写入单元来完成相应功能是本领域的惯用手段,结合权利要求3的评述可知,权利要求8也不具有专利法第22条第3款的创造性。
9.权利要求9要求保护一种三维视频序列辅助信息的解码装置,其是与权利要求5一一对应的装置权利要求,采用具有辅助信息码流提取模块和辅助信息码流解码模块的辅助信息获取单元来完成相应功能是本领域的惯用手段,结合权利要求5的评述可知,权利要求9也不具有专利法第22条第3款的创造性。
10.权利要求10要求保护一种三维视频序列辅助信息的编码装置,其是与权利要求6一一对应的装置权利要求,采用具有辅助信息码流生成模块和辅助信息码流写入模块的辅助信息写入单元来完成相应功能是本领域的惯用手段,结合权利要求6的评述可知,权利要求10也不具有专利法第22条第3款的创造性。
11.权利要求11要求保护一种三维视频序列辅助信息的编码方法,对比文件2(参见说明书第0039-0074段、第0084-0106段,图1-2、9、11、13、15-16)公开了一种广播数据源,广播数据传输方法以及广播数据接收机:广播数据源100包括节目配置信息准备装置101,复用装置102和传输线编码装置103。节目配置信息准备装置101构建的节目配置信息通过复用装置102复用存在TS包中,传输线装置103根据固定调制方法编码TS包并作为广播数据传输(相当于权利要求11的将辅助信息码流写入所述的三维视频序列码流中)。其节目配置信息准备装置101包括PMT准备装置200和EIT准备装置201。在PMT准备装置200中,流信息包括组成3D图像的3D图像视频数据时,输入3D通用信息,3D通用信息(相当于权利要求11的三维视频序列辅助信息)包括视点数目信息,图像复用模式信息和强制2D标记信息等。在EIT准备装置201中,3D特定信息(相当于权利要求11的三维视频序列辅助信息)是在3D图像控制信息中的每个3D内容的特定信息,比如2D显示图像信息,视差量调整信息以及3D场景时间信息。3D图像是由具有方位差的多个图像组组成的图像,比如对应两个视点的图像,左眼图像和右眼图像,并排对准。在广播数据接收机1500中,传输线解码装置1501执行数字解调和错误校正获得TS包数据,分离装置1502根据TS包数据关联的PID选择所需的TS包数据,以及PMT或EIT,并输出TS包数据给节目配置信息分析装置1503,节目配置信息分析装置1503分析输入的PMT获得组合有节目、音频数据和用于数据广播的数据的视频数据的PID,再输入给分离装置1502,具有目标节目、音频数据和用于数据广播的数据的TS包数据被检索并分别输出到视频解码装置1505,音频解码装置1507和数据处理装置1506,视频数据解码后被输入到合成装置1508。当强制2D标记信息为0时,显示控制在合成装置1508中执行由此3D显示可以执行,并且显示模式是3D,例如,当图像复用模式信息指示一集成方法并且图像配置信息指示一致,图像帧以如图13显示的形式作为视频数据服务输入,也就是输入左右眼图像(相当于权利要求11的三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理)。如图16所示,左眼图像的像素L1显示在显示位置1601,右眼图像的像素R1相应的显示在显示位置1602,这些像素成像在位置1603,当右眼图像的像素R1的显示位置移动到左边,从显示位置1602改变到显示位置1604,在位置1603的图像则在1605变得可见。相对的,像素R1移动到显示位置1602的右边,在位置1603的图像在显示屏幕后面位置变得可见。为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像(相当于权利要求11的对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数)。
权利要求11与对比文件2的区别在于:1)所述三维视频序列辅助信息包括平移像素数,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n-1,所述K为整数,并编码所述三维视频序列辅助信息;2)所述三维视频序列辅助信息包括虚拟视点合成标识、最小视点序号视点为左视标识、合成精度、最小视点序号视点选择标识、虚拟视点位置参数至少之一;3)所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中;按照以下方式之一将所述的辅助信息码流写入所述的三维视频序列码流:将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的补充增强信息中;将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的视频可用信息中;或者将所述辅助信息码流中的部分或全部信息写入所述三维视频序列码流的子集序列参数集中。基于上述区别特征,本申请实际所要解决的技术问题是:1)如何对两个视点的立体视频对进行视差调整,2)如何使得三维显示效果更佳,3)如何传输辅助信息。
对于区别特征1),在本领域中,根据实际需要而在辅助信息码流中设置和传输相应的信息参数,这是本领域的惯用手段,由此在对比文件2已经公开通过像素水平平移以调整视差的基础上,本领域技术人员有动机将其发送端的视差量调整信息设置为平移像素数,以直接指示对所述三维视频对中两个视点的视频序列图像进行水平平移的像素数,并且对辅助信息进行编码以并写入到相应三维视频序列码流中也是本领域的惯用手段。另外,在三维视频领域,对于同一目标拍摄,左右眼图像之间具有最大和最小视差调整范围,在允许范围内,可以根据拍摄端左右摄像机视点位置确定的视差为标准,进行视差范围内的更大或更小调整,而由此将平移像素数数值化,并根据具体情况设定指示图像移动方向的方式,例如选择右图像不动,向左或向右平移左图像来方便显示端调整相应视差,这是本领域的惯用手段。
对于区别特征2),对比文件1(参见说明书第0327、0330、0338、0372、0421、0431、0434段,图37、41、96)中公开了:描述了表示图像的对应关系信息(interval_view_id)作为视差信息。可见对比文件1中给出了技术启示需要将左右眼图像的对应关系发送给显示端,而在其中具体设置最小视点序号视点为左视标识以表明左右眼图像关系,这是本领域的惯用手段。另外,在三维视频领域中,虚拟视点的应用已是本领域的惯用手段,为利于三维视频显示,根据对比文件2要发送视差量调整信息以调整三维效果的启示,当包含虚拟视点视频序列时,相应的将所描述的虚拟视点合成标识、合成精度、最小视点序号视点选择标识、虚拟视点位置参数存在辅助信息中发送给接收端,以进行三维视频对的构建显示从而获得更好的三维呈现效果,这是本领域的惯用手段。
对于区别特征3),其中一部分特征在对比文件1(出处同上)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求11的辅助信息码流中的部分信息存在并写入所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求11的辅助信息码流中的部分信息存在并写入所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。上述特征在对比文件1中所起的作用与在本申请中所起的作用相同,都是为了传送辅助信息。在通用的H.264编码模式中,具有序列参数集、补充增强信息、视频有用信息等信息,目的是为了改进码流结构增强错误恢复能力,并提供额外的数据或同步信息以适当提高同步性能或定义图像的复杂特征。由此当在对比文件2中采用相应编码模式,并利用相应的序列参数集、补充增强信息和视频有用信息来传输视频附加信息是本领域的惯用手段,而根据序列参数集、补充增强信息、视频有用信息的定义,其可以传输的内容不同,其传输性能要求也不同,由此根据对所要传输附加信息的具体内容和性质,传输性能等的需求,将相应附加信息全部存在/写入子集序列参数集、补充增强信息或视频有用信息中传输,或是部分存在/写入视频有用信息中传输,这是本领域的惯用手段。
由此可见,在对比文件2的基础上结合对比文件1以及本领域的惯用手段来得出权利要求11的技术方案对本领域技术人员来说是显而易见的,权利要求11的技术方案不具有突出的实质性特点和显著的进步,因此权利要求11不具有专利法第22条第3款的创造性。
12.权利要求12要求保护一种三维视频序列辅助信息的解码方法,对比文件2(参见说明书第0039-0074段、第0084-0106段,图1-2、9、11、13、15-16)公开了一种广播数据源,广播数据传输方法以及广播数据接收机:广播数据源100包括节目配置信息准备装置101,复用装置102和传输线编码装置103。节目配置信息准备装置101包括PMT准备装置200和EIT准备装置201。在PMT准备装置200中,流信息包括组成3D图像的3D图像视频数据时,输入3D通用信息,3D通用信息(相当于权利要求12的三维视频序列辅助信息)包括视点数目信息,图像复用模式信息和强制2D标记信息等。在EIT准备装置201中,3D特定信息(相当于权利要求12的三维视频序列辅助信息)是在3D图像控制信息中的每个3D内容的特定信息,比如2D显示图像信息,视差量调整信息以及3D场景时间信息。3D图像是由具有方位差的多个图像组组成的图像,比如对应两个视点的图像,左眼图像和右眼图像,并排对准。在广播数据接收机1500中,传输线解码装置1501执行数字解调和错误校正获得TS包数据(相当于权利要求12的三维视频序列码流),分离装置1502根据TS包数据关联的PID选择所需的TS包数据,以及PMT或EIT(相当于权利要求12的从三维视频序列码流中提取辅助信息码流),并输出TS包数据给节目配置信息分析装置1503(相当于权利要求12的获得三维视频序列辅助信息),节目配置信息分析装置1503分析输入的PMT获得组合有节目、音频数据和用于数据广播的数据的视频数据的PID,再输入给分离装置1502,具有目标节目、音频数据和用于数据广播的数据的TS包数据被检索并分别输出到视频解码装置1505,音频解码装置1507和数据处理装置1506, 视频数据解码后被输入到合成装置1508。当强制2D标记信息为0时,显示控制在合成装置1508中执行由此3D显示可以执行,并且显示模式是3D,例如,当图像复用模式信息指示一集成方法并且图像配置信息指示一致,图像帧以如图13显示的形式作为视频数据服务输入,也就是输入左右眼图像(相当于权利要求12的三维视频序列辅助信息用于指示由重建的三维视频序列产生一个立体视频对的处理)。如图16所示,左眼图像的像素L1显示在显示位置1601,右眼图像的像素R1相应的显示在显示位置1602,这些像素成像在位置1603,当右眼图像的像素R1的显示位置移动到左边,从显示位置1602改变到显示位置1604,在位置1603的图像则在1605变得可见。相对的,像素R1移动到显示位置1602的右边,在位置1603的图像在显示屏幕后面位置变得可见。为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像(相当于权利要求12的对所述立体视频对中两个视点的视频序列图像进行水平平移的像素数)。
权利要求12与对比文件2的区别在于:1)所述三维视频序列辅助信息包括平移像素数,所述平移像素数C可数值化为一个包括0到2n-1之间的整数的语法元素,其数值记为C';其中C'大于等于K表示左视点图像相对于右视点图像向右平移C'-K个像素;C'小于K表示左视点图像相对于右视点图像向左平移K-C'个像素,所述n为正整数,0≤K≤2n-1,所述K为整数,并解码所述三维视频序列辅助信息;2)所述三维视频序列辅助信息还包括虚拟视点合成标识、最小视点序号视点为左视标识、合成精度、最小视点序号视点选择标识、虚拟视点位置参数至少之一;3)所述辅助信息码流按照以下方式之一存在于三维视频序列码流中:所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中,所述平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集。基于上述区别特征,本申请实际所要解决的技术问题是:1)如何对两个视点的立体视频对进行视差调整,2)如何使得三维显示效果更佳,3)如何传输辅助信息。
对于区别特征1),在本领域中,根据实际需要而在辅助信息码流中设置和传输相应的信息参数,这是本领域的惯用手段,由此在对比文件2已经公开通过像素水平平移以调整视差的基础上,本领域技术人员有动机将其发送端的视差量调整信息设置为平移像素数,以直接指示对所述三维视频对中两个视点的视频序列图像进行水平平移的像素数,并且对编码的辅助信息码流在接收端进行解码也是本领域的惯用手段。另外,在三维视频领域,对于同一目标拍摄,左右眼图像之间具有最大和最小视差调整范围,在允许范围内,可以根据拍摄端左右摄像机视点位置确定的视差为标准,进行视差范围内的更大或更小调整,而由此将平移像素数数值化,并根据具体情况设定指示图像移动方向的方式,例如选择右图像不动,向左或向右平移左图像来方便显示端调整相应视差,这是本领域的惯用手段。
对于区别特征2),对比文件1(参见说明书第0327、0330、0338、0372、0421、0431、0434段,图37、41、96)中公开了:描述了表示图像的对应关系信息(interval_view_id)作为视差信息。可见对比文件1中给出了技术启示需要将左右眼图像的对应关系发送给显示端,而在其中具体设置最小视点序号视点为左视标识以表明左右眼图像关系,这是本领域的惯用手段。另外,在三维视频领域中,虚拟视点的应用已是本领域的惯用手段,为利于三维视频显示,根据对比文件2要发送视差量调整信息以调整三维效果的启示,当包含虚拟视点视频序列时,相应的将所描述的虚拟视点合成标识、合成精度、最小视点序号视点选择标识、虚拟视点位置参数存在辅助信息中发送给接收端,以进行三维视频对的构建显示从而获得更好的三维呈现效果,这是本领域的惯用手段。
对于区别特征3),其中一部分特征在对比文件1(出处同上)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求12的辅助信息码流中的部分信息存在并携带在所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求12的辅助信息码流中的部分信息存在并携带在所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。上述特征在对比文件1中所起的作用与在本申请中所起的作用相同,都是为了传送辅助信息。在通用的H.264编码模式中,具有序列参数集、补充增强信息、视频有用信息等信息,目的是为了改进码流结构增强错误恢复能力,并提供额外的数据或同步信息以适当提高同步性能或定义图像的复杂特征。由此当在对比文件2中采用相应编码模式,并利用相应的序列参数集、补充增强信息和视频有用信息来传输视频附加信息是本领域的惯用手段,而根据序列参数集、补充增强信息、视频有用信息的定义,其可以传输的内容不同,其传输性能要求也不同,由此根据对所要传输附加信息的具体内容和性质,传输性能等的需求,将相应附加信息全部存在子集序列参数集、补充增强信息或视频有用信息中传输,或是部分存在视频有用信息中传输,如将平移像素数携带在所述三维视频序列码流的以下至少之一的信息中:视频可用信息、补充增强信息以及子集序列参数集,这是本领域的惯用手段。
由此可见,在对比文件2的基础上结合对比文件1以及本领域的惯用手段来得出权利要求12的技术方案对本领域技术人员来说是显而易见的,权利要求12的技术方案不具有突出的实质性特点和显著的进步,因此权利要求12不具有专利法第22条第3款的创造性。
13.权利要求13是对权利要求12的进一步限定,其附加技术特征在对比文件1(出处同上)中公开:分离单元362从比特流中提取L图像的编码数据、SPS(相当于权利要求13的辅助信息携带在所述三维视频序列码流的子集序列参数集中)以及SEI(相当于权利要求13的辅助信息携带在所述三维视频序列码流的补充增强信息中)的NAL单元,分离单元362从比特流中提取R图像的编码数据、子集SPS以及SEI的NAL单元。而根据辅助信息的内容、传输性能要求等将其携带在视频有用信息中传输也是本领域的惯用手段。因此,在其引用的权利要求不具有创造性的情况下,本权利要求也不具有专利法第22条第3款的创造性。
14.权利要求14要求保护一种三维视频序列辅助信息的编码装置,权利要求15-16要求保护一种三维视频序列辅助信息的解码装置,其分别是与权利要求11,12-13的方法一一对应的装置权利要求,采用相应模块来完成相应功能是本领域的惯用手段,结合权利要求11,12-13的评述可知,权利要求14、15-16也不具有专利法第22条第3款的创造性。
(三)专利法第2条第2款
专利法第2条第2款规定:发明,是对产品、方法或者其改进所提出的新的技术方案。
权利要求17要求保护一种三维视频序列码流辅助信息码流,虽然权利要求17中对其携带的内容以及在三维视频序列码流中的存在方式进行了限定,但其实质上请求保护的主题是一种码流,而码流本身不属于专利法意义上的产品发明,也不属于专利法意义上的方法发明,因此权利要求17不属于专利法第2条第2款规定的发明专利保护的客体。
(四)对复审请求人相关意见的评述
对于复审请求人的意见陈述,合议组认为:(1)对比文件2公开了传输视差量调整信息,并且为了实现由视差量调整信息指定的淘析量,3D控制装置1504输出控制信息给合成装置1508,由此仅预定的像素数目可以水平上左右偏移图像,也即视差量调整信息最终呈现为通过左右眼图像像素平移来调整相应视差,可见视差量调整信息对视频序列图像呈现为水平平移作用,而且在本领域中,三维图像调整视差就是调整左右图像的视差量,其通常就是表现为左右图像的左右水平平移调整从而改变图像的相应显示位置,由此为了方便显示端立体成像效果的调整,直接将相应的视差量调整信息设置为平移像素数是本领域技术人员有动机想到的,而根据实际的视差调整范围和三维显示效果需要,具体设定相应的像素平移参数是本领域的惯用手段。(2)首先,复审请求人权利要求1中新增加的特征是前次复审通知书所针对的权利要求3的附加技术特征,该特征与权利要求1中原有特征“所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的补充增强信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的视频可用信息中;所述辅助信息码流中的部分或全部信息存在于所述三维视频序列码流的子集序列参数集中”属于特征重复,两者实质含义一样,其次,对比文件1中根据其辅助信息的不同和需要将辅助信息部分的存在SEI、VUI、SPS中,而且现有技术中已经对SEI、VUI、SPS的内容和传输特性进行过定义,也即不同的辅助信息如何与SEI、VUI、SPS关联是可以参照相关定义来设置的,可见在遇到不同的辅助信息需要传输时,考虑其具体内容和实际传输的性能要求,选择将辅助信息全部存于SEI、VUI、SPS中对本领域技术人员来说并不难以想到,(3)对比文件1中的比特流包括左右视点图像以及O视点图像的编码数据的NAL单元,而相应的左右视点图像的比特流中又包括相应视点图像的SPS的信息的NAL单元、相应视点图像的SEI的信息的NAL单元,左右视点的视差图像的视差信息包括在3DV模式的SEI中,而SPS中则描述了视差图像的视图ID的数目等,可见其相应辅助信息是携带在三维视频序列码流的补充增强信息以及子集序列参数集中,分离单元则用于提取相应比特流中携带的图像信息和辅助信息。因此坚持认为权利要求1-16不具有创造性。
综上所述,对于复审请求人的意见陈述,合议组不予支持。
三、决定
维持国家知识产权局于2018年08月03日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。


郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

留言与评论(共有 0 条评论)
   
验证码: