发明创造名称：视频处理方法和装置
外观设计名称：
决定号：181948
决定日：2019-06-25
委内编号：1F274215
优先权日：
申请（专利）号：201610176356.X
申请日：2016-03-24
复审请求人：腾讯科技（深圳）有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：苏青
合议组组长：田华
参审员：严佳琳
国际分类号：H04N21/2187,H04N21/2343,H04N21/643,H04N21/647
外观设计分类号：
法律依据：专利法实施细则第61条第1款、专利法第33条、第22条第2款、第22条第3款
决定要点
：如果一项权利要求与现有技术相比存在区别特征，现有技术没有给出相关技术启示，权利要求的技术方案对本领域技术人员来说不是显而易见的，并且能带来有益效果，则该权利要求具备创造性。
全文：
本复审请求涉及申请号为201610176356.X，名称为“视频处理方法和装置”的发明专利申请。申请人为腾讯科技（深圳）有限公司。本申请的申请日为2016年03月24日，公开日为2017年10月03日。
经实质审查，国家知识产权局原审查部门于2018年11月05日发出驳回决定，驳回了本发明专利申请，其理由是：权利要求1-6相对于对比文件1和本领域的惯用手段不符合专利法第22条第3款有关创造性的规定。引用的对比文件1为CN103873873A，公开日为2014年06月18日。驳回决定所依据的文本为申请日提交的说明书摘要、说明书第1-77段、摘要附图、说明书附图；2018年09月25日提交的权利要求第1-6项。
申请人（下称复审请求人）对上述驳回决定不服,于2019年02月19日向国家知识产权局提出了复审请求，复审请求人在其申请日提交的权利要求书的基础上对权利要求进行了修改，同时提交了权利要求书修改文本。复审请求人认为：修改后的权利要求1-10具备创造性。
经形式审查合格，国家知识产权局于2019年02月28日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为，权利要求1、2、6的修改超出了原申请文件记载的范围，复审请求人有关权利要求具备创造性的理由不成立，因而坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月11日向复审请求人发出复审通知书，指出：权利要求1、3相对于对比文件1不具备专利法第22条第2款规定的新颖性，权利要求2、4-10相对于对比文件1和本领域惯用手段的结合不具备专利法第22条第3款规定的创造性。同时针对复审请求的理由进行了回应。
复审请求人于2019年04月26日提交了意见陈述书，同时提交了权利要求书修改文本。复审请求人认为：修改后的权利要求1-12具备专利法第22条第2、3款规定的新颖性、创造性。
合议组于2019年05月29日再次向复审请求人发出复审通知书，指出：复审请求人提交的权利要求书修改文本中，新增的权利要求11、12不符合专利法实施细则第61条第1款的规定，上述文本不予接受。假设复审请求人删除权利要求11、12，权利要求1、4、6、9的修改也不符合专利法第33条的规定。
复审请求人于2019年06月18日提交了意见陈述书，同时提交了权利要求书修改文本。复审请求人认为：修改后的权利要求克服了复审通知书指出的不符合专利法实施细则第61条第1款、专利法第33条的规定的缺陷，修改后的权利要求1-10具备专利法第22条第2、3款规定的新颖性、创造性。
复审请求人于2019年06月21日提交了主动补正，同时提交了权利要求书修改文本,其中将独立权利要求1、6中的“在将所述视频帧队列进行传输的过程中，检测所述视频帧队列中尚未传输的部分是否存在丢帧”修改为“在将所述视频帧队列进行传输的过程中，检测所述视频帧队列中是否存在丢帧”。
复审请求人于2019年06月24日再次提交了主动补正，同时提交了权利要求书修改文本,其中将权利要求2中的“检测所述视频帧队列中尚未传输的部分是否存在丢帧”修改为“检测所述视频帧队列中是否存在丢帧”。
修改后的权利要求1-10的内容为：
“1、一种视频处理方法，包括：
获取各视频帧分别对应进行编号的视频帧队列；
将所述视频帧队列进行传输，并在将所述视频帧队列进行传输的过程中，检测所述视频帧队列中是否存在丢帧；
若是，通过插入补偿帧对所述丢帧进行补偿，当所述丢帧包括两个或两个以上连续的视频帧时，所述补偿帧为复制的与丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧；
将补偿后的所述视频帧队列发送到播放端，补偿后的所述视频帧队列中，相同的视频帧最多连续出现两次。
2、如权利要求1所述的视频处理方法，其特征在于：所述获取视频编码后视频帧分别对应进行编号的视频帧队列的步骤包括：
获取根据视频帧产生的先后顺序对所述视频的每帧分别对应进行编号的视频帧所形成的视频帧队列；
所述将所述视频帧队列进行传输，并在将所述视频帧队列进行传输的过程中，检测所述视频帧队列中是否存在丢帧的步骤包括：
在将所述视频帧队列进行传输的过程中，检测所述视频帧的编号是否缺失或者错位；
若是，则确定所述缺失或者错位的编号所对应的视频帧为丢帧。
3、如权利要求1所述的视频处理方法，其特征在于：所述通过插入补偿帧对所述丢帧进行补偿的步骤包括：
获取与所述丢帧相邻的视频帧作为所述补偿帧；
将所述补偿帧插入所述丢帧所在位置。
4、如权利要求3所述的视频处理方法，其特征在于：所述获取与所述丢帧相邻的视频帧作为补偿帧的步骤具体包括：
判断丢帧是否包括多个连续的视频帧；
当所述丢帧为一个或者多个分离的视频帧时，复制位于所述丢帧的前面且与所述丢帧相邻的视频帧作为补偿帧；
当所述丢帧包括两个或两个以上连续的视频帧时，分别复制与所述丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧作为补偿帧。
5、如权利要求1所述的视频处理方法，其特征在于：在所述获取视频编码后各视频帧分别对应进行编号的视频帧队列的步骤之前，还包括：
对所述视频的每帧分别加入对应的视频协议头部并对所述视频协议头部进行编号，生成视频帧队列；
所述将补偿后的所述视频帧队列发送到播放端的步骤之前，还包括：
去掉所述视频帧队列中各帧的视频协议头部。
6、一种视频处理装置，包括：
视频帧获取模块，用于获取各视频帧分别对应进行编号的视频帧队列；
检测模块，用于将所述视频帧队列进行传输，并在将所述视频帧队列进行传输的过程中，检测所述视频帧队列中是否存在丢帧；
补偿模块，当所述视频帧队列存在丢帧时，通过插入补偿帧对所述丢帧进行补偿，当所述丢帧包括两个或两个以上连续的视频帧时，所述补偿帧为复制的与丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧，补偿后的视频帧队列中，相同的视频帧最多连续出现两次；
发送模块，用于将补偿后的所述视频帧队列发送到播放端。
7、如权利要求6所述的视频处理装置，其特征在于：所述视频帧获取模块，具体用于获取根据视频帧产生的先后顺序对所述视频的每帧分别对应进行编号的视频帧所形成视频帧队列；所述检测模块具体包括：
检测单元，用于将所述视频帧队列进行传输的过程中，检测所述视频帧的编号是否缺失或者错位；
丢帧确定单元， 当检测所述视频帧存在缺失或者错位时，确定所述缺失或者错位的编号所对应的视频帧为丢帧。
8、如权利要求6所述的视频处理装置，其特征在于：所述补偿模块包括：
补偿帧生成单元，用于获取与所述丢帧相邻的视频帧作为所述补偿帧；
插帧单元，用于将所述补偿帧插入所述丢帧所在位置。
9、如权利要求8所述的视频处理装置，其特征在于：所述补偿帧生成单元，具体包括：
判断装置，用于判断丢帧是否包括多个连续的视频帧；
第一补偿帧生成装置，用于当所述丢帧为一个或者多个分离的视频帧时，复制位于所述丢帧前方且与所述丢帧相邻的视频帧作为补偿帧；
第二补偿帧生成装置，用于当所述丢帧包括两个或两个以上连续的视频帧时，分别复制与所述丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧作为补偿帧。
10、如权利要求6所述的视频处理装置，其特征在于：还包括：
编码模块，用于对所述视频的每帧分别加入对应的视频协议头部并对所述视频协议头部进行编号，形成视频帧队列；
头部去除模块，用于在所述将补偿后的所述视频帧队列发送到播放端之前，去掉所述视频帧队列中各帧的视频协议头部。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
决定的理由
审查文本的认定
复审请求人在答复复审通知书时，提交了权利要求书修改文本，故，本复审请求审查决定依据的文本为：2019年06月24日提交的权利要求第1-10项，申请日提交的说明书摘要、说明书第1-77段、摘要附图、说明书附图。
关于专利法实施细则第61条第1款
专利法实施细则第61条第1款规定：请求人在提出复审请求或者在对专利复审委员会的复审通知书作出答复时，可以修改专利申请文件；但是，修改应当仅限于消除驳回决定或者复审通知书指出的缺陷。
复审请求人提交的权利要求书修改文本中，删除了新增的权利要求11、12，克服了复审通知书指出的不符合专利法实施细则第61条第1款的规定的缺陷。
关于专利法第33条
专利法第33条规定：申请人可以对其专利申请文件进行修改，但是，对发明和实用新型专利申请文件的修改不得超出原说明书和权利要求书记载的范围，对外观设计专利申请文件的修改不得超出原图片或者照片表示的范围。
前置审查意见书中指出，原申请文件中记载的是在视频帧队列进行传输的过程中判断视频帧是否存在丢帧，没有明确公开检测视频帧队列中尚未传输的部分是否存在丢帧，权利要求1、2、6的修改超出了原申请文件记载的范围。针对上述缺陷，修改后的权利要求1、2、6中，将“检测所述视频帧队列中尚未传输的部分是否存在丢帧”修改为“检测所述视频帧队列中是否存在丢帧”，克服了前置审查意见书中指出的修改超范围的缺陷。
复审通知书指出，本申请原说明书第0061段没有记载丢帧端值为五个连续视频帧的例子，原权利要求书也没有记载该端值，权利要求1、4、6、9的修改不符合专利法第33条的规定。针对上述缺陷，修改后的权利要求1、4、6、9中，将“当所述丢帧包括两个至五个连续的视频帧，以及所述丢帧包括五个以上连续的视频帧时”修改为“当所述丢帧包括两个或两个以上连续的视频帧时”。本申请原说明书第0061段记载“当丢帧包括两个或者两个以上连续的视频帧时，分别复制与丢帧相邻且与所述丢帧数量相同的视频帧作为补偿帧，其中选择与丢帧相邻的视频帧满足就近原则和在前优先原则，即优先选取分别位于丢帧前方和后方的相同数量的相邻视频帧进行复制作为补偿帧，如此，可确保复制与丢帧相邻的视频帧插入丢帧所在位置后所形成的补偿后的视频帧队列中，相同的视频帧最多连续出现两次。如，在视频帧传输过程中进行检测得到的视频帧队列中各视频帧的编号依次为‘1、2、3、6...29、30...’，确定第4片帧和第5片帧为丢帧，根据在前优先及就近原则分别复制在第4片帧前方的第3片帧，以及在第5片帧后方的第6 片帧并分别插入第4片帧和第5片帧所在位置进行补偿，得到补偿后的视频帧队列为‘1、2、3、3、6、6...29、30...’。再如，在视频帧传输过程中进行检测得到的视频帧队列中各视频帧的编号为‘1、2、3、7、8...29、30...’，确定第4 片帧、第5片帧及第6片帧为丢帧，根据在前优先及就近原则分别复制第2片帧、第3片帧、第7片帧作为补偿帧，得到补偿后的视频帧队列为‘1、2、2、3、3、7、7、8...29、30...’”，根据原说明书第0061段记载的上述内容可知，当丢帧包括两个或者两个以上连续的视频帧时，补偿方式为分别复制与丢帧相邻且与丢帧数量相同的视频帧，选取的视频帧分别位于丢帧前方和后方，因此，权利要求1、4、6、9的上述修改克服了复审通知书指出的不符合专利法第33条的规定的缺陷。
关于专利法第22条第2款
专利法第22条第2款规定：新颖性，是指该发明或者实用新型不属于现有技术；也没有任何单位或者个人就同样的发明或者实用新型在申请日以前向国务院专利行政部门提出过申请，并记载在申请日以后公布的专利申请文件或者公告的专利文件中。
权利要求1请求保护一种视频处理方法。对比文件1公开了一种非可靠信道下的图像编解码方法，并公开如下特征（参见对比文件1说明书第0034－0050段、附图1）：对外部输入YUV4:2:2格式的图像，在数字信号处理器上调用H.264BP视频编解码库完成视频压缩编码。并在码流中加入帧计数。对编码后码流进行加扰。码流在非可靠信道中传输（公开了将视频帧队列进行传输），因为无线信道的时变性、易错性，导致接收到的码流可能发生误码、丢包以及延迟。对接收到的码流信号进行解扰，恢复H.264码流。在DSP上调用H.264BP视频解码库完成视频解码，输出YUV4:2:2格式的图像。在解码的同时，进行帧率控制。根据帧计数判断图像的连续性，当发生丢帧或误帧的情况时，采用插值算法对丢失或错误图像进行预测，确保输出图像的连续性（公开了通过插入补偿帧对丢帧进行补偿）。所涉及的预测方法如下： 1、首先判断连续丢帧或误帧的图像帧数，当连续丢帧或误帧帧数大于5帧时，预测因为不精确变得没有意义，则采用持续播放前一帧数据的策略；2、当连续丢帧或误帧帧数小于等于5帧时，每25帧图像分为一组，进行一次预测。每组25帧图像求出的运动矢量求均值，作为下一组有缺失的图像中使用。3、以参考帧和上一组图像估计出的运动矢量对缺失帧进行预测，确保输出图像的连续性。
根据对比文件1公开的内容可知，首先，对比文件1中记载了在码流中加入帧计数（参见对比文件1的说明书第[0034]段），并根据帧计数判断图像的连续性（参见对比文件1的说明书第[0040]段），故对比文件1公开了“获取各视频帧分别对应进行编号的视频帧队列”。其次，对比文件1记载了在解码的同时，进行帧率控制，根据帧计数判断图像的连续性，当发生丢帧或误帧的情况时，采用插值算法对丢失或错误图像进行预测，确保输出图像的连续性（参见对比文件1的说明书第[0040]段），即在输出图像之前检测是否存在丢帧，而输出图像之前都可以理解为是在传输的过程中，即对比文件1公开了“在将所述视频帧队列进行传输的过程中，检测所述视频帧队列中是否存在丢帧”。再次，对比文件1公开了将进行帧率控制后的图像输出，而输出图像的是视频播放端，即对比文件1公开了“将补偿后的所述视频帧队列发送到播放端”。
由此可知，权利要求1与对比文件1的区别在于：当所述丢帧包括两个或两个以上连续的视频帧时，所述补偿帧为复制的与丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧，补偿后的所述视频帧队列中，相同的视频帧最多连续出现两次。
因此，权利要求1与对比文件1的技术方案不同，权利要求1具备专利法第22条第2款规定的新颖性。
在权利要求1具备新颖性的前提下，其从属权利要求3也具备专利法第22条第2款规定的新颖性。
关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
参见前述新颖性的评述，权利要求1与对比文件1相比存在以下区别：当所述丢帧包括两个或两个以上连续的视频帧时，所述补偿帧为复制的与丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧，补偿后的所述视频帧队列中，相同的视频帧最多连续出现两次。
基于上述区别技术特征，本申请权利要求1实际要解决的技术问题，是如何能够最大程度上保证补偿后的视频帧队列发送到播放端播放时画面保持连续和流畅，视频内容播放时不会产生明显的跳跃性。
对比文件1给出的技术方案中，首先判断连续丢帧或误帧的图像帧数，当连续丢帧或误帧帧数大于5帧时，预测因为不精确变得没有意义，则采用持续播放前一帧数据的策略；当连续丢帧或误帧帧数小于等于5帧时，每25帧图像分为一组，进行一次预测，也就是说，在对比文件1的预测方法中，连续丢帧的数量越少，预测越精确，越要通过预测的方式来预测出丢帧图像，而连续丢帧的数量越多，则预测越不精确，则更加要采用持续播放前一帧数据的方式，即丢帧的数量越多，前一帧持续播放的次数也就越多，权利要求1的技术方案，本质上是基于视觉延迟原理，在发生丢帧时，当所述丢帧包括两个或两个以上连续的视频帧时，所述补偿帧为复制的与丢帧相邻、分别位于丢帧前方和后方、且与所述丢帧数量相同的视频帧，补偿后的所述视频帧队列中，相同的视频帧最多连续出现两次，权利要求1与对比文件1二者对丢帧的预测方法不同，且根据对比文件1公开的丢帧小于等于5帧时进行预测，丢帧大于5帧时，持续播放前一帧数据的技术内容，本领域技术人员没有动机对存在连续丢帧、且连续丢帧数量多时，通过复制与丢帧相邻、分别位于丢帧前方和后方、与所述丢帧数量相同的视频帧作为补偿帧、相同的视频帧最多连续出现两次的任何技术启示，同时也没有证据表明上述区别特征是本领域公知常识，并且权利要求1可以达到保障视频帧的总数不变，避免出现视频帧数量减少而在播放端播放时卡顿的有益效果。因此，权利要求1具备突出的实质性特点和显著的进步，符合专利法第22条第3款有关创造性的规定。
权利要求6是与权利要求1的对应的装置权利要求，基于与权利要求1同样的理由，权利要求6符合专利法第22条第3款有关创造性的规定。
从属权利要求2-5分别直接或间接引用权利要求1，从属权利要求7-10分别直接或间接引用权利要求6，在权利要求1、6具备创造性的基础上，权利要求2-5、7-10也符合专利法第22条第3款有关创造性的规定。
三、决定
撤销国家知识产权局于2018年11月05日对本申请作出的驳回决定。由国家知识产权局原审查部门在本复审请求审查决定依据的文本的基础上对本发明专利申请继续进行审查。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
