发明创造名称：一种视频处理方法
外观设计名称：
决定号：198399
决定日：2019-11-19
委内编号：1F277291
优先权日：
申请（专利）号：201610153366.1
申请日：2016-03-11
复审请求人：陕西学前师范学院
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：秦菊秀
合议组组长：黄智
参审员：王倩
国际分类号：H04N5/262，H04N5/232，H04N19/85，G06T3/60，G06T5/00
外观设计分类号：
法律依据：专利法第26条第3款
决定要点
：如果说明书中给出的技术方案是一种方法，但是该方法的多个步骤中存在含义模糊不清或者无法实现的特征，导致本领域技术人员无法根据说明书的记载实现整个技术方案，则该说明书不符合专利法第26条第3款的规定。
全文：
本复审请求涉及申请号为201610153366.1，名称为“一种视频处理方法”的发明专利申请（下称本申请）。申请人为咸阳师范学院，后变更为陕西学前师范学院。本申请的申请日为2016年03月11日，公开日为2016年06月22日。
经实质审查，国家知识产权局实质审查部门于2019年01月08日发出驳回决定，驳回了本申请。驳回决定所依据的文本为：2018年12月01日提交的权利要求第1-8项和说明书第1-52段（即第1-5页），申请日2016年03月11日提交的说明书摘要。驳回决定中未引用对比文件。驳回决定的主要理由是：（1）权利要求1中的步骤S3记载了“读取步骤S2所得的视频文件中的当前目标帧”、“若为P帧，则获取当前目标帧的序列，并判断所获取的当前目标帧的序列与预设序列是否相同”，“当前目标帧”在本领域通常指代当前某帧待处理的图像数据，本领域技术人员不清楚一帧图像怎样会存在“序列”，也不清楚“预设序列”是怎样的序列，从而该权利要求不清楚，不符合专利法第26条第4款的规定。（2）权利要求7中记载了“根据每个图像A的偏转角度计算每个图像A的补充偏转角度”，本领域技术人员不清楚怎样根据图像的偏转角度计算自身的补充偏转角度，从而该权利要求不清楚，不符合专利法第26条第4款的规定。（3）上述问题在说明书中也存在，从而说明书不符合专利法实施细则第17条的规定。
驳回决定所针对的权利要求书内容如下：
“1. 一种视频处理方法，其特征在于，包括如下步骤：
S1、通过拍摄设备获取视频文件，所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，所述坐标信息与所述时间信息唯一对应；
S2、对所获取的视频文件进行解析，得到至少两个图像A，确定每个图像A的偏转角度，并根据每个图像A的偏转角度重新绘制每个图像A，得到每个图像A对应的图像A1，然后将所有图像A1按坐标信息和时间信息合成视频，得到处理后的视频；
S3、读取步骤S2所得视频文件中的当前目标帧，其中，所述视频文件包括I帧和P帧；判断当前目标帧是否为P帧，若为I帧，则存储所述当前目标帧；若为P帧，则获取当前目标帧的序列，并判断所获取的当前目标帧的序列与预设序列是否相同，若相同，则存储所述当前目标帧；若不相同，则删除所述当前目标帧以及所述当前目标帧和参考帧之间的所有帧，其中，所述参考帧是所述视频文件中位于所述当前目标帧之后的第一个I帧；
S4、提取步骤S3所得的视频文件的噪声程度，依据所述噪声程度，调整位元率和分辨率，并以所得的位元率及分辨率压缩所获取的视频文件；
S5、根据步骤S4所得的视频文件中的每一个视频图像的像素点边缘强度，生成所述视频图像的灰度图，并基于所述灰度图，对所述视频图像进行锐化处理，获得处理后的视频。
2. 根据权利要求1所述的一种视频处理方法，其特征在于，所述灰度图中每个像素点的灰度为所述视频图像中对应像素点的边缘强度。
3. 根据权利要求1所述的一种视频处理方法，其特征在于，所述步骤S5通过边缘提取算子，确定所述视频图像中每个像素点的边缘强度。
4. 根据权利要求1所述的一种视频处理方法，其特征在于，所述锐化处理包括：
对所述灰度图进行膨胀操作和/或高斯模糊操作，得到中间图像A；
对所述中间图像A执行腐蚀操作，得到中间图像A1；
基于所述中间图像A1对所述视频图像进行锐化处理。
5. 根据权利要求1所述的一种视频处理方法，其特征在于，当所述当前目标帧的序列与所述预设序列不相同时，所述下一目标帧为所述参考帧。
6. 根据权利要求1所述的一种视频处理方法，其特征在于，所述步骤S2通过多角度人脸或物体识别确定每个图像A的偏转角度，具体包括
从所有图像A中选取预设数量的图像A；
对每个被选图像A进行多角度人脸或物体识别；
根据识别结果确定每个被选图像A的偏转角度，并根据每个被选图像A的偏转角度确定每个未选图像A的偏转角度。
7. 根据权利要求1所述的一种视频处理方法，其特征在于，根据每个图像A的偏转角度重新绘制每个图像A具体包括
根据每个图像A的偏转角度计算每个图像A的补充偏转角度；
根据每个图像A的补充偏转角度重新绘制每个图像A。
8. 根据权利要求1所述的一种视频处理方法，其特征在于，还包括通过坐标信息间转化得到三维点云，重建精确的视频表面模型，对所得的视频表面模型进行无变形的纹理映射，使重建效果更接近于真实的三维场景，然后导入至视频拼接软件中，实现摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接、亮度与颜色的均衡处理，从而获得最终视频。”
申请人（下称复审请求人）对上述驳回决定不服，于2019年03月19日向国家知识产权局提出了复审请求，同时修改了权利要求书，其中，删除了原权利要求7，并修改了原权利要求8的序号，得到新的权利要求1-7。复审请求人主要认为：对于目标帧来说，当前导出目标帧就会有多个帧图像文件，称为当前目标帧序列。本领域技术人员可以理解，权利要求1中步骤S3所述的“当前目标帧序列”为当前导出的目标帧的帧图像文件形成的序列，“预设序列”为根据所拍摄的视频帧中包含的坐标信息和时间信息得出的序列。
复审请求时新修改的权利要求书内容如下：
“1. 一种视频处理方法，其特征在于，包括如下步骤：
S1、通过拍摄设备获取视顔文件，所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，所述坐标信息与所述时间信息唯一对应；
S2、对所获取的视频文件进行解析，得到至少两个图像A，确定每个图像A的偏转角度，并根据每个图像A的偏转角度重新绘制毎个图像A，得到毎个图像A对应的图像A1，然后将所有图像A1按坐标信息和时间信息合成视频，得到处理后的视频；
S3、读取步骤S2所得视频文件中的当前目标帧，其中，所述视频文件包括I帧和P帧；判断当前目标帧是否为P帧，若为I帧，则存储所述当前目标帧；若为P帧，则获取当前目标帧的序列，并判断所获取的当前目标帧的序列与预设序列是否相同，若相同，则存储所述当前目标帧；若不相同，则删除所述当前目标帧以及所述当前目标帧和参考帧之间的所有帧，其中，所述参考帧是所述视频文件中位于所述当前目标帧之后的第一个I帧；
S4、提取步骤S3所得的视频文件的噪声程度，依据所述噪声程度，调整位元率和分辨率，并以所得的位元率及分辨率压缩所获取的视频文件；
S5、根据步骤S4所得的视频文件中的每毎一个视频图像的像素点边缘强度，生成所述视频图像的灰度图，并基于所述灰度图，对所述视频图像进行锐化处，获得处理后的视频。
2. 根据权利要求1所述的一种视频处理方法，其特征在于，所述灰度图中每个像素点的灰度为所述视频图像中对应像素点的边缘强度。
3. 根据权利要求1所述的一种视频处理方法，其特征在于，所述步骤S5通过边缘提取算子，确定所述视频图像中每个像素点的边缘强度。
4. 根据权利要求1所述的一种视频处理方法，其特征在于，所述锐化处理包括：
对所述灰度图进行膨胀操作和/或高斯模糊操作，得到中间图像A；
对所述中间图像A执行腐蚀操作，得到中间图像A1；
基于所述中间图像A1对所述视频图像进行锐化处理。
5. 根据权利要求1所述的一种视频处理方法，其特征在于，当所述当前目标帧的序列与所述预设序列不相同时，所述下一目标帧为所述参考帧。
6. 根据权利要求1所述的一种视频处理方法，其特征在于，所述步骤S2通过多角度人脸或物体识别确定每个图像A的偏转角度，具体包括：
从所有图像A中选取预设数量的图像A；
对每个被选图像A进行多角度人脸或物体识别；
根据识别结果确定每个被选图像A的偏转角度，并根据每个被选图像A的偏转角度确定每个未选图像A的偏转角度。
7. 根据权利要求1所述的一种视频处理方法，其特征在于，还包括通过坐标信息间转化得到三维点云，重建精确的视频表面模型，对所得的视频表面模型进行无变形的纹理映射，使重建效果更接近于真实的三维场景，然后导入至视频拼接软件中，实现摄相机的标定、传感器图像畸变校正、图像的投影变换、匹配点选取、全景图像拼接、亮度与颜色的均衡处理，从而获得最终视频。”
经形式审查合格，国家知识产权局于2019年04月08日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年07月25日向复审请求人发出复审通知书，该复审通知书所针对的审查文本为：复审请求人于2019年03月19日提交复审请求时提交的权利要求第1-7项，2018年12月01日提交的说明书第1-5页，申请日2016年03月11日提交的说明书摘要。在该复审通知书中指出：本申请的说明书未对发明做出清楚、完整的说明，致使所属技术领域的技术人员不能实现该发明，不符合专利法第二十六条第三款的规定。
复审请求人于2019年09月03日提交了意见陈述书，但未修改申请文件。复审请求人主要认为：（1）申请人所表述的坐标只是一个不规范用语，并不难理解，根据上下文易知，想表达的含义是该帧的具体位置，也就是序列号的泛指。（2）对于步骤S2中的特征，该表述虽然不够准确，但本领域技术人员结合上下文不难得知其具体含义，在现有技术的动画片制作中，也有通过连续的两帧图片推算出第三帧图片的技术方案，当具有不同的多个图像时参考其各自偏转的角度推算出下一个位置，当一个形状不规则的图案在运动时产生形变，会导致不同部分偏转角度不同，针对形变对该部分的偏转进行补充也是常规技术，对本领域技术人员并无技术障碍。（3）当前目标帧的序列和预设序列，预设序列就是帧的序数，而在S2处理中会导致帧数发生变化，因此会有当前序列和预设序列之分。（4）步骤S5中的对每一个视频图像的像素点边缘强度，生成所述视频图像的灰度图，不难理解其表达的含义是对每一个像素点进行处理，至于如何处理，对本领域技术人员来说，其应当知晓应通过转换达到能处理的条件以后方进行处理，在通晓本领域现有技术的基础上，这并不存在技术障碍。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人于2019年09月03日答复复审通知书时没有对申请文件进行修改，本复审请求审查决定所针对的审查文本与复审通知书所针对的审查文本相同，即：复审请求人于2019年03月19日提交复审请求时提交的权利要求第1-7项，2018年12月01日提交的说明书第1-5页，申请日2016年03月11日提交的说明书摘要。经审查，所述审查文本的修改之处符合专利法第33条的规定。
（二）具体理由的阐述
专利法第26条第3款规定：说明书应当对发明或者实用新型作出清楚、完整的说明，以所属技术领域的技术人员能够实现为准。
本申请的说明书未对发明作出清楚、完整的说明，致使所属技术领域的技术人员不能实现该发明，不符合专利法第二十六条第三款的规定。具体理由如下：
本申请要解决的技术问题是：当通过H264编码的视频中的P帧丢失时，在播放视频时将出现马赛克现象，影响用户体验。因此，为了避免马赛克现象需要在视频播放前检测视频中是否存在丢失P帧的情况。
为了解决上述技术问题，本申请公开了一种视频处理方法，包括如下步骤：S1、通过拍摄设备获取视频文件，所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，所述坐标信息与所述时间信息唯一对应；S2、对所获取的视频文件进行解析，得到至少两个图像A，确定每个图像A的偏转角度，并根据每个图像A的偏转角度重新绘制毎个图像A，得到毎个图像A对应的图像A1，然后将所有图像A1按坐标信息和时间信息合成视频，得到处理后的视频；S3、读取步骤S2所得视频文件中的当前目标帧，其中，所述视频文件包括I帧和P帧；判断当前目标帧是否为P帧，若为I帧，则存储所述当前目标帧；若为P帧，则获取当前目标帧的序列，并判断所获取的当前目标帧的序列与预设序列是否相同，若相同，则存储所述当前目标帧；若不相同，则删除所述当前目标帧以及所述当前目标帧和参考帧之间的所有帧，其中，所述参考帧是所述视频文件中位于所述当前目标帧之后的第一个I帧；S4、提取步骤S3所得的视频文件的噪声程度，依据所述噪声程度，调整位元率和分辨率，并以所得的位元率及分辨率压缩所获取的视频文件；S5、根据步骤S4所得的视频文件中的毎一个视频图像的像素点边缘强度，生成所述视频图像的灰度图，并基于所述灰度图，对所述视频图像进行锐化处理，获得处理后的视频。
对于本领域技术人员来说，上述技术方案包含以下不清楚以至于无法实现的手段：
1、针对步骤S1中的特征“所述视频文件包括多个连续的视频帧、与每一个视频帧对应的坐标信息和时间信息，所述坐标信息与所述时间信息唯一对应”，说明书中没有对“与每一个视频帧对应的坐标信息”进行定义或者说明，“与每一个视频帧对应的坐标信息”在本领域中也没有公知的定义，本领域技术人员不能明了所述坐标信息是什么样的坐标信息。
2、针对步骤S2中的特征“确定每个图像A 的偏转角度，并根据每个图像A的偏转角度重新绘制每个图像A，得到每个图像 A对应的图像A1”的说明是含糊不清的，具体理由为：
首先，说明书中虽然记载了“所述步骤S2通过多角度人脸或物体识别确定每个图像A的偏转角度，具体包括：从所有图像A中选取预设数量的图像A；对每个被选图像A进行多角度人脸或物体识别；根据识别结果确定每个被选图像A的偏转角度，并根据每个被选图像A的偏转角度确定每个未选图像A的偏转角度”，但是并没有对以下问题进行说明：（1）对于选取的图像A除了满足数量的要求外是否还需要满足其他条件并没有进行说明，因此可能存在选择的图像A中不包含人脸或物体，或者选择的图像A中一部分图像包含人脸，一部分图像包含物体，或者选择的图像A中每个图像都包括不同的物体或者人脸等等情况，针对上述无法进行人脸或物体识别的情况应当如何确定被选图像A的偏转角度。（2）对于采用何种技术手段进行多角度人脸识别、进行多角度物体识别没有进行说明，本领域中常见的进行人脸角度的识别仅仅是识别一般人脸的正面、左侧面和右侧面等特定的几个角度，进行物体角度的识别时仅识别特定物体的某几个角度，而在本申请中并没有对视频的内容进行限定，也没有对被选择的图像进行数量之外的限定，因此，视频图像所包含的人脸可能涉及多个人脸并涉及各种人脸角度，所包含的物体也可能种类繁多且角度各异。本领域技术人员无法确定，现有的人脸和物体识别技术，是否能够准确识别出这种复杂情形下的人脸和物体的角度，进而确定出图像的偏转角度。（3）对人脸和物体识别结果和被选图像A的偏转角度之间存在什么样的关系以及如何根据识别结果确定被选图像A的角度也没有进行说明，本领域技术人员无法确定采用何种技术手段可以实现将识别出的人脸或物体的角度转换为图像的偏转角度。
其次，说明书中虽然记载了“根据每个图像A的偏转角度重新绘制每个图像A具体包括：根据每个图像A的偏转角度计算每个图像A的补充偏转角度；根据每个图像A的补充偏转角度重新绘制每个图像A”，但是对于本领域技术人员来说，上述技术手段是含糊不清的，对于什么是图像的补充偏转角度，图像的偏转角度与图像的补充偏转角度之间具有什么关系或者满足什么条件，根据什么公式或者什么对应关系来由图像的偏转角度计算出图像的补充偏转角度，以及如何根据每个图像A的补充偏转角度重新绘制每个图像A都没有进行说明。因此，本领域技术人员根据说明书的上述记载无法实施根据每个图像A的偏转角度重新绘制每个图像A，得到每个图像 A对应的图像A1。
因此，本领域技术人员根据说明书的记载不能实施步骤S2。
3、针对步骤S3中 “当前目标帧的序列”和“预设序列”的说明是含糊不清的，同时“当前目标帧的序列”和“预设序列”在本领域中也没有公知的定义，因此，本领域技术人员根据说明书的记载不能实施步骤S3。
4、步骤S5中的“根据步骤S4所得的视频文件中的每一个视频图像的像素点边缘强度，生成所述视频图像的灰度图”无法实现。具体理由为：步骤S4所得的视频文件是经过压缩获取的视频文件，而现有图像/视频编码标准的基本框架都是采用预测、变换、熵编码等技术将图像/视频信号压缩成一定码率的码流，因此，步骤S4所得的视频文件是以码流的形式存在的，只有通过解码之后才会恢复成视频信号。不经过解码是无法对压缩视频文件中的图像的像素点进行处理的，也就无法进行边缘提取，获得边缘强度。因此，对于本领域技术人员来说，在步骤S4得到的数据的基础上，步骤S5是无法实现的。
综上所述，本申请说明书未对技术方案进行清楚完整的说明，导致本领域技术人员无法根据说明书的记载实现本申请的技术方案，因此，不符合专利法第二十六条第三款的规定。
（三）关于复审请求人陈述的意见
对于复审请求人陈述的上述意见，合议组认为：
（1）在本领域中，能够确定一个点在空间的位置的一个或一组数，叫做这个点的坐标。通常由这个点到垂直相交的若干条固定的直线的距离来表示。这些直线叫做坐标轴。坐标轴的数目在平面上为2，在空间里为3。而图像序列是按顺序排列的一组图像，在本领域中通常采用帧号或者序号表示一帧图像在一个图像序列中的位置。在本申请说明书中并未将“坐标信息”定义或者解释成序列号的泛指。并且，在说明书的具体实施方式中，仅在第31段和第50段出现了“坐标信息”，第31段的内容即步骤S1，第50段则记载“还包括通过坐标信息间转化得到三维点云”，结合说明书的上下文可知，本申请中的“坐标信息”表示一个点在空间的位置，并不是序列号的泛指。而在说明书中并没有定义或者说明与视频帧对应的坐标信息是什么样的坐标信息，从而导致步骤S1无法实现。
（2）在动画片制作中，需要预先确定剧情或者角色的动作，然后再画出相应的图片，并尽量拟真。因此，在动画片制作中，常通过连续的两帧图片推算出第三帧图片是什么样的，当具有不同的多个图像时参考其各自偏转的角度（该偏转的角度是在画所述多个图像时事先确定的）推算出下一个位置是什么位置，以决定后面的图片应当怎么画；以及，在现实世界中，当一个形状不规则的图案在运动时产生形变，会导致不同部分偏转角度不同，为了达到拟真的效果，还需要针对形变对该部分的偏转进行补充。而本申请是对拍摄设备获取的视频文件进行处理，通过拍摄设备获取的视频文件本身就是在记录真实发生的事件，例如，当拍摄一个形状不规则的物体在运动时，其因运动产生形变而导致不同部分偏转角度不同的画面都会被摄像设备记录下来，并不存在上述对偏转角度进行补充的需要。可见，动画片制作中的上述处理技术与本申请中的步骤S2是不同的两个过程，复审请求人采用上述动画片制作技术来解释本申请中与偏转角度相关的特征是不合适的。
（3）首先，复审请求人在历次意见陈述书中对于“当前目标帧的序列”和“预设序列”的解释都各不相同。其次，说明书中并未记载“预设序列就是帧的序数”，也不能从原说明书和权利要求书中直接、毫无疑义地得到。最后，复审请求人认为“在S2处理中会导致帧数发生变化”，但根据说明书所公开的内容，步骤S2只是重新绘制每个图像，并不增加或者减少图像，即在S2处理中帧数不会发生变化。
（4）在步骤S4中，以所得的位元率及分辨率压缩所获取的视频文件。紧接着，在步骤S5中，根据步骤S4所得的视频文件中的每一个视频图像的像素点边缘强度，生成所述视频图像的灰度图。在对步骤S5的描述中，并不涉及解压缩得到视频图像。即使如复审请求人所述，本领域技术人员知晓应通过转换达到能处理的条件后方进行处理，也就是说，在步骤S4中对视频文件进行压缩后，没有用作任何其他的用途或目的，就直接在步骤S5中又进行解压缩以根据每一个视频图像的像素点边缘强度生成所述视频图像的灰度图。这其中毫无意义的压缩和解压缩，不符合一般的逻辑。
综上所述，复审请求人的意见合议组不予支持。
三、决定
维持国家知识产权局于2019年01月08日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
