发明创造名称：一种视频图像处理方法及系统
外观设计名称：
决定号：185178
决定日：2019-07-24
委内编号：1F291372
优先权日：
申请（专利）号：201510209355.6
申请日：2015-04-27
复审请求人：上海分众软件技术有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：王旸
合议组组长：李靖
参审员：罗信瑶
国际分类号：H04N9/31
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求与最接近的对比文件相比存在区别特征，而这些区别特征中部分特征被其他对比文件公开，其余区别特征是本领域惯用手段，则该权利要求不具有突出的实质性特点和显著的进步，不具备创造性。
全文：
本复审请求涉及申请号为201510209355.6，名称为“一种视频图像处理方法及系统”的发明专利申请（下称本申请）。申请人为上海分众软件技术有限公司。本申请的申请日为2015年04月27日，公开日为2016年11月23日。
经实质审查，国家知识产权局实质审查部门于2018年08月03日发出驳回决定，驳回了本申请，其理由是：权利要求1-8不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为：申请日2015年04月27日提交的说明书第1-115段（即第1-9页），说明书附图第1-3页；2015年06月01日提交的摘要附图；2015年07月24日提交的说明书摘要；2018年03月05日提交的权利要求第1-8项。驳回决定引用如下对比文件：对比文件1：CN 1971504 A，公开日2007年05月30日；对比文件2：CN 1338662 A，公开日2002年03月06日。驳回决定所针对的权利要求书内容如下：
“1. 一种视频图像处理方法，适用于具有连续多面显示面的沉浸式视频播放环境中；其特征在于，包括：
若干个投影设备组，分别向对应的一个显示面投影视频图像；
所述投影设备组包括：
一主投影设备组，其中包括至少一个投影设备，用于向对应的一主显示面投影视频图像；
若干个辅投影设备组，每个所述辅投影设备组中包括多个投影设备，分别用于向对应的辅显示面投影视频图像；
所述视频图像处理方法中，对应每个所述投影设备组预设有相应的图像处理参数，以及相应的遮罩处理参数；
所述视频图像处理方法具体包括：
步骤S1，获取外部输入的对应所述投影设备组的视频图像；
步骤S2，根据相应的所述图像处理参数对所述视频图像进行图像处理，并在所述视频图像需要进行显示效果调整时转向执行步骤S3；
步骤S3，根据相应的所述遮罩处理参数形成一遮罩图层，以覆盖所述视频图像；
步骤S4，输出经过所述遮罩图层覆盖后的所述视频图像，以供相应的所述投影设备组进行投影；
所述图像处理参数包括：几何校正参数，和/或融合调整参数，和/或色彩调整参数，和/或失真校准参数；
则所述步骤S2中，根据所述图像处理参数对所述视频图像进行调整包括：
对所述视频图像进行相应的几何校准；和/或
对所述视频图像进行相应的图像融合调整；和/或
对所述视频图像进行相应的色彩调整；和/或
对所述视频图像进行相应的图像失真校准。
2. 如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S2中，若所述视频图像不需要进行遮罩效果调整时，直接转向执行下述步骤；
步骤S5，输出经过图像处理的所述视频图像，以供相应的所述投影设备组进行投影。
3. 如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S3中，采用所述遮罩图层覆盖所述视频图像，以改变所述视频图像投影于相应的所述显示面上的前景色。
4. 如权利要求1所述的视频图像处理方法，其特征在于，所述步骤S3中，采用所述遮罩图层覆盖所述视频图像，以改变所述视频图像投影于相应的所述显示面上的亮度。
5. 一种视频图像处理系统，基于如权利要求1-4中任意一项所述的视频图像处理方法，适用于具有连续多面显示面的沉浸式视频播放环境中；其特征在于，包括：
若干个投影设备组，分别向对应的一个显示面投影视频图像；
所述投影设备组包括：
一主投影设备组，其中包括至少一个投影设备，用于向对应的一主显示面投影视频图像；
若干个辅投影设备组，每个所述辅投影设备组中包括多个投影设备，分别用于向对应的辅显示面投影视频图像；
所述视频图像修正系统还包括多个第一控制单元：
其中一个所述第一控制单元连接所述主投影设备组，用于控制所述主投影设备组进行视频图像的拼接处理，并将拼接后的视频图像投影于所述主显示面上；
其中多个所述第一控制单元分别连接每个所述辅投影设备组，用于控制相应的所述辅投影设备组进行视频图像的拼接处理，并将拼接后的视频图像投影于相应的所述辅显示面上；
每个所述第一控制单元中还预设有对应每个所述投影设备组的图像处理参数和遮罩处理参数；
所述第一控制单元用于根据所述图像处理参数对相应的所述视频图像进行图像处理，以及根据所述遮罩处理参数对需要进行处理的所述视频图像进行遮罩处理，随后将经过处理的所述视频图像发送至相应的所述投影设备组中进行投影；
第二控制单元，分别连接每个所述第一控制单元和每个所述投影设备组，用于对所有所述投影设备投影的所述视频图像进行同步控制；
所述图像处理参数包括：几何校正参数，和/或融合调整参数，和/或色彩调整参数，和/或失真校准参数；
则根据所述图像处理参数对所述视频图像进行调整包括：
对所述视频图像进行相应的几何校准；和/或
对所述视频图像进行相应的图像融合调整；和/或
对所述视频图像进行相应的色彩调整；和/或
对所述视频图像进行相应的图像失真校准。
6. 如权利要求5所述的视频图像处理系统，其特征在于，每个所述第一控制单元中包括：
第一存储模块，用于保存所述图像处理参数，以及所述遮罩处理参数；
获取模块，用于获取对应的所述投影设备组需要进行投影的视频图像；
图像处理模块，分别连接所述获取模块和所述第一存储模块，用于根据所述图像处理参数对所述视频图像进行图像处理；
遮罩处理模块，分别连接所述第一存储模块和所述图像处理模块，用于根据所述遮罩处理参数形成一相应的遮罩图层，并将所述遮罩图层覆盖所述视频图像，以完成对经过所述图像处理的所述视频图像的遮罩处理；
所述遮罩处理用于调整所述视频图像的显示效果；
所述第一控制单元将经过所述图像处理和所述遮罩处理的所述视频图像输出，以供相应的所述投影设备组进行投影。
7. 如权利要求6所述的视频图像处理系统，其特征在于，每个所述第一控制单元中还包括：
选择模块，连接于所述图像处理模块和所述遮罩处理模块之间，用于选择需要进行显示效果处理的所述视频图像并送入所述遮罩处理模块中进行处理。
8. 如权利要求5所述的视频图像处理系统，其特征在于，于所述第二控制单元中预设相应的至少一个所述遮罩处理参数；
所述第二控制单元还用于根据所述遮罩处理参数，对相应的所述投影设备组需要投影的所述视频图像进行遮罩处理。”
驳回决定的主要理由是：权利要求1与对比文件1的区别在于：权利要求1还记载了其涉及的是具有连续多面显示面的沉浸式视频播放环境，并且，图像处理参数还包括图像失真校准；此外，权利要求1还进一步记载了，每个所述投影设备组还预设有相应的遮罩处理参数，以及，该视频图像处理方法在进行图像处理后还包括：在所述视频图像需要进行显示效果调整时转向执行步骤S3；步骤S3，根据相应的所述遮罩处理参数形成一遮罩图层，以覆盖所述视频图像；步骤S4，输出经过所述遮罩图层覆盖后的所述视频图像，以供相应的所述投影设备组进行投影。上述区别特征或被对比文件2公开，或属于本领域惯用手段，因而不具备创造性。从属权利要求2-4的附加技术特征或被对比文件2公开，或属于本领域惯用手段，也不具备创造性。类似地，产品权利要求5-8相对于对比文件1、对比文件2和本领域惯用手段的结合不具备创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2018年11月14日向国家知识产权局提出了复审请求，未修改申请文件。复审请求人认为：对比文件1只包括一个平面的显示墙，本申请的视频图像处理方法应用于多面显示面，其显示面与显示面拼接处的图像处理方式与单一平面内的图像处理方式不同，对比文件1中的大规模立体拼接显示墙的校正方法不适于本申请，因此权利要求1-8具备创造性。
经形式审查合格，国家知识产权局于2019年07月12日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年01月14日向复审请求人发出复审通知书，复审通知书针对的文本与驳回决定针对的文本相同，使用的对比文件与驳回决定使用的对比文件相同，即对比文件1和对比文件2，通知书指出权利要求1-8不具备专利法第22条第3款规定的创造性。
复审请求人未在指定的期限内答复复审通知书，根据专利法实施细则第63款第1条的规定，该复审请求视为撤回，合议组于2019年05月20日向复审请求人发出复审案件结案通知书。
复审请求人于2019年06月17日提交了复审程序恢复权利请求书以及复审无效宣告程序意见陈述书，未修改申请文件。复审请求人在复审无效宣告程序意见陈述书认为：对比文件1没有公开连续多面显示面，而本申请中针对连续多面显示面的沉浸式视频播放环境，对应的图像处理与平面显示墙不同，将对比文件1的视频图像处理方法用于多面显示面不是本领域惯用手段，权利要求1-8具有创造性。
国家知识产权局于2019年07月17日向复审请求人发出恢复权利请求审批通知书，同意复审请求人恢复权利。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人在复审阶段未修改申请文件。本复审请求审查决定针对的文本与复审通知书和驳回决定针对的文本相同，即：申请日2015年04月27日提交的说明书第1-9页，说明书附图第1-3页；2015年06月01日提交的摘要附图；2015年07月24日提交的说明书摘要；2018年03月05日提交的权利要求第1-8项。
2、关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定使用的对比文件与驳回决定使用的对比文件相同，即：
对比文件1：CN 1971504 A，公开日2007年05月30日；
对比文件2：CN 1338662 A，公开日2002年03月06日。
1.权利要求1请求保护一种视频图像处理方法。对比文件1公开了一种大规模立体拼接显示墙的校正方法，具体公开了以下技术特征（参见说明书第1页第1段，第5页倒数第3段至第9页第4段，图1）：本发明涉及用于可视化和虚拟现实（相当于沉浸式视频播放环境）等科学研究中的大规模立体显示墙的安装校正方法。几何校正：对于由多台投影仪拼接显示的投影墙系统来说，一个十分关键和必须解决的问题是：如何校正每台投影仪的位置，角度，使得所有的投影仪都能投影到正确的矩形区域，保证所有的投影显示区域能够一一的拼接起来，形成一个无缝的，逻辑上单一的显示设备。要进行校正，需要知道投影仪上图像点阵(即集群节点上帧缓存中的原始图像)（集群节点上帧缓存中的原始图像相当于获取外部输入的对应投影设备的视频图像）和投放到显示屏幕上后对应图像点阵之间的映射关系。假设投影过程没有任何的光学扭曲，而投影幕布的表面是一个平面，那么帧缓存中原始图像与相机图像、投影图像与相机图像之间都可以看成线性变换，分别用3×3矩阵C和T表示，用P来表示原始图像与投影图像之间的映射（相当于根据相应的图像处理参数对所述视频图像进行图像处理）。得到P后，要在屏幕上得到投影区域，便可以求出各顶点在帧缓存中的对应位置，绘制时，只需对帧缓存中的图像进行变换，在屏幕上便可得到正确的拼接图。边缘融合（相当于融合调整）：边缘融合就是为了避免这些跳变，使相邻的屏幕重叠区同时显示，但这样会造成重叠区的高亮，所以需要对重叠区的亮度进行融合，使得拼接后能够看成一个统一的屏幕。为了进行边缘融合，为每个投影仪设置一个包含光滑处理函数（相当于对应每个投影设备预设有相应的遮罩处理参数）的掩膜(alpha mask)（掩膜相当于根据相应的遮罩处理参数形成一遮罩图层），在进行图像绘制时将原图与alpha mask进行融合（相当于遮罩图层覆盖所述视频图像），在重叠区域便可实现投影仪间的平滑过渡（相当于输出经过遮罩图层覆盖后的所述视频图像，以供相应的所述投影设备进行投影）。颜色校正（相当于色彩调整）：不同的投影仪在投射相同颜色时，由于物理光学属性的不同，会产生颜色偏差，主要有色度差和亮度差：前者指在投射相同颜色时，不同的投影仪会不同程度地夹杂其他颜色，使该色不“纯”；后者指在投射相同亮度颜色时，不同投影仪会产生不同的亮度，偏亮或者偏暗。以上两者会导致视觉上的不一致性，从而引进了颜色校正。为了进行颜色校正，需对投影仪的R，G，B三个通道分别进行校正，从而来减少色彩差异。以下结合附图并通过实例对本发明作进一步的说明：图1所示的大规模立体拼接显示墙由10个节点的微机集群1驱动18台投影仪2组成，其中幕布3选择了美国Stewart公司原装进口的film screen背投软幕。先将该18个投影仪分为9组（相当于若干个投影设备组），每组两个投影仪，使得每组投影仪投在幕布上相同区域；而且相邻组投影仪之间要有重叠区（对比文件1公开了9个投影设备组，每一组对应一个区域，9组中的一组相当于“一主投影设备组”，对应的区域相当于“主显示面”，9组中的其余8组相当于“若干个辅投影设备组”，对应的区域相当于“辅显示面”）。接下来，用计算机视觉的方法进行图像几何校正。然后，对投影仪投射的图像进行边缘融合。最后，用计算机视觉的方法进行图像颜色校正。
权利要求1与对比文件1的区别在于：（1）权利要求1具有连续多面显示面；（2）权利要求1对应每个投影设备组进行视频图像处理，而对比文件1对应每个投影设备进行视频图像处理；（3）权利要求1先进行图像处理，在视频图像需要进行显示效果调整时再使用遮罩图层；而对比文件1没有对是否需使用遮罩图层进行判断，对比文件1中在针对边缘融合（相当于融合调整）这一图像处理时使用了遮罩图层，以达到使重叠区域实现投影仪间的平滑过渡的效果；（4）图像处理参数还包括图像失真校准参数，以及对视频图像进行相应的图像失真校准。基于上述区别特征，本申请实际解决的技术问题是：如何针对多面显示面实现拼接图像的各种图像处理，如何在需要时进行显示效果调整，以提升观赏体验。
对于区别特征（1），针对权利要求1中记载的投影设备组，对比文件1已公开了“适用于沉浸式视频播放环境中；包括：若干个投影设备组，分别向对应的一个显示面投影视频图像；所述投影设备组包括：一主投影设备组，其中包括至少一个投影设备，用于向对应的一主显示面投影视频图像；若干个辅投影设备组，每个所述辅投影设备组中包括多个投影设备，分别用于向对应的辅显示面投影视频图像”，也就是说，区别特征（1）仅体现在对比文件1的主、辅显示面位于一个平面上，而权利要求1的主、辅显示面构成多面显示面。权利要求1只是分别针对主显示面或辅显示面，对向对应的一个显示面投影的投影设备组的视频图像进行相应的图像处理，其中并不涉及由于要将图像投影到多个面显示而需要进行特定的处理。而对比文件1已公开了针对每个显示面的图像处理方式，因此，将对比文件1针对主、辅显示面的视频图像处理方式用于多面显示面中的主、辅显示面，并实现同样的拼接效果，是本领域惯用手段。
对于区别特征（2），对比文件1的每个投影设备组包括两个投影仪，分别对每个投影仪进行视频图像处理；由于每组投影仪投在幕布上相同区域，必定需要相互校准等处理，因此，对比文件1隐含公开了每组的两个投影仪之间是具有相关性的。基于此，考虑到同组投影设备的相关性，以投影设备组为单位，对每个投影设备组内的两个或多个投影设备进行视频图像处理，属于本领域惯用手段。
对于区别特征（4），投影设备的图像处理常包括图像失真校准，是本领域惯用手段。
对于区别特征（3），对比文件2公开了一种改进的影像处理技术，具体公开了以下技术特征（参见说明书第2页第5段）：一种改进的影像处理技术，其主要技巧在于将原始数字影像太亮或太暗的部分圈选为遮罩影像区域后（由于对比文件2在原始影像的像素亮暗度分布状况不佳时，进行圈选为遮罩影像区域的操作，因此对比文件2必然包含了判断原始影像是否需要进行亮度调整的步骤，也就是说，对比文件2隐含公开了“在视频图像需要进行显示效果调整时再使用遮罩图层”），先依遮罩区域的原始影像各像素亮暗度分布状况，自动计算亮暗度门槛值(Threshold)，并依此门槛值产生一个像素明暗度比重分配的阿尔法(Alpha)不透明度分配图；再依不透明度为0％的所有像素色相平均值作为参考色相值，计算遮罩区域内的原始数字影像平均色相角度值，产生一个修正红绿蓝三原色各别亮度值的修正影像；最后，将原始影像与修正影像按照不透明度比重分配叠合产生完成图；此过程具有自动修正遮罩区域原始影像的亮度而不致产生色相及饱和度失真的功能，使叠合后的完成图仍可呈现平顺的渐层立体感。
可见，区别特征（3）被对比文件2公开，且对比文件2记载了其所起的作用为“使叠合后的完成图仍可呈现平顺的渐层立体感”，这也是为了提升观赏体验，可见，对比文件2公开的上述特征所起的作用与其在本申请中为解决技术问题所起的作用是相同的，对比文件2给出了将上述特征用于对比文件1以解决其技术问题的启示。在对比文件1的基础上结合对比文件2和本领域惯用手段得到权利要求1的技术方案，对于本领域技术人员来说是显而易见的，权利要求1不具备突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
2.对于权利要求2、3，如果不需要对投影图像进行进一步的显示效果调整，则直接输出已有的视频图像，属于本领域惯用手段。人们对图像的关注点更多聚焦于前景部分，修改视频图像的前景色以得到更好的显示效果，属于本领域惯用手段。因此在其引用的权利要求不具备创造性的情况下，权利要求2、3不具备专利法第22条第3款规定的创造性。
3.对于权利要求4，对比文件2公开了（参见说明书第2页第5段）：此过程具有自动修正遮罩区域原始影像的亮度（相当于改变亮度）而不致产生色相及饱和度失真的功能，使叠合后的完成图仍可呈现平顺的渐层立体感。因此在其引用的权利要求不具备创造性的情况下，权利要求4不具备专利法第22条第3款规定的创造性。
4.权利要求5请求保护一种视频图像处理系统，基于如权利要求1-4中任意一项所述的视频图像处理方法。
对比文件1还公开了（说明书第4页倒数第5段至第9页第4段，图1）：几何校正：对于由多台投影仪拼接显示的投影墙系统来说，一个十分关键和必须解决的问题是：如何校正每台投影仪的位置，角度，使得所有的投影仪都能投影到正确的矩形区域，保证所有的投影显示区域能够一一的拼接起来（相当于拼接处理）。大屏幕显示墙使用并行绘制技术（由于并行绘制必然需要进行同步控制，因此对比文件1隐含公开了“同步控制”），采用多台投影仪取代原来的单台投影仪使得显示屏幕增大为相应的倍数；各个投影仪由单独的计算机进行驱动，计算任务的分担使得显示速度也大大提高。图1所示的大规模立体拼接显示墙由10个节点（相当于多个第一控制单元）的微机集群1驱动18台投影仪2组成，其中幕布3选择了美国Stewart公司原装进口的film screen背投软幕。每组投影仪由一个集群节点控制。先将该18个投影仪分为9组，每组两个投影仪，使得每组投影仪投在幕布上相同区域；而且相邻组投影仪之间要有重叠区。
除了上述权利要求1与对比文件1的区别特征（1）-（4）外，权利要求5进一步限定的特征与对比文件1相比，区别还在于：（5）第二控制单元，分别连接每个所述第一控制单元和每个所述投影设备组，用于对所有所述投影设备投影的所述视频图像进行同步控制。基于上述区别特征，可以确定本申请实际解决的技术问题是：如何针对多面显示面实现拼接图像的各种图像处理，如何在需要时进行显示效果调整，以提升观赏体验，以及如何实现拼接图像的同步控制。
参见对权利要求1的评述可知，区别特征（1）-（4）或被对比文件2公开，或属于本领域惯用手段。
对于区别特征（5），由相应的控制单元，连接对比文件1中驱动投影仪的微机集群与投影仪，从而控制各投影仪的同步并行绘制，属于本领域惯用手段。在对比文件1的基础上结合对比文件2和本领域惯用手段得到权利要求5的技术方案，对于本领域技术人员来说是显而易见的，在权利要求1-4不具备创造性的情况下，权利要求5不具备突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
5.对于权利要求6，参见对权利要求1的评述可知，对比文件1公开了图像处理参数、遮罩处理参数，对比文件1还公开了权利要求6中除第一存储模块以外的其他各模块所实现的功能。
由存储模块保存图像处理参数属于本领域存储数据的惯用手段，由相应的模块各自实现对应功能也属于本领域惯用手段。因此在其引用的权利要求不具备创造性的情况下，权利要求6不具备专利法第22条第3款规定的创造性。
6.对于权利要求7，选择需要进行显示效果处理的视频图像进行下一步处理，属于本领域惯用手段。因此在其引用的权利要求不具备创造性的情况下，权利要求7不具备专利法第22条第3款规定的创造性。
7.对于权利要求8，参见对权利要求1的评述可知，对比文件1公开了预设相应的至少一个所述遮罩处理参数，根据所述遮罩处理参数，对相应的所述投影设备组需要投影的所述视频图像进行遮罩处理。由连接每个所述第一控制单元和每个所述投影设备组的具有控制能力的第二控制单元实现上述的处理，属于本领域惯用手段。因此在其引用的权利要求不具备创造性的情况下，权利要求8不具备专利法第22条第3款规定的创造性。
针对复审请求人意见的评述
对于复审请求人的意见陈述，合议组认为：对比文件1公开了用于可视化和虚拟现实（相当于沉浸式视频播放环境），区别在于，对比文件1的主、辅显示面位于一个平面上，而本申请的主、辅显示面构成多面显示面。多面显示面是沉浸式视频播放环境、虚拟现实中常用的显示屏，结合本领域现有技术，即使考虑到多面显示面的主、辅显示面之间具有一定的角度、与平面的显示屏不同，本申请权利要求书及说明书也未包含针对这种不同特点并解决该技术问题的技术特征。本申请权利要求书及说明书均不涉及由于要将图像投影到多个面显示而需要进行特定的处理，本申请权利要求书及说明书只记载针对多面显示面的每个面的视频图像处理。因此，将对比文件1针对主、辅显示面的视频图像处理方式及图像失真校准方式用于多面显示面中的主、辅显示面，并实现同样的拼接效果，是本领域惯用手段。权利要求1-8不具备创造性。
三、决定
维持国家知识产权局于2018年08月03日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
