发明创造名称：一种利用图形处理芯片自动校正失真方法和装置
外观设计名称：
决定号：198024
决定日：2019-12-20
委内编号：1F286346
优先权日：
申请（专利）号：201710343763.X
申请日：2017-05-16
复审请求人：深圳市火乐科技发展有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：池娟
合议组组长：王加新
参审员：龙玄耀
国际分类号：H04N9/31(2006.01)
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在区别特征，该区别特征的一部分属于本领域的惯用手段，但该区别特征的其余部分既没有被其它对比文件公开，也没有证据表明该区别特征的其余部分属于本领域的公知常识，同时包括了该区别特征的其余部分的该权利要求的技术方案获得了有益的技术效果，则该权利要求相对于上述对比文件与本领域公知常识的结合具有突出的实质性特点和显著的进步，具备创造性。
全文：
本复审请求涉及申请号为201710343763.X，名称为“一种利用图形处理芯片自动校正失真方法和装置”的发明专利申请（下称“本申请”）。申请人为深圳市火乐科技发展有限公司。本申请的申请日为2017年05月16日，公开日为2017年09月08日。
经实质审查，国家知识产权局实质审查部门于2019年03月07日以权利要求1-8不符合专利法第22条第3款的规定为由驳回了本申请。驳回决定中引用的对比文件如下：对比文件1：CN106507077A，公开日为2017年03月15日；对比文件2：CN102271237A，公开日为2011年12月07日。驳回决定所依据的文本为：申请日2017年05月16日提交的权利要求第1-8项、说明书第1-4页、说明书附图图1-图4、说明书摘要以及摘要附图。驳回决定的具体理由是：（1）权利要求1要求保护一种利用图形处理芯片自动校正失真方法。权利要求1与对比文件1的区别特征在于：1）本申请是基于加速度传感器获得投影仪的运动三维，基于运动三维计算投影仪的相对原姿态的倾斜角，基于倾斜角计算图像的梯形失真区域，而对比文件1是通过摄像头获取图像的梯形失真区域；2）提取梯形失真区域内的最大矩形区域，基于此获取对应的原姿态的映射区域，基于线性插值法处理该区域，通过图像处理芯片校正输出图像，而对比文件1是基于图像失真区域的最大矩形区域的四个顶点获取对应原图像的映射区域。对于上述区别特征1），结合对比文件2公开的内容是本领域的常规选择，上述区别特征2）是本领域的公知常识，因此，权利要求1相对于对比文件1、对比文件2和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。从属权利要求2-4的附加技术特征均为本领域的公知常识；因此，从属权利要求2-4也不具备专利法第22条第3款规定的创造性。（2）权利要求5-8是与方法权利要求1-4一一对应的装置权利要求，因此，权利要求5-8也不具备专利法第22条第3款规定的创造性。驳回决定所针对的权利要求书的内容如下：
“1.一种利用图形处理芯片自动校正失真方法，其特征在于，包括以下步骤：
基于加速度传感器获取投影仪的运动三维，基于运动三维计算投影仪的相对于原姿态的倾斜角；
基于倾斜角计算图像的梯形失真区域；
提取梯形失真区域内的最大矩形区域，基于最大矩形区域逆运算获得对应的原姿态的映射区域；
基于线性插值法处理原姿态的映射区域并通过图像处理芯片校正输出图像。
2.根据权利要求1所述的一种利用图形处理芯片自动校正失真方法，其特征在于，基于以下映射公式计算图像的梯形失真区域：
其中，(x，y)为投影仪原姿态的投影区域坐标，(x’，y’)为(x，y)在梯形失真区域对应的坐标，d为(x，y)对应的光源到投影平面的距离，θ为倾斜角。
3. 根据权利要求2所述的一种利用图形处理芯片自动校正失真方法，其特征在于，基于边界限定原理提取在梯形失真区域内的最大矩形区域，基于映射公式逆运算获得对应的原姿态的映射区域。
4.根据权利要求1所述的一种利用图形处理芯片自动校正失真方法，其特征在于，还包括获取投影仪分辨率，基于分辨率设置插值，基于线性差值法将原姿态的映射区域的顶点坐标映射到对应分辨率的顶点坐标并通过图像处理芯片校正输出图像。
5.一种利用图形处理芯片自动校正失真装置，其特征在于，包括：
测量模块，用于基于加速度传感器获取投影仪的运动三维，基于运动三维计算投影仪的相对于原姿态的倾斜角；
计算模块，用于基于倾斜角计算图像的梯形失真区域，提取梯形失真区域内的最大矩形区域，基于最大矩形区域逆运算获得对应的原姿态的映射区域；
图像处理模块，用于基于线性插值法处理原姿态的映射区域并通过图像处理芯片校正输出图像。
6.根据权利要求5所述的一种利用图形处理芯片自动校正失真装置，其特征在于，计算模块基于以下映射公式计算图像的梯形失真区域：
其中，(x，y)为投影仪原姿态的投影区域坐标，(x’，y’)为(x，y)在梯形失真区域对应的坐标，d为(x，y)对应的光源到投影平面的距离，θ为倾斜角。
7.根据权利要求5所述的一种利用图形处理芯片自动校正失真装置，其特征在于，计算模块基于边界限定原理提取在梯形失真区域内的最大矩形区域，基于映射公式逆运算获得对应的原姿态的映射区域。
8.根据权利要求6所述的一种利用图形处理芯片自动校正失真装置，其特征在于，图像处理模块，还用于获取投影仪分辨率，基于分辨率设置插值，基于线性差值法将原姿态的映射区域的顶点坐标映射到对应分辨率的顶点坐标并通过图像处理芯片校正输出图像。”
申请人（下称“复审请求人”）对上述驳回决定不服，于2019年06月12日向国家知识产权局提出了复审请求，并在复审请求书中陈述了针对权利要求书做出如下修改：删除权利要求1，合并原权利要求2-4以形成新的方法独立权利要求1，删除权利要求5，合并原权利要求6-8以形成新的装置独立权利要求2。但复审请求人并未提交权利要求书的修改替换页。复审请求人在复审请求书中认为：（1）对比文件2的重力传感器的用途是确定倾斜角度，然后根据倾斜角度和投影角度计算投影的上下边比例，而本方案是基于加速度传感器获取三维以计算倾斜角度，两者的技术手段区别较大；（2）图像坐标的映射公式在现有技术中并未有相同或相应的技术特征披露，该区别技术特征为常规选择的理由不充分；（3）确定最大矩形区域的方式，通过映射公式逆运算到对应的映射区域，两者紧密结合，不可分割，共同解决图像变形的问题；（4）插值一般用在图像领域，在投影仪或者邻近领域未有公开，本申请使用插值的目的并非简单的图像尺寸改变而是进行图像坐标的确定，即从通常的图像内容的补充到图像坐标的变化，其技术目的和技术效果发生了本质的变化。同时，对比文件1中基于摄像捕捉图像的方法，会存在由于图像不清晰导致无法正常处理图像以进行调节的问题，相对于对比文件1，本方案通过传感器直接获取参数，能够避免产生上述的图像不清晰的问题，具有突出的实质性特点和显著的进步。因此，修改后的权利要求1具备创造性，对应的装置权利要求2也具备创造性。
经形式审查合格，国家知识产权局于2019年06月25日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中认为：（1）三轴加速度传感器所具备的特点是已知的，并且其也是一种常用的传感器，在对比文件2公开了通过重力传感器是确定倾斜角度的基础上，本领域选择加速度传感器，并且其所带来的优点也是可以预期的；（2）通过一定的数学运算容易得到原姿态的投影区域与失真后的区域的对应关系，考虑一些常规的参数，比如位置对应坐标、距离、倾斜角度，得到映射公式，是本领域技术人员通过有限的计算容易得到的；（3）对比文件1已经公开了分析梯形失真区域内的最大矩形区域的基础上，其必然也是要通过一定的方式去确定最大矩形区域的，而基于边界限定原理提取在梯形失真区域内的最大矩形，是容易做出的；（4）正如复审请求人所述，插值处理一般用在图像处理领域，虽然本申请是投影仪，但是其也是针对投影仪的图像处理，本领域选择插值处理扩充图像，属于公知常识。因而坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
复审请求人于2019年08月09日提交了补正书以及修改后的权利要求书，其中具体修改为：删除权利要求1，合并原权利要求2-4以形成新的方法独立权利要求1，删除权利要求5，合并原权利要求6-8以形成新的装置独立权利要求2。修改后的权利要求书的内容如下：
“1.一种利用图形处理芯片自动校正失真方法，其特征在于，包括以下步骤：
基于加速度传感器获取投影仪的运动三维，基于运动三维计算投影仪的相对于原姿态的倾斜角；
基于映射公式计算图像的梯形失真区域：
其中，(x，y)为投影仪原姿态的投影区域坐标，(x’，y’)为(x，y)在梯形失真区域对应的坐标，d为(x，y)对应的光源到投影平面的距离，θ为倾斜角；
基于边界限定原理提取在梯形失真区域内的最大矩形区域，基于映射公式逆运算获得对应的原姿态的映射区域；
获取投影仪分辨率，基于分辨率设置插值，基于线性差值法将原姿态的映射区域的顶点坐标映射到对应分辨率的顶点坐标并通过图像处理芯片校正输出图像。
2.一种利用图形处理芯片自动校正失真装置，其特征在于，包括：
测量模块，用于基于加速度传感器获取投影仪的运动三维，基于运动三维计算投影仪的相对于原姿态的倾斜角；
计算模块，用于基于映射公式计算图像的梯形失真区域：
其中，(x，y)为投影仪原姿态的投影区域坐标，(x’，y’)为(x，y)在梯形失真区域对应的坐标，d为(x，y)对应的光源到投影平面的距离，θ为倾斜角，基于边界限定原理提取在梯形失真区域内的最大矩形区域，基于映射公式逆运算获得对应的原姿态的映射区域；
图像处理模块，用于获取投影仪分辨率，基于分辨率设置插值，基于线性差值法将原姿态的映射区域的顶点坐标映射到对应分辨率的顶点坐标并通过图像处理芯片校正输出图像。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出复审请求审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人在复审程序中于2019年08月09日提交了权利要求书的全文修改替换页，经审查，上述文本的修改符合专利法第33条的规定。本复审请求审查决定所针对的审查文本为：2019年08月09日提交的权利要求第1-2项，申请日2017年05月16日提交的说明书第1-4页，说明书附图图1-图4、说明书摘要以及摘要附图。
（二）关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定引用的对比文件与驳回决定引用的对比文件相同，即：
对比文件1：CN106507077A，公开日为2017年03月15日；
对比文件2：CN102271237A，公开日为2011年12月07日。
1.权利要求1请求保护一种利用图形处理芯片自动校正失真方法。对比文件1公开了一种基于图像分析的投影仪画面矫正及遮挡避让方法，并具体公开了如下技术特征（参见对比文件1的说明书第[0016]-[0019]段以及说明书附图1-5）：基于图像分析的投影仪画面矫正及遮挡避让方法，包括以下步骤：步骤1：采用相机平面标定法，标定摄像头的光学畸变参数，对摄像头的径向畸变和切向畸变进行矫正；步骤2：投影仪将计算机中的原图像投影到投影平面上；步骤3：摄像头面对投影平面拍摄从而得到包含全部投影画面的拍摄图像并将拍摄图像发送给计算机；步骤4：如图1，计算机采用边缘检测方法识别拍摄图像内的投影区域从而得到投影区域图像A’B’C’D’；步骤5：如图1，计算机检测投影区域图像A’B’C’D’的四边形外边框是否为处于水平方向的矩形从而判断投影区域图像A’B’C’D’是否存在几何畸变；步骤6：将步骤5中存在几何畸变的投影区域图像A’B’C’D’（相当于该权利要求中的“计算图像的梯形失真区域”）计算机中原图像ABCD进行特征匹配处理，计算投影区域图像A’B’C’D’与原图像ABCD之间二维位置坐标的映射关系（相当于该权利要求中的“映射公式”）；步骤7：如图2，分析投影区域图像A’B’C’D’内的最大无畸变投影区域A1’B1’C1’D1’，提取最大无畸变投影区域A1’B1’C1’D1’的顶点坐标（相当于该权利要求中的“提取在梯形失真区域内的最大矩形区域”）；步骤8：如图3，将顶点坐标通过步骤6中的映射关系得到映射坐标（相当于该权利要求中的“基于在梯形失真区域的最大矩形区域，基于映射公式逆运算获得对应的原姿态的映射区域”）；将原图像ABCD按照映射坐标进行反向变形处理,得到图像A1B1C1D1，图像A1B1C1D1相较原图像ABCD缩小的部分用纯色填充，得到输出图像A11B11C11D11，计算机将输出图像A11B11C11D11发送到投影仪，投影仪进行投影，完成几何矫正。
权利要求1与对比文件1相比，其区别特征在于：
（1）基于加速度传感器获取投影仪运动的三维，基于运动三维计算投影仪相对原姿态的倾斜角；
（2）所述映射公式具体为：其中，（x，y）为投影仪原姿态的投影区域坐标，(x’，y’)为(x，y)在梯形失真区域对应的坐标，d为(x，y)对应的光源到投影平面的距离，θ为倾斜角；
（3）所述最大矩形区域是基于边界限定原理提取；
（4）基于投影仪分辨，基于分辨率设置插值，基于线性插值法将原姿态的映射区域的顶点坐标映射到对应分辨率顶点坐标并通过图像处理芯片校正输出图像。
基于上述区别特征，权利要求1实际解决的技术问题是：（1）如何获取投影仪相对原姿态的倾斜角；（2）如何确定梯形失真区域；（3）如何基于梯形失真区域获取最大矩形区域；（4）如何获取高分辨率输出图像以提高该校正失真方法的适应性。
对于上述区别特征（1），对比文件2公开了一种投影装置矫正梯形失真的方法，并具体公开了以下技术特征（参见对比文件2的说明书第[0017]-[0020]段）：角度感测单元10用于感测投影装置100与水平方向的夹角，该角度感测单元10为重力感测器(G-sensor)，处理单元30响应用户的操作确定该投影装置100的倾斜角度(即与水平方向的夹角)，该处理单元30根据投影装置100的倾斜角度（相当于该权利要求中的“投影仪的相对原姿态的倾斜角”）及投影装置100的投影角度计算该投影装置100投射在投影屏幕上的图像上边长和下边长比例，并根据该比例计算一修正参数，基于所述修正参数实现梯形矫正。该特征在对比文件2中所起作用与区别特征（1）在本申请中所起作用相同，都是通过角度感测单元来检测投影装置的倾斜角度以确定投影图像的梯形失真，即对比文件2给出了可以通过角度感测单元来计算基于投影仪的相对原姿态的倾斜角以确定投影仪图像梯形失真情况的启示。且通过加速度传感器来获取设备运动的三维进而基于所述三维计算该设备的倾斜角属于本领域的惯用手段。在对比文件2给出的上述启示的基础上结合上述本领域惯用手段，本领域技术人员容易得到基于加速度传感器获取投影仪运动的三维，基于运动三维计算投影仪相对原姿态的倾斜角，进而将所述倾斜角应用于梯形失真校正。
对于上述区别特征（3），基于边界限定原理提取梯形失真区域中的最大矩形区域，这是在失真区域中提取最大矩形区域的常规方法，属于本领域的惯用手段。
对于上述区别特征（4），线性插值算法是图像领域中常规的用于提升图像分辨率的方法，因此，为使得梯形失真校正后的图像能够与投影仪的设备分辨率相匹配，通过线性插值将得到的原姿态的顶点坐标映射到对应分辨率的顶点坐标，并通过图像处理芯片校正输出图像，属于本领域的惯用手段。
对于上述区别特征（2），其是在获取投影仪相对原姿态的倾斜角θ、光源到投影平面的距离d的基础上，通过一图像坐标映射公式具体限定了投影仪原姿态的投影区域坐标（x，y）与梯形失真区域坐标(x’，y’)之间的映射关系，从而实现了当前姿态投影仪的梯形失真区域的准确获取。尽管对比文件2也公开了一种投影装置的矫正梯形失真的方法，且在该投影装置的矫正梯形失真的方法中也包括了获取所述投影装置的倾斜角的步骤，但是，根据对比文件2公开的内容“投影装置的倾斜角度是用于计算该投影装置投射在投影屏幕上的图像上边长和下边长比例，并根据该比例计算一修正参数，该修正参数为该投影装置投射在投影屏幕上的图像上边长和下边长比例的倒数，在修正参数确定之后，则处理单元根据该修正参数对投影装置中投射前的图像进行调整，将该图像变形成上下边比例为该修正参数，且该图像呈梯形，从而投射到投影屏幕上的图像的上边与下边的比例为1，实现了梯形矫正”（参见对比文件2的说明书第[0020]段）可知，对比文件2中的所述投影装置的倾斜角度是用于计算该投影装置投射在投影屏幕上的图像上边长和下边长比例，其矫正梯形失真的方法是根据该比例计算一修正参数以对投影装置中投射前的图像进行调整从而实现梯形校正，即对比文件2公开的投影装置的矫正梯形失真的方法采用的技术手段与本申请权利要求1中的梯形校正失真方法采用的技术手段不同，其完全不涉及梯形失真区域的获取，更加不涉及基于由投影仪相对原姿态的倾斜角θ、和光源到投影平面的距离d确定的图像坐标映射公式而得到的梯形失真区域与原姿态投影区域之间的映射关系，因此对比文件2没有公开上述区别特征（2），也没有给出采用上述区别特征（2）的技术启示。并且，尽管投影仪的倾斜角度、光源到投影平面的距离是与投影仪相关的处理操作中可能会涉及到的一些参数，但是目前并没有证据证明基于投影仪相对原姿态的倾斜角θ、光源到投影平面的距离d而确定的表征梯形失真区域与原姿态投影区域之间的映射关系的图像坐标映射公式：为本领域的公知常识。因此，包含上述区别特征（2）的权利要求1相对于对比文件1、对比文件2和本领域公知常识的结合是非显而易见的。同时，由于采用上述区别特征（2），使得权利要求1请求保护的技术方案能够降低校正处理的计算量，同时保证校正失真结果的准确性，获得了有益的技术效果。
综上，权利要求1请求保护的技术方案相对于对比文件1、对比文件2和本领域公知常识的结合具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
2.权利要求2是与权利要求1的方法相对应的装置权利要求，因此，基于与权利要求1相对应的理由，权利要求2也具备专利法第22条第3款规定的创造性。
三、决定
撤销国家知识产权局于2019年03月07日对本申请作出的驳回决定。由国家知识产权局实质审查部门以下述文本为基础继续进行审批程序：
复审请求人于2019年08月09日提交的权利要求第1-2项；
复审请求人于2017年05月16日提交的说明书第1-4页；
复审请求人于2017年05月16日提交的说明书附图图1-图4；
复审请求人于2017年05月16日提交的说明书摘要；
复审请求人于2017年05月16日提交的摘要附图。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定,复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
