发明创造名称：基于双摄像头的图像处理装置及方法
外观设计名称：
决定号：186073
决定日：2019-08-02
委内编号：1F274445
优先权日：
申请（专利）号：201710312832.0
申请日：2017-05-05
复审请求人：中国科学院计算技术研究所
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：罗信瑶
合议组组长：魏玮
参审员：姚楠
国际分类号：H04N5/232
外观设计分类号：
法律依据：专利法第二十二条第三款
决定要点
：权利要求所要求保护的技术方案与最接近的对比文件公开的技术方案相比存在区别特征，而现有技术中并未给出应用该区别特征的技术启示，权利要求的技术方案对本领域技术人员而言是非显而易见的，并能够产生有益的技术效果，那么该权利要求具备突出的实质性特点和显著的进步，具备创造性。
全文：
本复审请求涉及申请号为201710312832.0，名称为“基于双摄像头的图像处理装置及方法”的发明专利申请（下称本申请）。申请人为中国科学院计算技术研究所。本申请的申请日为2017年05月05日，公开日为2017年08月22日。
经实质审查，国家知识产权局实质审查部门于2018年11月05日发出驳回决定，以权利要求1-9不具备专利法第二十二条第三款规定的创造性为由驳回了本申请。驳回决定引用的对比文件为：对比文件3：CN 106454121A 公开日：2017年02月22日。具体理由是：权利要求1与对比文件3的区别特征在于：所述控制模块用于发送拍摄指令到所述第二摄像头，所述拍摄指令包含所述第一摄像头的拍摄信息和所述整体图像的图像信息。针对上述区别特征，在对比文件3给出的基于整体图像拍摄画面参数来确定局部图像拍摄，增加整体图像和局部图像拍摄的启示下，本领域技术人员能够想到在第二摄像头拍摄指令中增加第一摄像头的拍摄信息和整体图像的图像信息；及基于控制模块发送拍摄指令到第二摄像头控制拍摄是本领域常规技术选择。因此权利要求1不具备专利法第二十二条第三款规定的创造性。从属权利要求2-6或被对比文件3所公开，或属于本领域惯用手段，因此，权利要求2-6不具备专利法第二十二条第三款规定的创造性。权利要求7是与权利要求1相对应的方法权利要求，基于相似理由，权利要求7不具备专利法第二十二条第三款规定的创造性。从属权利要求8和9或被对比文件3所公开，或属于本领域惯用手段，因此，权利要求8和9不具备专利法第二十二条第三款规定的创造性。
驳回决定所依据的文本为：申请日2017年05月05日提交的说明书第1-61段（即第1-7页），说明书附图第1-2页，说明书摘要和摘要附图；2018年07月03日提交的权利要求书第1-9项。
驳回决定所针对的权利要求书的内容如下：
“1. 一种基于双摄像头的图像处理装置，包括第一摄像头、第二摄像头、控制模块和处理模块，其中，所述第一摄像头用于拍摄整体图像，所述整体图像包括指定目标D；所述控制模块用于发送拍摄指令到所述第二摄像头；所述第二摄像头用于按照接收的所述拍摄指令拍摄局部图像，所述局部图像包括指定目标D'；所述处理模块用于将所述整体图像与所述局部图像进行图像融合，使所述指定目标D'替代所述指定目标D，获得包含所述指定目标D'的新的完整图像；并且其中，所述拍摄指令包含所述第一摄像头的拍摄信息和所述整体图像的图像信息，所述整体图像的图像信息包括所述指定目标D的位置信息；所述指定目标D和所述指定目标D'为同一对象。
2.根据权利要求1所述的图像处理装置，其特征在于，所述整体图像的图像信息是所述整体图像中包含指定目标D的区域图形的信息。
3.根据权利要求2所述的图像处理装置，其特征在于，所述处理模块还用于识别所述区域图形的信息。
4.根据权利要求3所述的图像处理装置，其特征在于，所述区域图形的信息是所述处理模块采用基于深度神经网络的图像识别算法检测的所述区域图形的中心位置信息。
5.根据权利要求3所述的图像处理装置，其特征在于，所述处理模块还用于将所述指定目标D'去除部分像素点以匹配所述整体图像。
6.根据权利要求1至5中任一项所述的图像处理装置，其特征在于，所述局部图像可以是一个或多个。
7.一种基于双摄像头的图像处理方法，包括以下步骤：
利用第一摄像头拍摄整体图像，并记录所述第一摄像头的拍摄信息，所述整体图像包括指定目标D；
检测所述整体图像以获得所述整体图像的图像信息，所述整体图像的图像信息包括所述指定目标D的位置信息；以及
根据所述拍摄信息和所述图像信息，利用第二摄像头拍摄局部图像，所述局部图像包括指定目标D'，所述指定目标D和所述指定目标D'为同一对象；
将所述整体图像与所述局部图像进行图像融合，使所述指定目标D'替代所述指定目标D，获得包含所述指定目标D'的新的完整图像。
8.根据权利要求7所述的图像处理方法，其中，检测所述整体图像包括：
采用目标检测算法来检测所述整体图像中的包含指定目标D的区域图形的中心位置坐标。
9.根据权利要求7所述的图像处理方法，所述图像融合还包括：
利用图像融合算法将所述指定目标D'去除部分像素点以匹配所述整体图像，并对图像拼接边缘进行优化处理。”
申请人（下称复审请求人）对上述驳回决定不服，于2019年02月20日向国家知识产权局提出了复审请求，其中未对申请文件进行修改。复审请求人认为：（1）对比文件3与权利要求1中局部图像和整体图像的拍摄顺序不同；（2）权利要求1的局部图像的拍摄依赖于先前得到的整体图像的相关信息。
经形式审查合格，国家知识产权局于2019年02月27日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中认为：（1）对比文件3已经公开了基于预览的整体图像的图像信息指导长焦镜头调节拍摄角度和方向进行拍摄的技术特征，在该过程中整体图像信息是处于预览还是已被采集状态并不影响位置信息的传递，也不影响整体图像采取的拍摄参数的传递；（2）对比文件3公开了通过广角参数传递位置信息，并且为了达到良好的合成视觉效果，使两幅合成图像的环境拍摄参数尽量匹配是常规的理想操作，属于本领域公知常识。因此，坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年05月14日向复审请求人发出复审通知书，该复审通知书引用的对比文件与驳回决定引用的对比文件相同，即对比文件3，并指出：权利要求1-9不具备专利法第二十二条第三款规定的创造性。具体理由是：权利要求1与对比文件3的区别在于：（1）在权利要求1中，先利用第一摄像头拍摄包含指定目标的整体图像，然后确定该指定目标的位置信息，第二摄像头根据指定目标位置信息拍摄包含指定目标的局部图像；而对比文件3中公开的是，先利用广角摄像头获得预览画面，然后确定长焦摄像头的拍摄方向信息，长焦摄像头根据上述拍摄方向信息的指示拍摄局部图像，最后再拍摄与预览图像相同的整体图像；（2）拍摄指令还包含第一摄像头的拍摄信息。针对上述区别（1）：对比文件3公开的预览图像也是整体图像画面，提供了可供长焦摄像头拍摄所使用的指示信息，而该预览图像先拍摄存储再使用还是使用后再拍摄存储，并不影响上述指示信息的获取和应用，也未产生预料不到的效果，并且通过该整体图像中目标的位置分布信息来确定目标实物的存在位置或者是长焦摄像头的方向偏差，从而获得一个可以指示长焦摄像头如何寻找目标进行拍摄的信息，属于本领域惯用手段；针对上述区别（2）：属于本领域惯用手段。因此，权利要求1不具备专利法第二十二条第三款规定的创造性。从属权利要求2-6或被对比文件3所公开，或属于本领域惯用手段，因此，权利要求2-6不具备专利法第二十二条第三款规定的创造性。权利要求7是与权利要求1相对应的方法权利要求，基于相似理由，权利要求7不具备专利法第二十二条第三款规定的创造性。从属权利要求8和9或被对比文件3所公开，或属于本领域惯用手段，因此，权利要求8和9不具备专利法第二十二条第三款规定的创造性。
复审请求人于2019年06月25 日提交了意见陈述书，并提交了权利要求书的修改替换页。复审请求人认为：（1）拍摄顺序流程不同；（2）权利要求1中，局部图像的拍摄不仅依赖于第一摄像头的拍摄信息，还依赖于从第一摄像头拍摄的整体图像中识别的包含指定目标的区域图形的中心位置。
新修改的权利要求书的内容如下：
“1.一种基于双摄像头的图像处理装置，包括第一摄像头、第二摄像头、控制模块和处理模块，其中，所述第一摄像头用于拍摄整体图像，所述整体图像包括指定目标D；所述控制模块用于发送拍摄指令到所述第二摄像头；所述第二摄像头用于按照接收的所述拍摄指令拍摄局部图像，所述局部图像包括指定目标D'；所述处理模块用于将所述整体图像与所述局部图像进行图像融合，使所述指定目标D'替代所述指定目标D，获得包含所述指定目标D'的新的完整图像；并且其中，所述拍摄指令包含所述第一摄像头的拍摄信息和所述整体图像的图像信息；所述指定目标D和所述指定目标D'为同一对象；
其中所述整体图像的图像信息是所述整体图像中包含指定目标D的区域图形的信息，所述区域图形的信息是所述处理模块采用下列步骤识别的所述区域图形的中心位置信息：
a1)将包含指定目标D的整体图像1分割为n个区域，利用各区域内的灰度平均值，计算每个区域与其相邻区域的相似度，获得由相似度数值组成的二维数组；
a2)从步骤a1)获得的二维数组中找出相似度最大值及其所对应的两个区域，并将这两个区域合并，将合并的区域记为m0；计算剩余n-1个区域内的相似度，并将相似度最高的两个区域合并，重复上述步骤，直至合并为同一个区域，得到n-1个区域(m0,m1……mn-1)；
a3)将步骤a2)得到的n-1个区域调整为像素n*n的区域图形A，若该区域为不规则图形，可采用填充像素的方式使之成为n*n大小，其中，填充像素值可为该区域灰度平均值；
a4)利用深度神经网络识别步骤a3)获得的区域图形A中是否包含指定目标D，若区域图形A与指定目标D的区域重合度IOU大于设定的阈值，则认定该区域图形A内包含该指定目标，并计算该区域图形A的中心点坐标，其中上述重合度IOU定义为：
IOU＝S重合/(S区域A S区域D-S重合)
其中，S重合代表重合部分面积，S区域A代表区域图形A的面积，S区域D代 表指定目标D的面积。
2.根据权利要求1所述的图像处理装置，其特征在于，所述处理模块还用于将所述指定目标D'去除部分像素点以匹配所述整体图像。
3.根据权利要求1或2所述的图像处理装置，其特征在于，所述局部图像可以是一个或多个。
4.一种基于双摄像头的图像处理方法，包括以下步骤：
利用第一摄像头拍摄整体图像，并记录所述第一摄像头的拍摄信息，所述整体图像包括指定目标D；
检测所述整体图像以获得所述整体图像的图像信息；以及
根据所述拍摄信息和所述图像信息，利用第二摄像头拍摄局部图像，所述局部图像包括指定目标D'，所述指定目标D和所述指定目标D'为同一对象；
将所述整体图像与所述局部图像进行图像融合，使所述指定目标D'替代所述指定目标D，获得包含所述指定目标D'的新的完整图像；
其中所述整体图像的图像信息是所述整体图像中包含指定目标D的区域图形的信息，所述区域图形的信息是采用下列步骤识别的所述区域图形的中心位置信息：
a1)将包含指定目标D的整体图像1分割为n个区域，利用各区域内的灰度平均值，计算每个区域与其相邻区域的相似度，获得由相似度数值组成的二维数组；
a2)从步骤a1)获得的二维数组中找出相似度最大值及其所对应的两个区域，并将这两个区域合并，将合并的区域记为m0；计算剩余n-1个区域内的相似度，并将相似度最高的两个区域合并，重复上述步骤，直至合并为同一个区域，得到n-1个区域(m0,m1……mn-1)；
a3)将步骤a2)得到的n-1个区域调整为像素n*n的区域图形A，若该区域为不规则图形，可采用填充像素的方式使之成为n*n大小，其中，填充像素值可为该区域灰度平均值；
a4)利用深度神经网络识别步骤a3)获得的区域图形A中是否包含指定目标D，若区域图形A与指定目标D的区域重合度IOU大于设定的阈值，则认定该区域图形A内包含该指定目标，并计算该区域图形A的中心点坐标，其中上述重合度IOU定义为：
IOU＝S重合/(S区域A S区域D-S重合)
其中，S重合代表重合部分面积，S区域A代表区域图形A的面积，S区域D代表指定目标D的面积。
5.根据权利要求4所述的图像处理方法，所述图像融合还包括：
利用图像融合算法将所述指定目标D'去除部分像素点以匹配所述整体图像，并对图像拼接边缘进行优化处理。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人于2019年06月25日提交了意见陈述书，并对权利要求书进行了修改，其中修改之处符合专利法第三十三条的规定。本复审请求审查决定所依据的审查文本为：申请日2017年05月05日提交的说明书第1-7页，说明书附图第1-2页，说明书摘要和摘要附图；2019年06月25日提交的权利要求书第1-5项。
（二）具体理由的阐述
专利法第二十二条第三款规定：“创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。”
本复审请求审查决定所引用的对比文件是第一次审查意见通知书、驳回决定及复审通知书所引用的如下对比文件，即：
对比文件1：CN 104052931A，公开日为：2014年09月17日；
对比文件2：CN 106131449A，公开日为：2016年11月16日；
对比文件3：CN 106454121A，公开日为：2017年02月22日。
1.权利要求1请求保护一种基于双摄像头的图像处理装置，对比文件3公开了一种双摄像头拍照方法及装置，并具体公开以下技术特征（参见说明书第[0088]-[0105]段）：双摄像头拍照装置包括：捕捉模块10、确定模块20、第一采集模块30、第二采集模块40及替换模块50，双摄像头包括广角摄像头（相当于第一摄像头）和长焦摄像头（相当于第二摄像头），其中，捕捉模块10，用于在移动终端进行拍照时，调用移动终端的广角摄像头捕捉当前取景预览画面；确定模块20，用于确定当前取景预览画面中需要高清处理的第一取景权重区域，并根据第一取景权重区域确定对应取景实物的拍照方向，其中，在确定当前取景预览画面中需要高清处理的第一取景权重区域时，确定该第一取景权重区域所对应的取景实物（相当于指定目标D），并根据该第一取景权重区域确定该移动终端中长焦摄像头对该取景实物的拍照方向，例如该广角摄像头与该长焦摄像头配合，以算出该长焦摄像头在拍摄该取景实物时的转动方向以及转动角度；第一采集模块30，用于根据所述取景实物的拍照方向转动所述移动终端的长焦摄像头，并调用所述长焦摄像头采集所述取景实物的高清画面（相当于发送拍摄指令到所述第二摄像头，第二摄像头按照接收的所述拍摄指令拍摄局部图像，所述局部图像包括指定目标D'，所述指定目标D和所述指定目标D'为同一对象）；第二采集模块40，用于在接收到用户触发的拍照指令时，采集所述当前取景预览画面，得到取景画面（相当于第一摄像头用于拍摄整体图像），并获取所述取景实物的高清画面；替换模块50（相当于处理模块），用于将取景画面对应的第一取景权重区域替换成取景实物的高清画面，生成并输出合成取景画面（相当于将所述整体图像与所述局部图像进行融合，使所述指定目标D'替换所述指定目标D，获得包含指定目标D'的新的完整图像）。
权利要求1与对比文件3的区别在于：（1）拍摄指令包含第一摄像头的拍摄信息；（2）权利要求1中，第一摄像头先拍摄包含指定目标的整体图像，然后第二摄像头拍摄局部图像；而对比文件3中公开的是，先利用广角摄像头获得预览画面，然后长焦摄像头拍摄局部图像，再采集所述当前取景预览画面，得到取景画面；（3）拍摄指令包括整体图像的图像信息，该整体图像的图像信息是整体图像中包含指定目标D的区域图形信息，该区域图形信息是采用下列步骤识别的所述区域图形的中心位置信息，a1)将包含指定目标D的整体图像1分割为n个区域，利用各区域内的灰度平均值，计算每个区域与其相邻区域的相似度，获得由相似度数值组成的二维数组；a2)从步骤a1)获得的二维数组中找出相似度最大值及其所对应的两个区域，并将这两个区域合并，将合并的区域记为m0；计算剩余n-1个区域内的相似度，并将相似度最高的两个区域合并，重复上述步骤，直至合并为同一个区域，得到n-1个区域(m0,m1……mn-1)；a3)将步骤a2)得到的n-1个区域调整为像素n*n的区域图形A，若该区域为不规则图形，可采用填充像素的方式使之成为n*n大小，其中，填充像素值可为该区域灰度平均值；a4)利用深度神经网络识别步骤a3)获得的区域图形A中是否包含指定目标D，若区域图形A与指定目标D的区域重合度IOU大于设定的阈值，则认定该区域图形A内包含该指定目标，并计算该区域图形A的中心点坐标，其中上述重合度IOU定义为：IOU＝S重合/(S区域A S区域D-S重合)，其中，S重合代表重合部分面积，S区域A代表区域图形A的面积，S区域D代表指定目标D的面积。基于上述区别可以确定，权利要求1实际要解决的技术问题是：如何使整体图像和局部图像融合效果更好，如何减少缓存预览图像以避免存储能力和硬件处理能力的浪费；以及如何准确获得指定目标的位置信息。
针对区别（1）：本领域技术人员熟知，当两幅图像所使用的拍摄参数区别较大或没有关联性时，两幅图像的拍摄效果也会存在较大差别，进而图像合成时，必然会在合成图像中出现突兀或不协调的情况，视觉效果差。然而为了避免上述情况的发生，本领域技术人员通常可以缩小两幅图像的差别，进而使用相匹配的拍摄参数，也就是说可以将两个摄像头的拍摄参数信息进行互通，例如，先拍摄的摄像头将其使用的相关参数信息发送给后拍摄的摄像头作为参考信息，属于本领域惯用手段。
针对区别（2）：根据对比文件3的公开内容可知，该预览图像也是广角摄像头捕获的整体图像画面，其与最后拍摄的整体图像包含相同的图像信息，提供了可供长焦摄像头拍摄所使用的指示信息。由于权利要求1的两个摄像头也是先后进行拍摄，因此同样会受终端抖动的影响；并且，由于两个摄像头的设置和功能完全不同，第二个摄像头通常只是参考第一摄像头的参数，并不会完全使用相同的参数，因而在拍摄参数发生细微改变的情况下，并不会影响后续图像的合成效果，进而该预览图像先拍摄存储再使用还是使用后再拍摄存储，并不影响上述指示信息的获取和应用，也未产生预料不到的效果。
针对区别（3）：1）虽然对比文件3公开了通过整体图像选取目标区域并获得该目标的拍摄方向，从而使长焦摄像头指向该目标进行拍摄的技术方案，但其并未具体记载指示长焦摄像头拍摄目标的信息是整体图像中包含指定目标D的区域图形的信息，并且该区域图形的信息是根据权利要求1中所记载的相应算法步骤所识别的区域图形的中心位置信息，进而对比文件3未公开上述区别（3）。2）对比文件1公开一种图像拍摄装置、方法及终端，其中，摄像模块包括至少两个摄像头，且至少两个摄像头的变焦倍数不同，当选取正常拍摄模式时，控制摄像模块的第一摄像头或者第二摄像头单独进行拍摄，获得图像，当选取局部细节拍摄模式时，控制模块用于控制所述第一摄像头进行取景获取预览图像，并用于控制所述第二摄像头对在所述预览图像内选取局部区域内对应的景物进行拍摄，获取局部细节图像，并在取景完成时，控制第一摄像头进行拍摄获得整体图像，第二摄像头获取的局部细节图像可以显示在所述第一摄像头获取的整体的图像的一侧，或浮在所述第一摄像头获取的整体的图像之上。由此可见，对比文件1未公开上述区别（3）。3）对比文件2公开一种拍照方法及移动终端，其中，移动终端具有第一摄像头和第二摄像头，获取拍照预览界面输出的一帧预览图像；基于所述预览图像，确定目标局部曝光区域；基于所述目标局部曝光区域，计算目标局部曝光区域对应的目标曝光参数；分别控制第一摄像头和第二摄像头按照预设自动曝光参数和所述目标曝光参数进行曝光，生成第一图像和第二图像；基于所述第一图像和第二图像进行图像合成处理，生成目标图像。由此可见，对比文件2未公开上述区别（3）。4）没有证据表明上述区别（3）属于本领域公知常识。5）并且上述区别能给权利要求1所要求的技术方案带来有益的技术效果：通过所获得的包含目标的区域图形的中心位置来准确地拍摄局部图像。
因此，权利要求1具有突出的实质性特点和显著的进步，具备专利法第二十二条第三款规定的创造性。
2.由于独立权利要求1具备专利法第二十二条第三款规定的创造性，因此，其从属权利要求2和3也具备专利法第二十二条第三款规定的创造性。
3.权利要求4请求保护一种基于双摄像头的图像处理方法，参见权利要求1评述中对比文件3所公开的内容，权利要求4与对比文件1的区别在于：（1）记录第一拍摄头的拍摄信息，根据该拍摄信息拍摄局部图像；（2）权利要求4中，第一摄像头先拍摄包含指定目标的整体图像，然后第二摄像头拍摄局部图像；而对比文件3中公开的是，先利用广角摄像头获得预览画面，然后确定长焦摄像头的拍摄方向信息，长焦摄像头根据上述拍摄方向信息的指示拍摄局部图像；（3）获得整体图像的图像信息，根据该图像信息拍摄局部图像，整体图像的图像信息是整体图像中包含指定目标D的区域图形信息，该区域图形信息是采用下列步骤识别的所述区域图形的中心位置信息，a1)将包含指定目标D的整体图像1分割为n个区域，利用各区域内的灰度平均值，计算每个区域与其相邻区域的相似度，获得由相似度数值组成的二维数组；a2)从步骤a1)获得的二维数组中找出相似度最大值及其所对应的两个区域，并将这两个区域合并，将合并的区域记为m0；计算剩余n-1个区域内的相似度，并将相似度最高的两个区域合并，重复上述步骤，直至合并为同一个区域，得到n-1个区域(m0,m1……mn-1)；a3)将步骤a2)得到的n-1个区域调整为像素n*n的区域图形A，若该区域为不规则图形，可采用填充像素的方式使之成为n*n大小，其中，填充像素值可为该区域灰度平均值；a4)利用深度神经网络识别步骤a3)获得的区域图形A中是否包含指定目标D，若区域图形A与指定目标D的区域重合度IOU大于设定的阈值，则认定该区域图形A内包含该指定目标，并计算该区域图形A的中心点坐标，其中上述重合度IOU定义为：IOU＝S重合/(S区域A S区域D-S重合)，其中，S重合代表重合部分面积，S区域A代表区域图形A的面积，S区域D代表指定目标D的面积。基于上述区别可以确定，权利要求4实际要解决的技术问题是：如何使整体图像和局部图像融合效果更好，如何减少缓存预览图像以避免存储能力和硬件处理能力的浪费；以及如何准确获得指定目标的位置信息。
针对区别（1）-（3）：参见权利要求1中的评述。
因此，权利要求4具有突出的实质性特点和显著的进步，具备专利法第二十二条第三款规定的创造性。
4.由于独立权利要求4具备专利法第二十二条第三款规定的创造性，因此，其从属权利要求5也具备专利法第二十二条第三款规定的创造性。
三、决定
撤销国家知识产权局于2018年11月05日对本申请作出的驳回决定。由国家知识产权局实质审查部门以下述文本为基础继续进行审批程序：
复审请求人于2019年06月25日提交的权利要求第1-5项；
复审请求人于2017年05月05日提交的说明书第1-7页；
复审请求人于2017年05月05日提交的说明书附图第1-2页；
复审请求人于2017年05月05日提交的说明书摘要；
复审请求人于2017年05月05日提交的摘要附图。
如对本复审请求审查决定不服，根据专利法第四十一条第二款的规定，请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
