发明创造名称：图像处理装置与图像处理方法
外观设计名称：
决定号：190468
决定日：2019-09-20
委内编号：1F281379
优先权日：2015-03-13
申请（专利）号：201510140112.1
申请日：2015-03-27
复审请求人：钰立微电子股份有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：苏青
合议组组长：田华
参审员：郭晓宇
国际分类号：H04N13/02,H04N13/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：权利要求与对比文件存在区别特征，上述区别特征未被其他对比文件公开，也没有证据表明其是公知常识，现有技术未给出技术启示，则该权利要求具有突出的实质性特点和显著的进步，具备创造性。
全文：
本复审请求涉及申请号为201510140112.1，名称为“图像处理装置与图像处理方法”的发明专利申请（下称本申请）。申请人为钰立微电子股份有限公司。本申请的申请日为2015年03月27日，优先权日为2015年03月13日，公开日为2016年11月23日。
经实质审查，国家知识产权局原审查部门于2019年01月30日发出驳回决定，驳回了本发明专利申请，驳回决定所依据的文本为2018年01月18日提交的权利要求第1-18项、说明书第1-76段，申请日提交的说明书附图、说明书摘要、摘要附图。驳回决定所引用的对比文件为：对比文件1：CN102780855A，公开日为2012年11月14日；对比文件2：CN102695068A，公开日为2012年09月26日。驳回理由是：权利要求1、13、15相对于对比文件1和惯用手段的结合不具备创造性，权利要求2、6、7、10、11、12、16、18的附加技术特征被对比文件1公开，权利要求3-5、14、17的附加技术特征是惯用手段，权利要求8、9的附加技术特征被对比文件2公开。
申请人（下称复审请求人）对上述驳回决定不服,于2019年04月30日向国家知识产权局提出了复审请求，同时修改了权利要求书。复审请求人认为：修改后的权利要求1进一步限定了混合器合成图像时是根据“深度测试法”，并举出参考书籍1（Klaus Engel et al．（2006）．Real-Time Volume Graphics，CRC Press）第42页第5段关于「DePthTest」的段落说明深度测试法会将图像分割为多个区块，引用参考书籍2（Mark de Berg（1993）．Ray shooting，DePth Orders and Hidden Surface Removal，Springer-Verlag Berlin Heidelberg）的图1.3证明本申请的混合器可应用于较为复杂的迭合关系，认为对比文件1没有公开技术特征“混合器112根据所述深度测试（Z-test）方法产生混合图像BI，也就是将目标对象114分割成多个区块，并根据目标对象114的多个区块的深度信息产生混合图像BI”。
经形式审查合格，国家知识产权局于2019年05月09日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中认为，修改后的权利要求仍不具备创造性，因而坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019 年07月12日向复审请求人发出复审通知书，所引用的对比文件与驳回决定所引用的对比文件相同，即对比文件1-2，复审通知书中指出：权利要求1-16不具备创造性，同时对复审请求人的理由进行了答复。
复审请求人于2019年08月27日提交了意见陈述书，同时提交了权利要求书全文替换页。复审请求人认为：（1）对比文件2并非通过垂直同步信号来产生深度图，也没有公开依据扫描线以进行同步的相关技术手段，对比文件1、对比文件2均未公开“对所述第一图像和所述第二图像中的每一帧的每一扫描线插入一同步信号，并根据所述第一帧的第一扫描线和所述第二帧的第一扫描线，计算出深度图信息”。（2）对比文件1只公开了“迭加处理模块18依据影像数据Pi_A、Pi_B的影像对象所对应的三维深度值及距离值分别提供一对应的迭加顺序”，并未公开“影像数据Pi_B的深度值包含影像数据Pi_A的影像对象Iobl的深度值”的技术特征，因此，当对比文件1的影像对象Iobl的深度值超过影像数据Pi_B的深度值的范围时，对比文件1的迭加处理模块18会将影像对象Iobl迭合至影像数据Pi_B中的影像对象的后方，在对比文件1的基础上，无法联想到“第二深度图SD内的深度值包含目标对象114的深度值”。
新修改的权利要求书如下：
“1. 一种图像处理装置，其特征在于包含：
一图像获取器，用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图，其中所述图像获取器产生对应所述原始图像的一第一图像和一第二图像，插入一同步信号至所述第一图像和所述第二图像中每一帧的扫描线，并根据所述每一帧的扫描线计算出所述第一深度图；
一滤波器，用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息，且所述至少一目标对象的深度信息是产生自所述原始图像；
一深度估计单元，用以根据一输入图像，产生对应所述输入图像的第二深度图，其中所述第二深度图内的深度值包含所述至少一目标对象的深度信息；及
一混合器，用以根据一深度测试法、所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像，其中所述预定景深对应所述至少一目标对象的深度信息。
2. 如权利要求1所述的图像处理装置，其特征在于另包含：
一输入接口，用以接收所述输入图像。
3. 如权利要求2所述的图像处理装置，其特征在于所述输入接口是一高清晰度多媒体接口、一通用串行总线接口、一雷电接口或一无线通信接口。
4. 如权利要求1所述的图像处理装置，其特征在于另包含：
一输出接口，用以从所述混合器接收所述混合图像，以及输出所述混合图像至一外部显示器。
5. 如权利要求4所述的图像处理装置，其特征在于所述输出接口是一高清晰度多媒体接口、一通用串行总线接口、一雷电接口或一无线通信接口。
6. 如权利要求1所述的图像处理装置，其特征在于所述图像获取器包含具有二图像传感器的立体摄像机，以及所述二图像传感器是用以分别产生对应所述原始图像的所述第一图像和所述第二图像。
7. 如权利要求6所述的图像处理装置，其特征在于所述图像获取器是根据由所述立体摄像机所产生的所述第一图像和所述第二图像，产生对应所述原始图像的第一深度图。
8. 如权利要求7所述的图像处理装置，其特征在于所述第一图像包含一第一帧和所述第二图像包含一第二帧，以及所述图像获取器对所述第一帧和所述第二帧插入所述同步信号。
9. 如权利要求8所述的图像处理装置，其特征在于所述同步信号的频率是根据所述第一帧和所述第二帧的扫描线的数目而变。
10. 如权利要求7所述的图像处理装置，其特征在于所述原始图像包含一组原始帧，所述一组原始帧包含对应所述第一图像的第一组帧，以及对应所述第二图像的第二组帧，其中所述第一深度图包含多个深度图信息，且所述多个深度图信息是由所述图像获取器根据所述第一组帧和所述第二组帧所产生。
11. 如权利要求10所述的图像处理装置，其特征在于所述多个深度图信息是对应所述一组原始帧。
12. 一种图像处理装置，其特征在于包含：
一图像获取器，用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图，其中所述图像获取器产生对应所述原始图像的一第一图像和一第二图像，插入一同步信号至所述第一图像和所述第二图像中每一帧的扫描线，并根据所述每一帧的扫描线计算出所述第一深度图；
一滤波器，用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息，且所述至少一目标对象的深度信息是产生自所述原始图像；
一深度估计单元，用以根据一输入图像，产生对应所述输入图像的第二深度图，其中所述第二深度图内的深度值包含所述至少一目标对象的深度信息；
一图像强化器，用以比对所述暂时图像内的至少一目标对象与所述原始图像内的至少一目标对象，以强化所述暂时图像内的至少一目标对象，并输出所述强化后的暂时图像；及
一混合器，用以根据一深度测试法、所述至少一目标对象的深度信息和所述第二深度图，将所述强化后的暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述强化后的暂时图像内的至少一目标对象的混合图像，其中所述预定景深对应所述至少一目标对象的深度信息。
13. 如权利要求12所述的图像处理装置，其特征在于所述图像强化器包含一缓冲器，且所述缓冲器是用以储存所述原始图像与所述暂时图像。
14. 一种图像处理方法，其中应用于所述图像处理方法的图像处理装置包含一输入接口、一图像获取器、一滤波器、一深度估计单元、一混合器和 一输出接口，其特征在于包含：
所述图像获取器获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图，其中所述图像获取器产生对应所述原始图像的一第一图像和一第二图像，插入一同步信号至所述第一图像和所述第二图像中每一帧的扫描线，并根据所述每一帧的扫描线计算出所述第一深度图；
所述滤波器根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息，且所述至少一目标对象的深度信息是产生自所述原始图像；
所述深度估计单元根据一输入图像，产生对应所述输入图像的第二深度图，其中所述第二深度图内的深度值包含所述至少一目标对象的深度信息；及
所述混合器根据一深度测试法、所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像，其中所述预定景深对应所述至少一目标对象的深度信息。
15. 如权利要求14所述的图像处理方法，其特征在于另包含：
所述输入接口接收所述输入图像。
16. 如权利要求14所述的图像处理方法，其特征在于另包含：
所述输出接口从所述混合器接收所述混合图像，以及输出所述混合图像至一外部显示器。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在答复复审通知书时提交了权利要求全文替换页，因此，本复审请求审查决定依据的文本为：2019年08月27日提交的权利要求第1-16项，申请日提交的说明书附图、说明书摘要、摘要附图；2018年01月18日说明书第1-76段。经审查，上述文本符合专利法第33条的规定。
具体理由的阐述
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定引用的对比文件与驳回决定、复审通知书引用的对比文件相同，即，对比文件1：CN102780855A，公开日为2012年11月14日；对比文件2：CN102695068A，公开日为2012年09月26日。
2.1权利要求1请求保护一种图像处理装置，对比文件1公开了一种影像处理装置，并具体公开了以下内容（参见说明书第[0037]-[0053]段，附图1-3）：在装置10中，深度值模块12接收一影像数据Pi_A的输入，影像数据Pi_A可包括动态或静态、二维或三维的影像；深度值模块12会为影像的各部分分别取得对应的三维深度值与距离值（公开了一图像获取器，用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图）；分离模块14可依据影像各部分所对应的三维深度值与距离值而将影像的一部分撷取为一影像物件。以图3为例，影像数据Pi_A可包括由左影像PL与右影像PR形成的三维影像（左影像PL、右影像PR相当于第一图像和一第二图像，因此公开了图像获取器产生对应所述原始图像的一第一图像和一第二图像），深度值模块12会针对此三维影像中各部分取得对应的三维深度值，以为各部分提供距离值，并使分离模块14得以依据三维深度值及距离值而将前景区分出来，例如说是依据图1C的原理来将前景的成像IL1与IR1撷取为影像物件Iob1；影像物件Iob1对应于距离值Yob1，此距离值You1就关联于距离值Y1（公开了一滤波器，用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息；“依据影像各部分所对应的三维深度值与距离值而将影像的一部分撷取为一影像物件”说明所述至少一目标对象的深度信息是产生自所述原始图像）；类似于深度值模块12的运作，本发明实施例亦可包含深度值模块26为另一影像数据Pi_B提供对应的距离值，影像数据Pi_B可以是一被迭合的影像物件；以图3举例说明，影像数据Pi_B可以是影像物件Iob2，对应于距离值Yob2（由于“类似于深度值模块12的运作，本发明实施例亦可包含深度值模块26为另一影像数据Pi_B提供对应的距离值”，说明对于Pi_B中的各部分也分别取得了对应的三维深度值与距离值，因此公开了一深度估计单元，用以根据一输入图像，产生对应所述输入图像的第二深度图）；在得到影像物件Iob1、Iob2各自的三维深度值与对应距离值Yob1与Yob2后，迭加优先权处理模块20会依据该些三维深度值与距离值订定迭加的优先权与顺序，以将影像物件Iob1迭合覆盖于影像物件Iob2之上（公开了一混合器，用以根据所述至少一目标对象的深度信息和所述第二深度图，将所述暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述至少一目标对象的混合图像）。
由此可见，权利要求1与对比文件1的区别特征在于：（1）所述第二深度图内的深度值包含所述至少一目标对象的深度信息；所述预定景深对应所述至少一目标对象的深度信息；（2）混合器产生混合图像是根据“深度测试法”；（3）插入一同步信号至所述第一图像和所述第二图像中每一帧的扫描线，并根据所述每一帧的扫描线计算出所述第一深度图。基于上述区别，该权利要求实际解决的技术问题是：如何在输入图像的预定景深位置融合目标对象。
对于区别特征（1），对比文件1已经公开了对于Pi_B中的各部分也分别取得了对应的三维深度值与距离值，即取得了Pi_B的第二深度图，在此基础上，为了便于确定Iob1融合时的深度位置，将第二深度图内的深度值范围设置为包含所述至少一目标对象的深度值，并将预定景深对应所述至少一目标对象的深度信息这是本领域技术人员容易想到的。此外，对比文件1公开了“影像数据Pi_B可以是影像物件Iob2”“迭加优先权处理模块20会依据该些三维深度值与距离值订定迭加的优先权与顺序，以将影像物件Iob1迭合覆盖于影像物件Iob2之上”（出处同上），对本领域技术人员而言，当Pi_B中存在多个影像物件时，将Iob1依据Pi_B中多个影像物件的三维深度值与距离值订定迭加的优先权与顺序，以将影像物件Iob1迭合于与其深度信息对应的预定景深中，这也是本领域技术人员容易想到的。
对于区别特征（2），对比文件1已经公开了将影像物件Iob1与影像数据Pi_B合成的技术方案，在此基础上，本领域技术人员容易想到采用深度测试法产生混合图像。
对于区别特征（3），对比文件2公开了一种成像设备及同步控制方法，并具体公开了以下内容（参见说明书全文，附图1-3B）：“本公开涉及优选应用于从例如由两个相机所拍摄的视频图像生成立体视频图像(3D视频图像)的情形的成像设备、同步控制方法、再现设备和立体视频成像系统。”“立体视频成像系统10包括作为成像设备的第一相机1和第二相机2， 所述成像设备在一秒中以相同数量的帧拍摄具有相同图片大小的二维视频图像。第一相机1和第二相机2设置有通用线端子。第一相机1和第二相 机2可发送/接收用于控制以同步帧单元中的相互视频图像的录制或再现处理的同步控制信号”“相机控制单元13被用作成像控制单元，该成像控制单元控制具有未示出的第一成像元件的成像单元的操作，并且，针对插入到第一处理帧之间的每个垂直同步信号，通过经过未示出的镜头入射的物体的入射光，将在第一处理帧中的视频信号输出。”“同步控制单元17执行对第二相机2的以下通知。第二相机2是通过发送控制信号的同步控制线3所连接的其他成像设备。同步控制单元17接收垂直同步信号的生成次数，该生成次数被从第二相机2通知，该垂直同步信号由第二相机的第二成像元件生成并被插入到第二处理帧之间。基于相对于插入到第一处理帧之间的垂直同步信号的生成次数的差值，同步控制单元17计算插入到第二处理帧之间的垂直同步信号的生成次数。另 外，基于插入到第二帧之间的垂直同步信号的生成次数，同步控制单元17 向第二相机2通知第二相机2在经过预定时段之后开始受指示的操作的定时以及由操作输入所给出的指令。此时，从操作输入被执行的时间点起经过预定时段之后，第一相机1执行所指示的操作。同步控制单元17初步地将第一处理帧的垂直同步信号被生成的定时与第二处理帧的垂直同步信号被生成的定时相匹配。”由此可见，对比文件2的垂直同步信号是用于同步控制第一相机1和第二相机2以进行操作，而并非用于计算第一相机1所撷取的影像和第二相机2所撷取的影像之间的深度信息，即对比文件2没有公开利用图像中的扫描线计算出深度图，因此，对比文件2并未公开本案上述区别特征（3），目前也没有证据证明上述区别特征（3）是本领域公知常识，因此，在对比文件1的基础上结合惯用手段或者在对比文件1的基础上结合对比文件2、惯用手段得到权利要求1的技术方案对于本领域技术人员来说不是显而易见的，并且上述技术方案能实现在输入图像的预定景深位置融合目标对象的有益技术效果，因此该权利要求具备突出的实质性特点和显著的进步，符合专利法第22条第3款有关创造性的规定。
2.2权利要求2-11直接或间接引用权利要求1，在其引用的权利要求具备创造性的前提下，权利要求2-11具备突出的实质性特点和显著的进步，符合专利法第22条第3款有关创造性的规定。
2.3权利要求12请求保护一种图像处理装置，对比文件1公开了一种影像处理装置，并具体公开了以下内容（参见说明书第[0037]-[0053]段，附图1-3）：在装置10中，深度值模块12接收一影像数据Pi_A的输入，影像数据Pi_A可包括动态或静态、二维或三维的影像；深度值模块12会为影像的各部分分别取得对应的三维深度值与距离值（公开了一图像获取器，用以获取包含至少一目标对象的一原始图像及产生对应所述原始图像的第一深度图）；分离模块14可依据影像各部分所对应的三维深度值与距离值而将影像的一部分撷取为一影像物件，。以图3为例，影像数据Pi_A可包括由左影像PL与右影像PR形成的三维影像（左影像PL、右影像PR相当于第一图像和一第二图像，因此公开了图像获取器产生对应所述原始图像的一第一图像和一第二图像），深度值模块12会针对此三维影像中各部分取得对应的三维深度值，以为各部分提供距离值，并使分离模块14得以依据三维深度值及距离值而将前景区分出来，例如说是依据图1C的原理来将前景的成像IL1与IR1撷取为影像物件Iob1；影像物件Iob1对应于距离值Yob1，此距离值You1就关联于距离值Y1（公开了一滤波器，用以根据所述第一深度图，从所述原始图像中选择所述至少一目标对象和产生包含所述至少一目标对象的暂时图像，其中所述暂时图像具有所述至少一目标对象的深度信息；“依据影像各部分所对应的三维深度值与距离值而将影像的一部分撷取为一影像物件”说明所述至少一目标对象的深度信息是产生自所述原始图像）；在分离模块14撷取出影像物件后，本发明实施例可透过前处理模块16对影像物件进行前处理。前处理可以是对影像物件的缩放、调整其颜色、亮度、对比及/或锐利度，以及/或者调整其所对应的三维深度值及/或距离值。类似于深度值模块12的运作，本发明实施例亦可包含深度值模块26为另一影像数据Pi_B提供对应的距离值，影像数据Pi_B可以是一被迭合的影像物件；以图3举例说明，影像数据Pi_B可以是影像物件Iob2，对应于距离值Yob2（由于“类似于深度值模块12的运作，本发明实施例亦可包含深度值模块26为另一影像数据Pi_B提供对应的距离值”，说明对于Pi_B中的各部分也分别取得了对应的三维深度值与距离值，因此公开了一深度估计单元，用以根据一输入图像，产生对应所述输入图像的第二深度图）；前处理模块16可缩短距离值Yob1，并对应地将影像物件Iob1放大，在合成的影像中使影像物件Iob1的位置更向前，以及/或者，前处理模块16也将影像物件Iob1的亮度增加以突显影像物件Iob1（公开了一图像强化器，用以比对所述暂时图像内的至少一目标对象与所述原始图像内的至少一目标对象，以强化所述暂时图像内的至少一目标对象，并输出所述强化后的暂时图像）；在得到影像物件Iob1、Iob2各自的三维深度值与对应距离值Yob1与Yob2后，迭加优先权处理模块20会依据该些三维深度值与距离值订定迭加的优先权与顺序，以将影像物件Iob1迭合覆盖于影像物件Iob2之上（公开了一混合器，用以根据所述至少一目标对象的深度信息和所述第二深度图，将所述强化后的暂时图像融合至所述输入图像内的一预定景深中，以产生包含所述输入图像和所述强化后的暂时图像内的至少一目标对象的混合图像）。
由此可见，权利要求12与对比文件1的区别特征在于：（1）所述第二深度图内的深度值包含所述至少一目标对象的深度信息；所述预定景深对应所述至少一目标对象的深度信息；（2）混合器产生混合图像是根据“深度测试法”；（3）插入一同步信号至所述第一图像和所述第二图像中每一帧的扫描线，并根据所述每一帧的扫描线计算出所述第一深度图。基于上述区别，该权利要求实际解决的技术问题是：如何在输入图像的预定景深位置融合目标对象。
对于区别特征（1），对比文件1已经公开了对于Pi_B中的各部分也分别取得了对应的三维深度值与距离值，即取得了Pi_B的第二深度图，在此基础上，为了便于确定Iob1融合时的深度位置，将第二深度图内的深度值范围设置为包含所述至少一目标对象的深度值，并将预定景深对应所述至少一目标对象的深度信息这是本领域的惯用手段。此外，对比文件1公开了“迭加优先权处理模块20会依据该些三维深度值与距离值订定迭加的优先权与顺序，以将影像物件Iob1迭合覆盖于影像物件Iob2之上”，对本领域技术人员而言，当Pi_B中存在多个影像物件时，将Iob1依据Pi_B中多个影像物件的三维深度值与距离值订定迭加的优先权与顺序，以将影像物件Iob1迭合于与其深度信息对应的预定景深中，这也是本领域的惯用手段。
对于区别特征（2），在对比文件1已经公开了将影像物件Iob1迭合到影像数据Pi_B的技术方案，在此基础上，本领域技术人员容易想到根据深度测试法产生混合图像。
对于区别特征（3），参见前述对权利要求1的评述可知，对比文件2的垂直同步信号是用于同步控制第一相机1和第二相机2以进行操作，而并非用于计算第一相机1所撷取的影像和第二相机2所撷取的影像之间的深度信息，即对比文件2没有公开利用图像中的扫描线计算出深度图，因此，对比文件2并未公开本案上述区别特征（3），目前也没有证据证明上述区别特征（3）是本领域公知常识，因此，在对比文件1的基础上结合惯用手段或者在对比文件1的基础上结合对比文件2、惯用手段得到权利要求12的技术方案对于本领域技术人员来说不是显而易见的，并且上述技术方案能实现在输入图像的预定景深位置融合目标对象的有益技术效果，因此该权利要求具备突出的实质性特点和显著的进步，符合专利法第22条第3款有关创造性的规定。
2.4权利要求13-16直接或间接引用权利要求12，在其引用的权利要求具备创造性的前提下，权利要求13-16具备突出的实质性特点和显著的进步，符合专利法第22条第3款有关创造性的规定。
三、决定
撤销国家知识产权局于2019年01月30日对本申请作出的驳回决定。由国家知识产权局实质审查部门在本复审请求审查决定依据的文本的基础上对本发明专利申请继续进行审查。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
