发明创造名称：图像处理方法以及电子设备
外观设计名称：
决定号：190413
决定日：2019-09-20
委内编号：1F272321
优先权日：无
申请（专利）号：201510325000.3
申请日：2015-06-12
复审请求人：联想（北京）有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：郭晓宇
合议组组长：田华
参审员：盛钊
国际分类号：H04N5/235
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：权利要求的技术方案与最接近的现有技术相比存在区别特征，若部分区别特征被其他对比文件所公开，部分区别特征属于惯用手段，则该权利要求不具备创造性
全文：
本复审请求涉及申请号为201510325000.3，名称为“图像处理方法以及电子设备”的发明专利申请（下称本申请）。申请人为联想（北京）有限公司。本申请的申请日为2015年06月12日，公开日为2015年09月02日。
经实质审查，国家知识产权局实质审查部门于2018年10月12日发出驳回决定，以权利要求1-8不具备专利法第22条第3款规定的创造性为由驳回了本申请。驳回决定所依据的文本为申请日2015年06月12日提交的说明书摘要、说明书第1-39段、摘要附图、说明书附图；2017年12月08日提交的权利要求第1-8项。驳回决定引用的对比文件为：对比文件1：CN103780840A，公开日为2014年05月07日；对比文件2：CN103986874A，公开日为2014年08月13日；对比文件3：CN102075683A，公开日为2011年05月25日。驳回理由具体为：权利要求1相对于对比文件1和对比文件3以及惯用手段的结合不具备创造性；权利要求2的附加特征被对比文件1公开了；权利要求3的附加特征部分被对比文件1和对比文件2所公开，部分属于惯用手段，因此也不具备创造性；权利要求4的附加特征属于惯用手段；权利要求5-8要求保护的设备中各模块功能分别与权利要求1-4方法各步骤对应，而功能模块的使用属于惯用手段，基于权利要求1-4相同的评述理由，权利要求5-8因此也不具备创造性。
申请人（下称复审请求人）对上述驳回决定不服,于2019年01月28日向国家知识产权局提出了复审请求，同时修改了权利要求书。复审请求人认为：对比文件1不能仅使用两个摄像头其中一个，更不可能公开在什么情况下使用两个摄像头中的一个。对比文件2中可以使用两个摄像头中的一个进行拍摄，但条件是在判断拍摄环境为正常环境时，即判断是当前的拍摄环境，而本申请权利要求1限定的是，以能够使得灰度值在所述规定范围内的图像的快门速度能够获得清晰度大于所述规定阈值时，即判断的是摄像头本身的性能，二者判断条件不同。此外，对比文件2与本申请权利要求1不是同一类判断条件，本领域技术人员根据光线明暗等环境条件无法想到清晰度达标这样的关于相机本身性能的条件。
经形式审查合格，国家知识产权局于2019年02月01日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月22日向复审请求人发出复审通知书，针对的文本为：申请日2015年06月12日提交的说明书摘要、说明书第1-39段、摘要附图、说明书附图；2019年01月28日提交的权利要求第1-4项。复审通知书中指出：权利要求1-4不具备专利法第22条第3款规定的创造性，复审通知书中引用的对比文件与驳回决定所引用的对比文件相同，即对比文件1-3。复审通知书针对复审请求人的意见进行了回复。
复审请求人于 2019年06月10日提交了意见陈述书，同时修改了权利要求书。复审请求人认为：对比文件2是对环境照度进行比较并判断拍摄环境为正常环境，其仅公开了判断外界环境的照度情况，没有公开要判断图像的清晰度，更加没有公开判断以能够使得灰度值在所述规定范围内的图像的快门速度是否能够满足清晰度要求，本申请是直接判断图像的灰度值及清晰度，二者判断条件不同。对比文件3不涉及两个摄像头，也没有公开具体如何合成第一和第二图像信息，上述区别特征也非公知常识。复审请求人于2019年06月10日提交的权利要求书内容如下：
“1. 一种图像处理方法，应用于电子设备，所述电子设备包括第一摄像头以及第二摄像头，其中包括：
使用所述第一摄像头以第一快门速度捕获第一图像；
使用所述第二摄像头以第二快门速度捕获第二图像，所述第二快门速度能够使得获得灰度值在规定范围内的第二图像，并且大于所述第一快门速度；以及
根据所述第一图像以及所述第二图像生成目标图像，其中所述根据所述第一图像以及第二图像生成目标图像包括：从所述第一图像提取拍摄对象的边缘信息；根据所述边缘信息以及所述第二图像估计出模糊核以生成所述目标图像，其中对所述模糊核进行多次迭代求解；
其中，
在使用所述第一摄像头捕获第一图像的同时，使用所述第二摄像头捕获第二图像；
其中，
在捕获第一图像以及第二图像之前还包括：
根据测光的结果，判断以能够使得灰度值在所述规定范围内的图像的快门速度是否能够获得清晰度大于所述规定阈值的图像，
当以能够使得灰度值在所述规定范围内的图像的快门速度能够获得清晰度大于所述规定阈值时，使用所述第一摄像头和所述第二摄像头中的任意一个摄像头捕获图像作为目标图像。
2. 如权利要求1所述的图像处理方法，其中，
所述从所述第一图像提取拍摄对象的边缘信息包括：
对所述第一图像进行下采样；
从进行了下采样的第一图像提取边缘信息，
所述根据所述边缘信息以及所述第二图像生成所述目标图像包括：
对所述第二图像进行下采样；
根据进行了下采样的第二图像以及所述边缘信息生成第三图像；
对所述第三图像进行上采样而获得所述目标图像。
3. 一种电子设备，其中包括：
第一摄像头；
第二摄像头；以及
图像处理单元，配置来根据第一图像以及第二图像生成目标图像，所述第一图像使用所述第一摄像头以第一快门速度捕获，所述第二图像使用所述第二摄像头以第二快门速度捕获，所述第二快门速度能够使得获得灰度值在规定范围内的第二图像并且大于所述第一快门速度；其中所述根据所述第一图像以及第二图像生成目标图像包括：从所述第一图像提取拍摄对象的边缘信息；根据所述边缘信息以及所述第二图像估计出模糊核以生成所述目标图像，其中对所述模糊核进行多次迭代求解；
其中，
在使用所述第一摄像头捕获第一图像的同时，使用所述第二摄像头捕获第二图像；
其中，
所述图像处理单元当根据测光的结果判断为以能够使得灰度值在所述规定范围内的图像的快门速度能够得到清晰度大于所述规定阈值的图像时，使用所述第一摄像头和所述第二摄像头中的任意一个摄像头捕获图像作为目标图像。
4. 如权利要求3所述的电子设备，其中，
所述图像处理单元对所述第一图像进行下采样并从进行了下采样的第一图像提取边缘信息，对所述第二图像进行下采样并根据进行了下采样的第二图像以及所述边缘信息生成第三图像，并且对所述第三图像进行上采样而获得所述目标图像。”
合议组于2019年07月30日向复审请求人再次发出复审通知书，针对的文本为：申请日2015年06月12日提交的说明书摘要、说明书第1-39段、摘要附图、说明书附图；2019年06月10日提交的权利要求第1-4项。复审通知书中指出：权利要求1-4不具备专利法第22条第3款规定的创造性，引用的对比文件与前次复审通知书和驳回决定所引用的对比文件相同，即对比文件1-3。并针对复审请求人的意见进行了回复。
复审请求人于 2019年09月06日提交了意见陈述书，但未对申请文件做出修改。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
决定的理由
（一）审查文本的认定
复审请求人在复审阶段对权利要求书作出了修改，本复审请求审查决定所针对的文本为：申请日2015年06月12日提交的说明书摘要、说明书第1-39段、摘要附图、说明书附图；2019年06月10日提交的权利要求第1-4项。
关于创造性
专利法第22条第3款规定：“创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。”
本复审决定所引用的对比文件与驳回决定、两次复审通知书中使用的对比文件相同，即：
对比文件1：CN103780840A，公开日为2014年05月07日；
对比文件2：CN103986874A，公开日为2014年08月13日；
对比文件3：CN102075683A，公开日为2011年05月25日。
1. 权利要求1请求保护一种图像处理方法。对比文件1公开了一种高品质成像的双摄像成像方法，并具体公开了以下内容（参见说明书第[0002]，[0031]-[0044]段）：在光线不佳或暗光条件下，成像困难，难以获得稳定清晰的成像画面；当需要拍摄暗光成像时，所述主摄像头（公开了第一摄像头）和所述辅助摄像头（公开了第二摄像头）同时拍摄暗光区域，分别获得不同曝光值的两张成像（公开了使用所述第一摄像头捕获第一图像的同时使用所述第二摄像头捕获第二图像，而且由于对比文件1公开了分别获得不同曝光值的两张成像，可见其隐含公开了两个摄像头使用了不同的拍摄快门速度），然后对于该两张成像进行合成叠加处理，获得短时间内准确的暗光成像输出（公开了根据所述第一图像以及所述第二图像生成目标图像）；对于各种成像需求下的主成像和副成像的处理，可以采用合成叠加、细节增强、对比度增强、颜色增强等，从而获得更高品质的成像效果；拍摄时，主摄像头进行对焦和测光，然后将测光数据发送到后台控制模块（公开了在捕获第一图像以及第二图像之前进行测光）；所述后台控制模块，根据图片成像需求不同，调整主摄像头和辅助摄像头的拍摄参数。
该权利要求所要求保护的技术方案与对比文件1所公开的内容相比，区别特征在于：（1）权利要求1的所述第二快门速度能够使得获得灰度值在规定范围内的第二图像，并且大于所述第一快门速度；（2）权利要求1中根据测光的结果，判断以能够使得灰度值在所述规定范围内的图像的快门速度是否能够获得清晰度大于所述规定阈值的图像，当以能够使得灰度值在所述规定范围内的图像的快门速度能够获得清晰度大于所述规定阈值时，使用所述第一摄像头和所述第二摄像头中的任意一个摄像头捕获图像作为目标图像；（3）其中所述根据所述第一图像以及第二图像生成目标图像包括：从所述第一图像提取拍摄对象的边缘信息；根据所述边缘信息以及所述第二图像估计出模糊核以生成所述目标图像，其中对所述模糊核进行多次迭代求解。
基于上述区别特征，该权利要求相对于对比文件1实际解决的技术问题是：如何获得暗光条件下曝光适度的图像以及如何在光照充足时节省电子设备开销且确保成像画质。
对于区别特征（1），本领域公知的是，改变快门速度可以调整曝光值，且曝光合适的图像其灰度值也在一定范围之内；对比文件1公开了拍摄暗光成像时两个摄像头使用不同快门速度拍摄，据此，本领域技术人员为了获得一曝光合适的图像，容易想到一个摄像头使用成像灰度值在规定范围之内时所对应的快门速度拍摄，并且根据实际需求将其设为大于另一摄像头的快门速度。
对于区别特征（2），对比文件2公开了一种图像获取装置、图像获取方法及终端，并公开了（参见说明书第[0031]-[0035]段）：图像获取装置100的摄像模块110包括至少两个摄像头，可对同一场景进行拍摄；所述控制模块120具体可以包括暗光判断单元121及控制单元122，所述暗光判断单元121用于检测拍摄时环境照度（相当于确定测光结果），当环境照度小于设定的阈值时，则判定拍摄环境为暗光环境，当环境照度大于设定的阈值时，则判定拍摄环境为普通环境；所述环境暗光判断单元121判断拍摄环境为暗光环境时，启动暗光拍摄模式，及控制两个摄像头同时对同一场景进行拍摄，在所述环境暗光判断单元121判断拍摄环境为正常环境时，启动正常拍摄模式，即控制摄像模块110的两个摄像头中的一个进行拍摄。可见，对比文件2公开了基于测光结果，判断环境照度与设定阈值的关系，从而当光线充足时使用两个摄像头中的任意一个捕获图像作为目标图像，其也是用于在光线充足情况下节省电子设备的开销，即公开了基于测光结果以及相关的判断条件进行判断，根据判断结果确定拍摄时是否只用一个摄像头，可见对比文件2给出了基于测光结果设置判断条件的技术启示。此外，本领域公知的是，光照合适的情况下单摄像头拍摄的图像质量通常能够满足清晰度与曝光度条件，且通过阈值比较作为评价标准是本领域的惯用手段；在此基础上，为了确保成像质量，本领域技术人员容易想到将图像的灰度值与清晰度作为考虑因素，从而将灰度值在规定范围内的图像的快门速度能否获得清晰度大于规定阈值作为判断条件，以确保图像合适的曝光和足够的清晰度，从而节省电子设备开销的同时确保成像画质。
对于区别特征（3），对比文件3公开了一种数字图像处理设备和数字图像处理设备的拍摄方法，涉及在低照度下拍摄清晰数字图像，并公开了以下内容（参见说明书第[0002]、[0063]-[0066]段）：第一图像信息获得单元180-1从传输通过IR截止滤波器120-2的并去除了噪声的第一图像“I1”的信息中获得颜色数据；第二图像信息获得单元180-2从传输通过可见光截止滤波器120-3的第二图像“I2”的信息中获得边缘数据，例如对比度数据；在低照度拍摄的情况下，图像合成单元180-3可通过使用从传输通过IR截止滤波器120-2的并去除了噪声的第一图像“I1”（经过去噪的第一图像相当于本申请的第二图像）的信息获得的颜色数据和从传输通过可见光截止滤波器120-3以补偿不清晰边缘的第二图像“I2”（经过补偿的第二图像相当于本申请的第一图像）的信息获得的对比度数据来合成第三图像“I3”，从而获得具有清晰的颜色和边缘的成合的第三图像“I3”（公开了从所述第一图像提取拍摄对象的边缘信息，根据所述边缘信息以及所述第二图像生成所述目标图像）。可见，对比文件3给出了采用拍摄对象边缘数据的图像和另一图像合成为具有清晰图像的技术启示。此外，本领域公知的是，对图像模糊核多次迭代处理以获取质量较好的图像是本领域常见的确保图像画质的处理方式。据此，为了确保获得的图像画质，对合成的图像的模糊核多次迭代，生成最终的目标图像，是本领域技术人员容易想到的。
由此可知，在对比文件1的基础上结合对比文件2和对比文件3以及本领域的惯用手段，得到该权利要求所要求保护的技术方案，对本领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具有突出的实质性特点和显著的进步，因而不具备专利法第22条第3款规定的创造性。
复审请求人认为，对于区别特征（1），对比文件1虽然可以调整双摄像的拍摄参数以获得不同曝光值的两张图像，但未公开具体的调整参数以及不同曝光值的两张图像各自特点。对于区别特征（2），对比文件2不涉及采用不同快门速度分别获得清晰图像和曝光适度的图像，其教导的是对环境照度的比较并进行判断，而常用的灰度值和外界环境光参数结合硬件设备是解决不同技术问题，因此根据对比文件2无法想到灰度值和清晰度这样的关于图像本身性能的条件。对于区别特征（3），对比文件3仅公开通过合成第一、二图像信息来合成图像文件，未公开具体如何合成第一、二图像信息；对比文件1未公开如何对图像进行合成；对比文件2仅公开了将两个摄像头同时拍摄的图像对应的像素点进行亮度叠加，合成得到一个亮度增强的图像，其合成方式和合成后图像效果与本申请不同。上述区别特征也非公知常识。
对此，合议组认为，首先，本申请权利要求1中第一、二图像分别对应不同的快门速度，且“第二快门速度能够使得获得灰度值在规定范围内的第二图像，并且大于所述第一快门速度”，而基于前文评述可知，本领域公知的是快门速度与曝光值相关，曝光合适的图像其灰度值也在一定范围之内，可见获取的图像灰度值与拍摄快门速度也有相关性，且对比文件1公开了两个摄像头使用不同快门速度拍摄，在此基础上，利用灰度值调整曝光度，也即调整快门速度，使得使用成像的规定灰度值范围内所对应的快门速度拍摄，以及将其设为大于另一摄像头的快门速度，是本领域技术人员容易想到的。其次，本申请和对比文件2都是基于测光结果设置相关判断条件，从而选取一个摄像头拍摄。基于前文评述可知，对比文件2中已经给出了基于测光结果设置判断条件的技术启示，而且，光照合适的情况下单摄像头拍摄的图像质量通常能够满足清晰度与曝光度条件，通过阈值比较作为评价标准也是本领域的常见技术，据此本领域技术人员容易想到将图像的灰度值与清晰度作为考虑因素，从而将灰度值在规定范围内的图像的快门速度能否获得清晰度大于规定阈值作为判断条件，以确保图像合适的曝光和足够的清晰度。再次，基于前文评述可知，对于区别特征（3），对比文件3给出了采用拍摄对象边缘数据的图像和另一图像合成为具有清晰图像的技术启示，且对图像模糊核多次迭代处理以获取质量较好的图像是本领域常见的确保图像画质的处理方式。据此本领域技术人员容易想到对合成的图像的模糊核多次迭代生成最终的目标图像，以确保获得的图像画质。因此复审请求人的主张合议组不予支持。
2、权利要求2对权利要求1作了进一步限定，其技术方案所要解决的技术问题还包括如何实现低系统开销的清晰图像合成。参见上文评述可知，对比文件3已经公开了从第二图像“I2”的信息中获得边缘数据，将其与第一图像“I1”合成具有清晰的颜色和边缘的第三图像“I3”，即对比文件3给出了采用拍摄对象边缘数据的图像和另一图像合成为具有清晰图像的技术启示。此外，本领域公知的是，对图像进行下采样后提取特征信息以合成运算，然后上采样恢复是本领域的常见的节省系统开销和提高运算效率的方式。据此，为了在图像处理中节省系统开销和提高运算效率，对包含拍摄对象的边缘信息的第一图像进行下采样后，从中提取边缘信息，根据边缘信息与下采样后的第二图像生成第三图像，对第三图像上采样恢复而获得目标图像，是本领域技术人员容易想到的。因此，在其引用的权利要求不具备创造性的情况下，该权利要求也不具备专利法第22条第3款规定的创造性。
3、权利要求3-4请求保护一种电子设备。该装置的各模块的功能分别对应于权利要求1-2中执行的方法的各个步骤。然而，为了实现功能的细分，采用相应的功能模块执行相应方法的各步骤是本领域的惯用手段。因此，基于与权利要求1-2相同的评述理由，权利要求3-4不具备专利法第22条第3款规定的创造性。
三、决定
维持国家知识产权局于2018年10月12日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定，复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
