发明创造名称：一种高动态范围全景图像的生成方法
外观设计名称：
决定号：198733
决定日：2019-12-05
委内编号：1F253947
优先权日：
申请（专利）号：201510055158.3
申请日：2015-02-03
复审请求人：长春理工大学
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：唐嫣
合议组组长：林松岭
参审员：李铎
国际分类号：G06T5/50
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在多个区别特征，但部分区别特征属于本领域的常用技术手段，其余部分区别特征是本领域技术人员基于另一对比文件容易想到的且易于应用于该作为最接近现有技术的对比文件，则该项权利要求请求保护的技术方案不具备创造性。
全文：
本复审请求涉及申请号为201510055158.3，名称为“一种高动态范围全景图像的生成方法”的发明专利申请（下称本申请）。本申请的申请人为长春理工大学，申请日为2015年02月03日，公开日为2015年05月27日。
经实质审查，国家知识产权局实质审查部门于2017年11月30日发出驳回决定，驳回了本申请，其理由是权利要求1不具备专利法第22条第3款规定的创造性。具体为：权利要求1与对比文件1（CN101963751A，公开日为2011年02月02日）相比，区别特征为：（1）本申请采用Ladybug3TM全景摄像机，对比文件1中采用数字单反相机组合；（2）步骤4、将文件名image_i合成一个文件数组files，将曝光系数E_i合成一个曝光数组expTimes；步骤5、利用Matlab7.6.0工具软件中的makehdr函数和文件数组files，曝光数组expTimes生成高动态全景图像数据HDR；步骤6、利用Matlab7.6.0工具软件中的hdrwrite，将高动态全景图像数据HDR保存到高动态全景图像HdrImage.hdr中；通过以上步骤便可以快速、高精度地生成高动态范围全景图像。而上述区别特征（1）是本领域技术人员在采集全景图像时的常规选择；对于区别特征（2），对比文件2（Matlab图像处理相关函数，百度文库，公开日为2012年2月10日）公开了Matlab软件中图像处理相关函数：makehdr和hdrwrite，本领域技术人员容易想到采用Matlab函数来生成HDR图像。因此，权利要求1不具备创造性。驳回决定依据的文本为原始申请文件，即申请日2015年02月03日提交的权利要求第1项，说明书第1-4页，说明书附图第1页，以及摘要和摘要附图。
驳回决定所针对的权利要求书内容如下：
“1. 一种高动态范围全景图像的生成方法，其特征在于：由Ladybug3TM全景摄像机、高性能图形工作站这里就是一台计算机组成，其中Ladybug3TM全景摄像机通过电缆与高性能图形工作站相连；具体的工作步骤如下：
步骤1、启动高性能图形工作站，将Ladybug3TM全景摄像机放置在场景中的适当位置,确保Ladybug3TM全景摄像机能够捕获到场景中的光源；
步骤2、依次设置Ladybug3TM全景摄像机中所有的摄像机的曝光系数N次,N为大于零的正整数,设曝光系数分别为E_i,其中i=1,2,3… N;每个曝光系数彼此都不相同；
步骤3、利用Ladybug3TM全景摄像机，获取曝光系数为E_i, i=1,2,3… N时的全景图像，并保存到image_i中，i=1,2,3… N；
步骤4、将文件名image_i，i=1,2,3…N，合成一个文件数组files，将曝光系数E_i,i=1,2,3… N，合成一个曝光数组expTimes；
步骤5、利用Matlab7.6.0工具软件中的的makehdr函数和文件数组files，曝光数组expTimes生成高动态全景图像数据HDR；
步骤6、利用Matlab7.6.0工具软件中的hdrwrite，将高动态全景图像数据HDR保存到高动态全景图像HdrImage.hdr中；通过以上步骤便可以快速、高精度地生成高动态范围全景图像。”。
申请人（下称复审请求人）对上述驳回决定不服,于2018年04月27日向国家知识产权局提出了复审请求，同时修改了权利要求书。复审请求人认为：（1）修改后的权利要求1与对比文件1解决的技术问题不同。修改后的权利要求1实际解决的技术问题是“如何结合API函数与Matlab软件中的函数高效精准地生成全景高动态范围图像”；对比文件1实际解决的技术问题是：如何利用连续快门同步触发生成无畸变的HDR图像，获得高清全场景视频；对比文件1未给出解决本申请技术问题的相应启示。（2）对比文件1与修改后的权利要求1为了解决同一技术问题时，采取的是两种完全不同的技术手段。（3）对比文件2中为了生成全景高动态范围图像采用的技术手段是利用Matlab图像处理相关函数，本领域技术人员在面临对比文件1的技术方案时，并没有任何动机想到要结合对比文件2中的技术特征。（4）即使本领域技术人员在对比文件1的基础上想到要结合对比文件2，得到的技术方案是：采用Matlab中的函数生成全景高动态范围图像。也并不能得到修改后的权利要求1中的技术方案（先使用Ladybug3TM最基本的API函数获取全景图像，然后再利用Matlab软件中的函数生成全景高动态范围图像）。
复审请求时新修改的权利要求书内容如下：
“1. 一种高动态范围全景图像的生成方法，其特征在于：由Ladybug3TM全景摄像机、高性能图形工作站这里就是一台计算机组成，其中Ladybug3TM全景摄像机通过电缆与高性能图形工作站相连；具体的工作步骤如下：
步骤1、启动高性能图形工作站，将Ladybug3TM全景摄像机放置在场景中的适当位置，确保Ladybug3TM全景摄像机能够捕获到场景中的光源；
步骤2、依次设置Ladybug3TM全景摄像机中所有的摄像机的曝光系数N次,N为大于零的正整数,设曝光系数分别为E_i,其中i=1,2,3… N;每个曝光系数彼此都不相同；
步骤3、利用Ladybug3TM全景摄像机，获取曝光系数为E_i, i=1,2,3… N时的全景图像，并保存到image_i中，i=1,2,3… N；
步骤4、将文件名image_i，i=1,2,3…N，合成一个文件数组files，将曝光系数E_i,i=1,2,3… N，合成一个曝光数组expTimes；
步骤5、利用Matlab7.6.0工具软件中的的makehdr函数和文件数组files，曝光数组expTimes生成高动态全景图像数据HDR；
步骤6、利用Matlab7.6.0工具软件中的hdrwrite，将高动态全景图像数据HDR保存到高动态全景图像HdrImage.hdr中；通过以上步骤便可以快速、高精度地生成高动态范围全景图像；
设置Ladybug3TM全景摄像机的不同曝光量，每个相机都同时获取在相应曝光量条件下的多幅图像，先使用Ladybug3TM最基本的API函数获取全景图像，然后再利用Matlab软件中的函数生成全景高动态范围图像。”。
经形式审查合格，国家知识产权局于2018年06月20日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年05月17日向复审请求人发出复审通知书，指出：权利要求1不具备专利法第22条第3款规定的创造性。针对复审请求书中所陈述的意见，合议组指出：（1）本申请与对比文件1都是生成高动态范围全景图像，虽然对比文件1中未公开利用API函数与Matlab软件中的函数来生成高动态范围全景图像，但这些或是本领域的常用技术手段，或是已被对比文件2所公开，本申请相对于对比文件1、2和本领域的常用技术手段而言，不具有突出的实质性特点。（2）在获取全景高动态范围图像时，本申请与对比文件1都是利用不同角度的摄像头获取不同曝光系数的一系列图像，随后拼接出不同曝光系数下的全景图像，再将多个全景图像合成为全景高动态范围图像。可见，两者获取全景高动态范围图像的主体思路是一致的。（3）Matlab是常见的用于图像处理的工具软件，在对比文件1中已公开最终合成HDR图像的情况下，本领域技术人员容易想到也可利用Matlab软件中的HDR相关函数来合成HDR图像，即对比文件2中公开的Matlab软件中makehdr和hdrwrite函数。（4）Ladybug3TM全景摄像机是本领域熟知的用于拍摄全景的摄像机，而对比文件1中公开的采用四周环绕加顶部相机的组合拍摄构造与Ladybug3TM全景摄像机的摄像头组织方式类似，这具有启发本领域技术人员想到也可采用Ladybug3TM全景摄像机来获取全景图像的启示。
复审请求人于2019年06月18日提交了意见陈述书，但未修改申请文件。复审请求人认为：（1）对比文件1中的方案仅仅是给出了由图像处理工作站对图像获取设备进行参数设置，连续快门同步触发以获取图像，并没有给出关于如何利用连续快门同步触发生成无崎变的HDR图像，获得高清全场景图像的任何相关启示。（2）对比文件1中采用连续快门同步以触发获取图像，将获取图像存储在图像处理工作站中并合成一张，也就是说在对比文件1中已经有了获全景图像的具体技术手段，而对比文件2中为了生成全景高动态范围图像采用的技术手段是利用Matlab图像处理相关函数。可见，对比文件1与对比文件2为了生成全景高动态范围图像采用了两种完全不同的技术手段。也就是说，如果对比文件1中的特征用对比文件2中的特征替换，该替换方式属于两种完全不同的技术特征的替换，并非只是一种无需付出创造性劳动的简单替换或者简单叠加。（3）本申请先使用Ladybug3TM最基本的API函数获取全景图像，然后再利用Matlab软件中的函数生成全景高动态范围图像，解决的技术问题是：如何结合API函数与Matlab软件中的函数高效精准地生成全景高动态范围图像。
在上述程序的基础上，本案合议组认为事实已经清楚，可以依法作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在答复复审通知书时未修改申请文件，本复审请求审查决定针对的文本是：2018年04月27日提交的权利要求第1项、申请日2015年02月03日提交的说明书第1-4页，说明书附图第1页，以及摘要和摘要附图。
关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在多个区别特征，但部分区别特征属于本领域的常用技术手段，其余部分区别特征是本领域技术人员基于另一对比文件容易想到的且易于应用于该作为最接近现有技术的对比文件，则该项权利要求请求保护的技术方案不具备创造性。
本复审请求审查决定所引用的对比文件与驳回决定和复审通知书中引用的对比文件相同，即：
对比文件1：CN101963751A，公开日为2011年02月02日。
对比文件2：
“http://wenku.baidu.com/link?url=cJpUCcXeJ87ataREFm3XCzKAJTN9Oz6CS6bvKSm6gBaWpvgY9fbXYJ2Du7oqqjPz2vh95zVb9y0MfN4OIUyEHoGkVW79ePTNsURxsbKZd1G”，Matlab图像处理相关函数，dreaming_mm，百度文库，第2页，2012年2月，公开日为2012年2月10日。
2.1权利要求1不具备专利法第22条第3款规定的创造性
权利要求1要求保护一种高动态范围全景图像的生成方法，对比文件1是最接近的现有技术，其公开了一种高分辨率实时全景高动态范围图像获取方法，并具体公开了如下技术特征（参见第0004, 0009-0014段）：N台图像获取设备、N个L型支架和一个工作台，N＞5；各L型支架的呈圆周均匀分布在工作台上，L型支架的底端固定在工作台上；图像获取设备分别固定在L型支架上端，且每台图像获取设备的镜头水平朝向圆周外侧，每台图像获取设备镜头的光轴延长线向圆周内交汇于一点，该点在工作台的投影为L型支架所分布圆周的圆心。将第N 1台图像获取设备置于工作台上，其镜头垂直向上，镜头的光轴延长线通过L型支架所分布圆周的圆心，其中图像获取设备可以为分辨率为1230万像素的尼康D5000数字单反相机。
将所述的高分辨率全景实时高动态范围图像采集装置放置在所摄对象中心位置（相当于步骤1、将摄像机放置在场景中的适当位置，隐含公开了启动高性能图形工作站，确保摄像机能够捕获到场景中的光源）；图像获取设备通过数据线和控制线与图像处理工作站连接（相当于其中摄像机通过电缆与高性能图形工作站相连）；随机选择一台尼康D5000数字单反相机进行测光，自动获取当前场景正确曝光的光圈快门等参数，以此作为其他相机的正确光圈快门等参数。对于所有的图像获取设备，以正确曝光数据为中心基准，自动生成9组具有相同间隔曝光值(EV)的曝光参数序列(-8/3EV，-2EV，-4/3EV，-2/3EV，0EV， 2/3EV， 4/3EV， 2EV， 8/3EV)（相当于步骤2、依次设置摄像机中所有的摄像机的曝光系数N次,N为大于零的正整数,设曝光系数分别为E_i,其中i=1,2,3… N;每个曝光系数彼此都不相同）；通过同步控制模块，以上述曝光参数序列对相机快门进行触发，获取图像并存储在图像处理工作站中，一个场景的拍摄可以获得64张图像（相当于步骤3、利用摄像机，获取曝光系数为E_i, i=1,2,3… N时的全景图像，并保存到image_i中，i=1,2,3… N）；通过多幅不同曝光参数的全景图合成一张高分辨率全景高动态范围HDR图像。
权利要求1与对比文件1相比，其区别特征为：（1）本申请采用Ladybug3TM全景摄像机，且利用Ladybug3TM最基本的API函数获取全景图像，对比文件1中采用数字单反相机组合；（2）步骤4、将文件名image_i合成一个文件数组files，将曝光系数E_i合成一个曝光数组expTimes；步骤5、利用matlab7.6.0工具软件中的makehdr函数和文件数组files，曝光数组expTimes生成高动态全景图像数据HDR；步骤6、利用matlab7.6.0工具软件中的hdrwrite，将高动态全景图像数据HDR保存到高动态全景图像HdrImage.hdr中；通过以上步骤便可以快速、高精度地生成高动态范围全景图像。基于上述区别特征，权利要求1的技术方案相对于该对比文件所实际解决的技术问题是：采用什么设备和工具生成全景高动态范围图像。
针对上述区别特征（1），Ladybug3TM全景摄像机是本领域熟知的用于拍摄全景的摄像机，而对比文件1中公开采用四周环绕加顶部相机的组合拍摄构造与Ladybug3TM全景摄像机的摄像头组织方式类似，这具有启发本领域技术人员想到也可采用Ladybug3TM全景摄像机来获取全景图像的启示。而利用Ladybug3TM最基本的API函数获取全景图像是本领域熟知的，属于常用技术手段。
针对上述区别特征（2），对比文件2公开了Matlab图像处理相关函数（参见第1章）：1.2.18 makehdr--------创建HDR；图像1.2.15 hdrwrite--------将HDR文件写入文件（相当于利用matlab7.6.0工具软件中的makehdr函数生成高动态全景图像数据HDR，利用matlab7.6.0工具软件中的hdrwrite，将高动态全景图像数据HDR保存）。可见，Matlab是常见的用于图像处理的工具，在对比文件1中已公开最终合成HDR图像的情况下，本领域技术人员容易想到也可利用Matlab软件中的HDR相关函数来合成HDR图像。而生成文件数组files和曝光数组expTimes，都是Matlab软件中makehdr函数的输入参数，是本领域技术人员熟知的函数使用方法。
因此，在对比文件1的基础上结合对比文件2和本领域的常用技术手段以得到权利要求1的技术方案，这对本领域技术人员来说是显而易见的，即权利要求1不具有突出的实质性特点，因而不具备创造性，不符合专利法第22条第3款有关创造性的规定。
对复审请求人相关意见的评述
针对复审请求人答复复审通知书时的意见陈述，合议组认为：
（1）复审请求人的意见有相互矛盾之处，在意见陈述书正文第2页第3段陈述对比文件1“没有给出如何利用同步触发生成无畸变的HDR图像”，在第3页最后一段又陈述“对比文件1中已经有了获全景图像的具体技术手段”，可见复审请求人对对比文件1公开内容的认定不相一致。实际上，对比文件1中公开了：通过多幅不同曝光参数的全景图合成一张高分辨率全景高动态范围HDR图像。其中没有公开如何合成HDR图像的具体手段，但是已公开了最终要合成HDR图像，这与本申请最终图像处理的结果是一致的。
（2）正如上面第（1）点所述，对比文件1中并未公开如何合成HDR图像的具体手段，而Matlab软件中具有合成HDR图像的函数，因此，对于本领域技术人员来说，在对比文件1的基础上面对如何合成HDR图像这一问题时，其有动机在本领域寻求相应的解决方案。而Matlab软件是本领域常用的可用于图像处理的软件，本领域技术人员很容易想到利用Matlab软件来生成HDR图像。
（3）复审请求人一再强调本申请解决的技术问题是：如何结合API函数与Matlab软件中的函数高效精准地生成全景高动态范围图像。然而，在本申请的技术方案中API函数用于获取图像，Matlab软件中的函数用于生成HDR图像，两者属于不同的处理环节，不论是用API函数获取的图像，还是用对比文件1中的单反相机获取的图像，都可以用Matlab软件中的函数生成HDR图像，可见API函数与Matlab软件中的函数并不存在紧密联系。在对比文件1中已公开利用多个单反相机组合拍摄不同曝光参数下的全景照片后生成HDR图像的情况下：1)对于所采用相机为Ladybug3TM的特征，对比文件1中已公开采用四周环绕加顶部相机的组合拍摄，该构造与2012年就已推出的Ladybug3TM全景摄像机的摄像头组织方式类似，这具有启发本领域技术人员想到也可采用Ladybug3TM全景摄像机来获取全景图像的启示，而利用Ladybug3TM最基本的API函数获取全景图像是本领域熟知的，属于常用技术手段。2)对于利用Matlab软件来生成HDR图像的特征，在上面第（2）点已经分析了本领域技术人员容易想到的原因，在此不再赘述。
综上，对于复审请求人的意见陈述，合议组不予支持。
三、决定
维持国家知识产权局于2017年11月30日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定,复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
