信息处理器以及信息处理方法-复审决定


发明创造名称:信息处理器以及信息处理方法
外观设计名称:
决定号:200443
决定日:2020-01-09
委内编号:1F264596
优先权日:2012-05-22
申请(专利)号:201380032860.7
申请日:2013-04-11
复审请求人:索尼电脑娱乐公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:陈安安
合议组组长:石志昕
参审员:陈学元
国际分类号:G06T1/00,G06T7/00,G06T7/60,H04N5/225
外观设计分类号:
法律依据:专利法第22条第2款、第3款
决定要点:如果一项权利要求请求保护的技术方案与作为现有技术的对比文件所公开的技术方案相比存在区别技术特征,且上述区别技术特征使得两者的技术方案实质上不同,则该权利要求相对于该对比文件具备新颖性。
全文:
本复审请求涉及申请号为201380032860.7,名称为“信息处理器以及信息处理方法”的发明专利申请(下称本申请)。申请人为索尼电脑娱乐公司。本申请的申请日为2013年04月11日,优先权日为2012年05月22日,进入中国国家阶段日为2014年12月22日,公开日为2015年02月25日。
经实质审查,国家知识产权局原审查部门于2018年07月18日发出驳回决定,认为权利要求1-2、4-5、7、9-10、12-14不具备专利法第22条第2款规定的新颖性;权利要求3、6、8、11不具备专利法第22条第3款规定的创造性,其具体理由是:对比文件2(US2011311130A1,公开日2011年12月22日)已经公开了权利要求1的全部技术特征,且对比文件2所公开的技术方案与权利要求1所要求保护的技术方案实质上相同,且两者属于相同的立体物检测领域,解决了相同的技术问题,即如何通过多摄像头检测立体物在空间中的位置,并能产生相同的立体物检测的技术效果。因此,权利要求1所要求保护的技术方案不具备新颖性。权利要求2、4-5、7、9-10的附加技术特征也已被对比文件2公开,因此,在其引用的权利要求不具备新颖性的情况下,权利要求2、4-5、7、9-10也不具备新颖性。权利要求3、6、8、11的附加技术特征或被对比文件2或对比文件1(“A Global Matching Framework for Stereo Computation”,Hai Tao等,《IEEE International Conference on Computer Vision》,第1卷,第532-539页,公开日为2001年07月07日)公开,或是本领域技术人员容易想到的,因此在对比文件2的基础上或对比文件2与对比文件1的结合的基础上得到权利要求3、6、8、11的技术方案对本领域技术人员而言是显而易见的,权利要求3、6、8、11不具备创造性。类似地,权利要求12的全部技术特征也被对比文件2公开。因此,权利要求12所要求保护的技术方案不具备新颖性。权利要求13要求保护一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的方法,该方法使计算机实现的功能与权利要求1信息处理器包含的各部分的功能一一对应,权利要求14要求保护一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质,该程序使计算机实现的功能与权利要求1信息处理器包含的各部分的功能一一对应,因而,基于与评述权利要求1相同的证据和理由,权利要求13-14也不具备新颖性。驳回决定所依据的文本为2018年04月09日提交的权利要求第1-14项;进入中国国家阶段日2014年12月22日提交的说明书第[0001]-[0144]段、说明书附图图1-19、说明书摘要及摘要附图。驳回决定所针对的权利要求书如下:
“1. 一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器,该信息处理器包含:
图像获取部分,适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;
视差校正区导出部分,适用于通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
匹配部分,适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;以及
检测结果输出部分,适用于输出该匹配部分进行匹配的结果。
2. 如权利要求1所述的信息处理器,其中
当检测平面在深度方向上的位置跨过检测平面不同时,该视差校正区导出部分通过在第二照相机拍摄的图像中计算与检测区相同的区域的每个顶点的视差的幅度,并将每个顶点移动与视差的幅度一样多的数量来导出视差校正区。
3. 如权利要求1或2所述的信息处理器,进一步包含:
区域剪切部分,适用于进行纹理映射,以保证第一照相机拍摄的图像的检测区的图像和第二照相机拍摄的图像的视差校正区的图像具有相同尺寸。
4. 如权利要求1到3的任何一项所述的信息处理器,其中
该检测平面定义部分在三维空间中的给定范围上定义多个检测平面,
该视差校正区导出部分导出每个检测平面的视差校正区,
该匹配部分进行每个检测平面的匹配,以及
该检测结果输出部分提取具有最高匹配评价值的检测平面并确定测量目 标处在所提取检测平面上。
5. 如权利要求4所述的信息处理器,其中
该检测平面定义部分在三维空间中以相对于给定轴的不同旋转角定义多个检测平面。
6. 如权利要求1到5的任何一项所述的信息处理器,其中
该图像获取部分获取以给定帧速率拍摄的立体图像,以及
该匹配部分在使用与同一照相机前一次拍摄的图像比较生成的运动差分图像禁用了除运动区域之外的每个图像的区域之后进行匹配。
7. 如权利要求1到3的任何一项所述的信息处理器,其中
该检测平面定义部分定义每一个用于多个测量目标之一的多个检测平面,
该视差校正区导出部分导出每个检测平面的视差校正区,以及
该匹配部分通过进行每个检测平面的匹配,并且在在一个检测平面上具有比阈值高的匹配评价值的所有点当中,禁用在其它检测平面上也具有高匹配评价值的点,来产生每个测量目标的匹配结果。
8. 如权利要求1到7的任何一项所述的信息处理器,其中
该匹配部分将具有比阈值高的匹配评价值的点识别为用作存在于检测平面上的测量目标的一部分,该信息处理器进一步包含:
输出信息生成部分,适用于在所摄图像上描绘虚拟物体,以及以如下的方式将虚拟物体显示在显示设备上:当用作测量目标的该部分存在于检测平面之上时,前面是与检测平面相同的平面的虚拟物体部分与测量目标相互作用。
9. 如权利要求1到8的任何一项所述的信息处理器,其中
该检测平面定义部分在通过降低立体图像的分辨率而获得的低分辨率立体图像上进行适用于提取相应点和从其间的视差中计算目标在深度方向上的位置的立体匹配,从立体匹配的结果中获取测量目标的近似位置,以及根据测量目标的近似位置确定检测平面的位置。
10. 如权利要求4或5所述的信息处理器,其中
该图像获取部分获取以给定帧速率拍摄的立体图像,以及
该检测平面定义部分根据前一次针对立体图像确定的测量目标的位置来确定多个检测平面的位置。
11. 如权利要求1到10的任何一项所述的信息处理器,进一步包含:
校准部分,适用于通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系。
12. 一种由信息处理器用于使用所摄图像在三维空间中检测测量目标的位置的信息处理方法,该信息处理方法包含如下步骤:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;
输出匹配结果;以及
使用匹配结果生成图像以及
将图像显示在显示设备上。
13. 一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的方法,该方法使计算机实现如下功能:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深 度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;以及
输出匹配结果。
14. 一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质,该程序使计算机实现如下功能:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;以及
输出匹配结果。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年11月02日向国家知识产权局提出了复审请求,同时修改了权利要求书,在独立权利要求1、12、13、14中增加了技术特征“并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量”和“区域剪切部分,适用于剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像”。复审请求人认为:首先,对比文件2并没有公开本申请权利要求1中涉及的“检测平面”,检测平面是涉及两个图像的,即,所述第一照相机拍摄的图像和所述第二照相机拍摄的图像,并且第一照相机和第二照相机构成立体相机,与此不同,如原审查部门在驳回决定中指出的,对比文件2公开的是在由同一相机拍摄的同一张图片中,图片中的各点的视差必然相同,因而对比文件2中这种同一相机(即,单个相机)拍摄图像根本不涉及视差的概念,与本申请的限定是完全不同的;进一步地,本申请还限定了“剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像”,即用于匹配的两个图像是从剪切检测区和视差校正区生成的。对比文件2也完全没有公开或者教导此点技术特征。
复审请求时新提交的权利要求1、12、13、14如下:
“1. 一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器,该信息处理器包含:
图像获取部分,适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
视差校正区导出部分,适用于通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
区域剪切部分,适用于剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;
匹配部分,适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;以及
检测结果输出部分,适用于输出该匹配部分进行匹配的结果。”
“12. 一种由信息处理器用于使用所摄图像在三维空间中检测测量目标的位置的信息处理方法,该信息处理方法包含如下步骤:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;
输出匹配结果;以及
使用匹配结果生成图像以及
将图像显示在显示设备上。
13. 一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的方法,该方法使计算机实现如下功能:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;以及
输出匹配结果。
14. 一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质,该程序使计算机实现如下功能:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像, 即,立体图像之一中导出视差校正区;
剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;以及
输出匹配结果。 ”
经形式审查合格,国家知识产权局于2018年11月07日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为,本申请求保护一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器,其发明构思在于利用双摄像头获得测量目标的立体图像,并在立体图像中确定相对应的检测区,根据检测区中深度信息进行视差校正,基于校正结果确定目标位置。最接近的现有技术对比文件2公开了一种由多摄影装置提取立体物位置信息的图像处理装置,拍摄的立体图像中提取立体物对应的图像区域,并以框状图形明示;对其中一幅图像进行几何变换消除视差,并保存视差信息;校正后进行图像差分及一致性运算,搜索最大评价区域的位置,确定目标位置。对于新加入的技术特征,申请人认为对比文件2未公开确定检测平面以及检测平面中物体在图像之间的错开量。原审查部门认为,首先对比文件2明确公开了以框状图形明示图像中立体物图像区域,并基于该区域进行视差校正和匹配,因此所述检测平面其实质上也是针对两个图像的,而由于目标物在两幅图像中的错开量即为视差信息,因此,关于检测平面定义部分的技术特征其实质上已被对比文件2公开。此外,对比文件2已经公开了框状图形明示检测区域,并对两幅图像进行整体差分处理,基于此,对于内容复杂的图像,为了降低运算量,基于监测区域的大小对图像进行剪裁从而仅对部分图像进行匹配处理是本领域技术人员能够想到的,无助于本申请创造性的建立。因而坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年08月07日向复审请求人发出复审通知书,指出权利要求1-14不具备专利法第22条第3款规定的创造性,具体理由如下:权利要求1与对比文件2的区别技术特征在于:检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;适用于通过在消除视差的方向将与检测区相同的区域移动通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量。基于该区别技术特征,权利要求1所要求保护的技术方案实际所要解决的技术问题为:如何减少检测匹配过程中的计算量。而上述区别技术特征是基于本领域的惯用手段以及对比文件2实施例公开的内容,本领域技术人员容易想到的。因此,在对比文件2背景技术的基础上结合对比文件2的具体实施例以及本领域的惯用手段而得到权利要求1的技术方案对于本领域技术人员而言是显而易见的,权利要求1不具备专利法第22条第3款规定的创造性。权利要求2-11的附加技术特征或被对比文件1或2公开,或为本领域的惯用手段,因而在其引用的权利要求不具备创造性的情况下,权利要求2-11也不具备创造性。权利要求12与对比文件2的区别技术特征在于:(1)在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;通过在消除视差的方向将与检测区相同的区域移动通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量;(2)使用匹配结果生成图像以及将图像显示在显示设备上。基于该区别技术特征,权利要求12所要求保护的技术方案实际所要解决的技术问题为:如何减少检测匹配过程中的计算量以及如何显示匹配结果。而上述区别技术特征(1)是基于本领域的惯用手段以及对比文件2实施例公开的内容,本领域技术人员容易想到的;区别技术特征(2)为本领域的惯用手段。因此,在对比文件2背景技术的基础上结合对比文件2的具体实施例以及本领域的惯用手段而得到权利要求12的技术方案对于本领域技术人员而言是显而易见的,权利要求12不具备创造性。权利要求13请求保护一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的方法,其方法的各步骤与权利要求1产品的各组成部件所实现的功能一一对应,权利要求14请求保护一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质,其存储的程序使计算机实现的功能与权利要求1产品的各组成部件所实现的功能一一对应,因此,基于与评述权利要求1相同的证据和理由可知,权利要求13-14不具备创造性。
针对复审理由,合议组回应如下:合议组使用了对比文件2背景技术中关于“块匹配法”的内容对本申请的权利要求书重新进行了评述,关于“物体在第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量”已经在对比文件2在背景技术部分明确公开,其属于块匹配法的原理,不论是否存在检测平面来标识被拍摄的物体的位置,上述图像之间的匹配关系都是存在的;对于检测平面的设置,以及将其定义为等视差平面,均为本领域的惯用手段。因而在上述内容的基础上,为了简化减少检测匹配过程的计算量,本领域技术人员有动机想到通过设置检测平面对检测目标的位置进行粗估,然后再进一步进行后续的匹配评价(详见创造性的评述部分)。另外,对比文件2的背景技术部分明确记载了“在基准图像中的关注像素的周围设定例如8×4像素左右的评价区域。此外,在比较图像内也设定同样的评价区域”,可见对评价区域的尺寸进行了明确的限定,因而其隐含了对基准图像进行了剪切才能获得该“8×4像素左右”的评价区域,由于比较图像内也设定同样的评价区域,因而同样隐含了对比较图像进行了相应的剪切。可见“区域剪切部分”的相关特征已被对比文件2隐含公开。
复审请求人于2019年09 月23 日提交了意见陈述书,并将原从属权利要求11的附加技术特征合并到独立权利要求1、12、13、14中,获得新的权利要求1-13。复审请求人认为:对比文件2并没有公开本申请权利要求1中涉及的“检测平面”, 本申请权利要求1技术方案“检测平面”并不是简单用于标识被拍摄的物体的位置,而是用于进一步得到“视差校正区”,并且进一步通过“检测平面”和“视差校正区”生成用于匹配的两个图像,这并不是本领域技术人员所容易想到的,也没有证据表明其属于本领域的公知常识或者惯用技术手段;对比文件2的[0109]-[0110]段记载的是由相互不平行的成像装置的成像光轴导致的偏移校正处理,而本申请上述区别特征2明确限定的是一种使用从数据库中获取测量目标的实际尺寸以及所摄图像中的表观尺寸的校准处理,合议组再次将对比文件2没有公开的关键特征都全部简单地归结为本领域技术人员所容易想到的,而没有给出任何证据予以证明。所以本申请的独立权利要求1的技术方案与对比文件1-2相比,是非显而易见的,具备了突出的实质性特点。此外,通过上述区别特征,实现了以高精度、迅速响应以及低成本地在三维空间中使用目标位置实现信息处理的技术效果,从而产生了显著的进步。因此,独立权利要求1-13具备创造性。
复审请求人答复复审通知书时提交的权利要求书如下:
“1. 一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器,该信息处理器包含:
图像获取部分,适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
视差校正区导出部分,适用于通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
区域剪切部分,适用于剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;
匹配部分,适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;
校准部分,适用于通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系;以及
检测结果输出部分,适用于输出该匹配部分进行匹配的结果。
2. 如权利要求1所述的信息处理器,其中
当检测平面在深度方向上的位置跨过检测平面不同时,该视差校正区导出部分通过在第二照相机拍摄的图像中计算与检测区相同的区域的每个顶点的视差的幅度,并将每个顶点移动与视差的幅度一样多的数量来导出视差校 正区。
3. 如权利要求1或2所述的信息处理器,进一步包含:
区域剪切部分,适用于进行纹理映射,以保证第一照相机拍摄的图像的检测区的图像和第二照相机拍摄的图像的视差校正区的图像具有相同尺寸。
4. 如权利要求1到3的任何一项所述的信息处理器,其中
该检测平面定义部分在三维空间中的给定范围上定义多个检测平面,
该视差校正区导出部分导出每个检测平面的视差校正区,
该匹配部分进行每个检测平面的匹配,以及
该检测结果输出部分提取具有最高匹配评价值的检测平面并确定测量目标处在所提取检测平面上。
5. 如权利要求4所述的信息处理器,其中
该检测平面定义部分在三维空间中以相对于给定轴的不同旋转角定义多个检测平面。
6. 如权利要求1到5的任何一项所述的信息处理器,其中
该图像获取部分获取以给定帧速率拍摄的立体图像,以及
该匹配部分在使用与同一照相机前一次拍摄的图像比较生成的运动差分图像禁用了除运动区域之外的每个图像的区域之后进行匹配。
7. 如权利要求1到3的任何一项所述的信息处理器,其中
该检测平面定义部分定义每一个用于多个测量目标之一的多个检测平面,
该视差校正区导出部分导出每个检测平面的视差校正区,以及
该匹配部分通过进行每个检测平面的匹配,并且在在一个检测平面上具有比阈值高的匹配评价值的所有点当中,禁用在其它检测平面上也具有高匹配评价值的点,来产生每个测量目标的匹配结果。
8. 如权利要求1到7的任何一项所述的信息处理器,其中
该匹配部分将具有比阈值高的匹配评价值的点识别为用作存在于检测平面上的测量目标的一部分,该信息处理器进一步包含:
输出信息生成部分,适用于在所摄图像上描绘虚拟物体,以及以如下的方式将虚拟物体显示在显示设备上:当用作测量目标的该部分存在于检测平面之上时,前面是与检测平面相同的平面的虚拟物体部分与测量目标相互作用。
9. 如权利要求1到8的任何一项所述的信息处理器,其中
该检测平面定义部分在通过降低立体图像的分辨率而获得的低分辨率立体图像上进行适用于提取相应点和从其间的视差中计算目标在深度方向上的位置的立体匹配,从立体匹配的结果中获取测量目标的近似位置,以及根据测量目标的近似位置确定检测平面的位置。
10. 如权利要求4或5所述的信息处理器,其中
该图像获取部分获取以给定帧速率拍摄的立体图像,以及
该检测平面定义部分根据前一次针对立体图像确定的测量目标的位置来确定多个检测平面的位置。
11. 一种由信息处理器用于使用所摄图像在三维空间中检测测量目标的位置的信息处理方法,该信息处理方法包含如下步骤:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;
通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系;
输出匹配结果;以及
使用匹配结果生成图像以及
将图像显示在显示设备上。
12. 一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的方法,该方法使计算机实现如下功能:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;
进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;
通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系;以及
输出匹配结果。
13. 一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质,该程序使计算机实现如下功能:
获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据;
在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的,并且存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄的图像之间表现为错开与所述视差一样多的数量;
通过在消除视差的方向将与检测区相同的区域移动与通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即,立体图像之一中导出视差校正区;
剪切所述第一照相机拍摄的图像的检测区和所述第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像;进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间的匹配,因此导出评价高的特征点,以及引申开来,被认为在图像中存在于相同位置上的特征点,其中,具有这种特征点的区域代表存在于检测平面的位置上的被摄物;
通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系;以及
输出匹配结果。”
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在2019年09月23日答复复审通知书时提交了修改的权利要求书,经审查,上述修改符合专利法第33条和专利法实施细则第61条第1款的规定。因此本复审决定所依据的文本是:2019年09月23日提交的权利要求第1-13项;进入中国国家阶段日2014年12月22日提交的说明书第[0001]-[0144]段、说明书附图图1-19、说明书摘要及摘要附图。
具体理由的阐述
专利法第22条第2款规定:新颖性,是指该发明或者实用新型不属于现有技术;也没有任何单位或个人就同样的发明或者实用新型在申请日以前向国务院专利行政部门提出过申请,并记载在申请日以后公布的专利申请文件或者公告的专利文件中。
专利法第22条第3款规定:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与作为现有技术的对比文件所公开的技术方案相比存在区别技术特征,且上述区别技术特征使得两者的技术方案实质上不同,则该权利要求相对于该对比文件具备新颖性。
如果一项权利要求请求保护的技术方案与作为最接近的现有技术的对比文件中公开的技术方案相比存在区别技术特征,并且该对比文件中不存在应用上述区别技术特征以获得该权利要求请求保护的技术方案的技术启示,同时该区别技术特征也不是所属技术领域的公知常识,此外该区别技术特征使得该权利要求请求保护的技术方案相对于现有技术而言获得了有益的技术效果,则该权利要求请求保护的技术方案相对于该最接近的现有技术具有突出的实质性特点和显著的进步,具备创造性。
本复审决定在评价新颖性和创造性时所引用的对比文件与驳回决定和复审通知书中引用的对比文件相同,即:
对比文件1:“A Global Matching Framework for Stereo Computation”,Hai Tao等,《IEEE International Conference on Computer Vision》,第1卷,第532-539页,公开日为2001年07月07日;
对比文件2:US 2011311130A1,公开日为2011年12月22日;
其中,对比文件2为最接近的现有技术。
(2.1)权利要求1具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性
权利要求1要求保护一种使用所摄图像在三维空间中检测测量目标的位置的信息处理器,对比文件2涉及一种从多个摄影装置进行摄影的图像中提取与立体物相当的信息的图像处理装置,并公开了如下技术特征(参见说明书第[0002]-[0005]、[0015]-[0016]、[0113]-[0119]段,图1-4C、图16):从图像中进行立体物的检测等空间掌握通过如下方式来进行:通过用两台摄影装置对相同空间进行摄影从而获取具有与视差相当的差别的一对图像(相当于图像获取部分,适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据),从一对图像中提取视差,将提取的视差对应到空间信息的方式进行;在从具有与视差相当的差别的一对图像中的视差的提取中,一般使用块匹配(block matching)法,块匹配法是搜索两个图像中的对应的点的方法,具有与视差相当的差别的一对图像中的对应点的位置的差别与视差相当(相当于存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄图像之间表现为错开与所述视差一样多的数量);具体地说,将一对图像的一方作为基准图像(相当于所述第一照相机拍摄的图像),将另一方作为比较图像(相当于第二照相机拍摄的图像),在基准图像中的关注像素的周围设定例如8×4像素左右的评价区域(相当于检测区,由于设定了具体的评价区域范围为8×4像素,因而隐含公开了区域剪切部分,适用于剪切所述第一照相机拍摄的图像的检测区)。此外,在比较图像内也设定同样的评价区域(隐含公开了剪切第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像),一边使在比较图像中的评价区域的位置移动,一边反复按每个像素运算一对评价区域的差分并利用累计差分的绝对值的评价函数(∑|Li-Ri|)或累计差分的平方值的评价函数(∑|Li-Ri|2)评价一对评价区域的一致度,求出一致度成为最大(评价函数的值最小(极小))的比较图像上的评价区域的位置,这个位置就是比较图像上的对应点相对于基准图像中的关注像素的位置,基准图像上的关注像素和比较图像上的对应点的位置的差别与视差相当(相当于匹配部分,适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像之间的匹配,因此导出评价高的特征点;以及引申开来,被认为在图像中存在于相同位置上的特征点)。此外,如图16所示,与基准图像上的关注像素100所对应的物体102的距离L从视差量D、摄影装置104L、104R的焦距f、以及摄影装置104L、104R的距离(基线长)b由L=b×f/D求出;通过对基准图像的所有像素进行以上的处理,从而能检测与被作为图像进行摄影的各个物体的距离,另外,在图16中,附图标记“106”是摄像面,附图标记“108”是比较图像上的对应点(对应像素)(上述过程必然包括对上述检测到的评价结果的输出,因而隐含公开了检测结果输出部分,适用于输出该匹配部分进行匹配的结果);比较图3B、3C可以看出,由于摄影装置10L、10R的几何位置不同,图像之间有视差,因此视差校正部16需要通过在3B、3C其中一幅图像上进行几何变换消除视差,具体的几何变换可以是如图3D所示,通过使图像的沿X方向的各个像素列的X坐标值的变更量在与消失点相比位于上边的范围为零、在与消失点相比位于下边的范围为与图像的沿Y方向的距消失点的距离成比例变大而实现,但是这个X坐标值的变更量与视差量D相等,或者也可以如图4A-4C所示,根据摄影装置位置、物体位置及拍摄原理,求出Y坐标值P和视差量D的关系,并根据预先存储的参数信息生成视差量信息并写入视差信息存储部44,根据视差信息对图像进行视差校正;差分图像生成部18对接收到的左侧图像3B和经过了视差校正的右侧图像3E进行图像差分处理,形成如图3F所示的仅包含立体物像素的差分图像;差分图像解析部22基于差分图像检测立体物对应的图像区域范围,并将检测结果输出至解析结果输出部24。
权利要求1与对比文件2的区别技术特征在于:(1)检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;视差校正区导出部分,适用于通过在消除视差的方向将与检测区相同的区域移动通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即立体图像之一种导出视差校正区;第一照相机拍摄的图像检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间进行匹配,导出评价高的特征点,具有这种导出评价高的特征点的区域代表存在于检测平面的位置上的被摄物;(2)校准部分,适用于通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系。
由此可见,对比文件2未公开权利要求1的全部技术特征,上述区别技术特征使得两者的技术方案实质上不同,权利要求1相对于对比文件2具有新颖性,符合专利法第22条第2款的规定。
对比文件2的背景技术部分公开了块匹配法,在基准图像中的关注像素的周围设定一评价区域,在比较图像内也设定同样的评价区域,一边使在比较图像中的评价区域的位置移动,一边反复按每个像素运算一对评价区域的差分并利用累计差分的绝对值的评价函数(∑|Li-Ri|)或累计差分的平方值的评价函数(∑|Li-Ri|2)评价一对评价区域的一致度,求出一致度成为最大(评价函数的值最小(极小))的比较图像上的评价区域的位置,这个位置就是比较图像上的对应点相对于基准图像中的关注像素的位置,与基准图像上的关注像素100所对应的物体102的距离L可由L=b×f/D求出(其中视差量D、摄影装置104L、104R的焦距f以及摄影装置104L、104R的距离(基线长)b);而对比文件2实施例在上述方法的基础上,进一步公开了根据摄影装置位置、物体位置及拍摄原理,求出Y坐标值P和视差量D的关系,并根据预先存储的参数信息生成视差量信息并写入视差信息存储部44,根据视差信息对图像进行视差校正;差分图像生成部18对接收到的左侧图像3B和经过了视差校正的右侧图像3E进行图像差分处理,形成如图3F所示的仅包含立体物像素的差分图像;差分图像解析部22基于差分图像检测立体物对应的图像区域范围,并将检测结果输出至解析结果输出部24。可见,对比文件2未公开上述区别技术特征,也没有给出通过建立检测平面来获得视差校正区的图像,并与检测区图像进行匹配得到特征点来精确得出存在于检测平面的位置上的被摄物的技术启示,同时也未给出通过数据库中获取测量目标的实际尺寸与所摄图像中的表观尺寸来获得定义检测平面的位置,并通过相应的检测平面进行深度方向上的位置与移动视差校正区的多少之间关系的校准的技术启示。并且,上述区别技术特征也不是本领域的公知常识。基于上述区别技术特征,权利要求1所要求保护的技术方案解决了如何在三维空间中检测测量目标以及如何进行视差校准的问题,其通过设定检测平面及进行相应检测区和视差校正区的匹配和视差的校准,可以精确地获得检测平面所处位置上的被摄物特征点,产生了可以高精度地在三维空间中使用目标位置实现信息处理的有益技术效果。因此,独立权利要求1具有突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
(2.2)权利要求2-10具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性
权利要求2-10直接或间接引用权利要求1,其中对于权利要求3,虽然对比文件1公开了一种用于立体图像计算的全局匹配架构,并具体公开了(参见正文第2.1节):利用鲁棒曲面拟合算法对粗略深度图进行进一步处理,而对两幅图像进行尺寸标准化是鲁棒曲面拟合算法中必然包括的步骤,也就是说,虽然权利要求3的附加技术特征已被对比文件1公开,但是由于对比文件1也未公开权利要求1中的检测平面的相关特征,在其引用的权利要求1具备新颖性和创造性情况下,权利要求3仍具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性,类似地,其它直接或间接引用权利要求1的从属权利要求2、4-10也具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性。
(2.3)权利要求11具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性
权利要求11要求保护一种由信息处理器用于使用所摄图像在三维空间中检测测量目标的位置的信息处理方法,对比文件2涉及一种从多个摄影装置进行摄影的图像中提取与立体物相当的信息的图像处理装置,并公开了如下技术特征(参见说明书第[0002]-[0005]、[0015]-[0016]、[0113]-[0119]段,图1-4C、图16):从图像中进行立体物的检测等空间掌握通过如下方式来进行:通过用两台摄影装置对相同空间进行摄影从而获取具有与视差相当的差别的一对图像(相当于适用于获取利用以彼此相距给定距离安排的第一和第二照相机并行捕获测量目标而获得的立体图像数据),从一对图像中提取视差,将提取的视差对应到空间信息的方式进行;在从具有与视差相当的差别的一对图像中的视差的提取中,一般使用块匹配(block matching)法,块匹配法是搜索两个图像中的对应的点的方法,具有与视差相当的差别的一对图像中的对应点的位置的差别与视差相当(相当于存在于所述检测平面之上的物体在所述第一照相机拍摄的图像和所述第二照相机拍摄图像之间表现为错开与所述视差一样多的数量);具体地说,将一对图像的一方作为基准图像(相当于所述第一照相机拍摄的图像),将另一方作为比较图像(相当于第二照相机拍摄的图像),在基准图像中的关注像素的周围设定例如8×4像素左右的评价区域(相当于检测区,由于设定了具体的评价区域范围为8×4像素,因而隐含公开适用于剪切所述第一照相机拍摄的图像的检测区)。此外,在比较图像内也设定同样的评价区域(隐含公开了剪切第二照相机拍摄的图像的视差校正区,生成用于匹配的两个图像),一边使在比较图像中的评价区域的位置移动,一边反复按每个像素运算一对评价区域的差分并利用累计差分的绝对值的评价函数(∑|Li-Ri|)或累计差分的平方值的评价函数(∑|Li-Ri|2)评价一对评价区域的一致度,求出一致度成为最大(评价函数的值最小(极小))的比较图像上的评价区域的位置,这个位置就是比较图像上的对应点相对于基准图像中的关注像素的位置,基准图像上的关注像素和比较图像上的对应点的位置的差别与视差相当(相当于匹配部分,适用于进行第一照相机拍摄的图像的检测区的图像与第二照相机拍摄的图像之间的匹配,因此导出评价高的特征点;以及引申开来,被认为在图像中存在于相同位置上的特征点)。此外,如图16所示,与基准图像上的关注像素100所对应的物体102的距离L从视差量D、摄影装置104L、104R的焦距f、以及摄影装置104L、104R的距离(基线长)b由L=b×f/D求出;通过对基准图像的所有像素进行以上的处理,从而能检测与被作为图像进行摄影的各个物体的距离,另外,在图16中,附图标记“106”是摄像面,附图标记“108”是比较图像上的对应点(对应像素)(上述过程必然包括对上述检测到的评价结果的输出,因而隐含公开了输出匹配结果);比较图3B、3C可以看出,由于摄影装置10L、10R的几何位置不同,图像之间有视差,因此视差校正部16需要通过在3B、3C其中一幅图像上进行几何变换消除视差,具体的几何变换可以是如图3D所示,通过使图像的沿X方向的各个像素列的X坐标值的变更量在与消失点相比位于上边的范围为零、在与消失点相比位于下边的范围为与图像的沿Y方向的距消失点的距离成比例变大而实现,但是这个X坐标值的变更量与视差量D相等,或者也可以如图4A-4C所示,根据摄影装置位置、物体位置及拍摄原理,求出Y坐标值P和视差量D的关系,并根据预先存储的参数信息生成视差量信息并写入视差信息存储部44,根据视差信息对图像进行视差校正;差分图像生成部18对接收到的左侧图像3B和经过了视差校正的右侧图像3E进行图像差分处理,形成如图3F所示的仅包含立体物像素的差分图像;差分图像解析部22基于差分图像检测立体物对应的图像区域范围,并将检测结果输出至解析结果输出部24。
权利要求11与对比文件2的区别技术特征在于:(1)检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;视差校正区导出部分,适用于通过在消除视差的方向将与检测区相同的区域移动通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即立体图像之一种导出视差校正区;第一照相机拍摄的图像检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间进行匹配,导出评价高的特征点,具有这种导出评价高的特征点的区域代表存在于检测平面的位置上的被摄物;(2)校准部分,适用于通过从数据库中获取测量目标的实际尺寸以及将所摄图像中的表观尺寸与实际尺寸相比较来获取测量目标在深度方向上的位置,在那个位置上定义检测平面,通过改变移动视差校正区的多少进行匹配,并通过提取移动提供适当匹配评价值的视差校正区的多少来校正深度方向上的位置与移动视差校正区的多少之间的关系;(3)使用匹配结果生成图像以及将图像显示在显示设备上。
由此可见,对比文件2未公开权利要求1的全部技术特征,上述区别技术特征使得两者的技术方案实质上不同,权利要求11相对于对比文件2具有新颖性,符合专利法第22条第2款的规定。
基于上述区别技术特征,权利要求11所要求保护的技术方案解决的技术问题为:(1)如何在三维空间中检测测量目标;(2)如何进行视差校准;(3)如何显示匹配结果。
对于区别技术特征(3),对于一个目标测定系统的结果输出,最直观的方式即为根据获得的匹配结果将测定的目标以图像的形式进行显示输出,这种显示输出通常需要借助显示设备,这均属于本领域的惯用手段。
对于区别技术特征(1)和(2),对比文件2的背景技术部分公开了块匹配法,在基准图像中的关注像素的周围设定一评价区域,在比较图像内也设定同样的评价区域,一边使在比较图像中的评价区域的位置移动,一边反复按每个像素运算一对评价区域的差分并利用累计差分的绝对值的评价函数(∑|Li-Ri|)或累计差分的平方值的评价函数(∑|Li-Ri|2)评价一对评价区域的一致度,求出一致度成为最大(评价函数的值最小(极小))的比较图像上的评价区域的位置,这个位置就是比较图像上的对应点相对于基准图像中的关注像素的位置,与基准图像上的关注像素100所对应的物体102的距离L可由L=b×f/D求出(其中视差量D、摄影装置104L、104R的焦距f以及摄影装置104L、104R的距离(基线长)b);而对比文件2实施例在上述方法的基础上,进一步公开了根据摄影装置位置、物体位置及拍摄原理,求出Y坐标值P和视差量D的关系,并根据预先存储的参数信息生成视差量信息并写入视差信息存储部44,根据视差信息对图像进行视差校正;差分图像生成部18对接收到的左侧图像3B和经过了视差校正的右侧图像3E进行图像差分处理,形成如图3F所示的仅包含立体物像素的差分图像;差分图像解析部22基于差分图像检测立体物对应的图像区域范围,并将检测结果输出至解析结果输出部24。可见,对比文件2未公开上述区别技术特征,也没有给出通过建立检测平面来获得视差校正区的图像,并与检测区图像进行匹配得到特征点来精确得出存在于检测平面的位置上的被摄物的技术启示,同时也未给出通过数据库中获取测量目标的实际尺寸与所摄图像中的表观尺寸来获得定义检测平面的位置,并通过相应的检测平面进行深度方向上的位置与移动视差校正区的多少之间关系的校准的技术启示。并且,上述区别技术特征(1)和(2)也不是本领域的公知常识。本申请通过设定检测平面及进行相应检测区和视差校正区的匹配和视差的校准,可以精确地获得检测平面所处位置上的被摄物特征点,产生了可以高精度地在三维空间中使用目标位置实现信息处理的有益技术效果。因此,独立权利要求11具有突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
(2.4)权利要求12-13具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性
权利要求12请求保护一种使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的方法,是对应于产品权利要求1的方法权利要求,其方法的各步骤与产品的各组成部件所实现的功能一一对应,权利要求13请求保护一种存储使计算机实现使用所摄图像在三维空间中检测测量目标的位置的功能的计算机程序的计算机可读记录介质,其存储的程序使计算机实现的功能与权利要求1的产品的各组成部件所实现的功能一一对应。因此,基于与评述权利要求1相同的证据和理由可知,权利要求12-13具备专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性。
对驳回决定和前置审查相关意见的评述
关于驳回决定及前置审查的相关意见(具体参见案由部分),合议组认为:
驳回中指出的利用投影法等公知的数据解析方法进行与立体物对应的图像区域的提取,从而检测出立体物在图像中的位置和范围,例如图7A中所示,然而,根据对比文件2中图7A-7D相关的记载可知,其涉及的是通过使图像中物体消失所需要进行重复提取处理的次数来确定目标距离摄像设备的远近,而并不涉及检测平面建立以及通过检测平面获得的检测区和视差校正区的图像的匹配评价来确定检测平面位置处的目标物特征点。对于图7A-7D中所示的不同目标物体,由于其是在由同一相机拍摄的同一张图片中,它们之间也根本不涉及视差的概念,因此不能由此认为公开了如下技术特征“检测平面定义部分,适用于在三维空间中定义检测平面,并通过将检测平面投影到第一照相机拍摄的图像的平面来计算检测区的顶点坐标以建立获得的检测区,其中,所述检测平面被定义成等视差平面,其中视差在所述平面上的所有点上是相同的;视差校正区导出部分,适用于通过在消除视差的方向将与检测区相同的区域移动通过检测平面在深度方向上的位置确定的视差的幅度一样多的数量,在第二照相机拍摄的图像,即立体图像之一种导出视差校正区;第一照相机拍摄的图像检测区的图像与第二照相机拍摄的图像的视差校正区的图像之间进行匹配,导出评价高的特征点,具有这种导出评价高的特征点的区域代表存在于检测平面的位置上的被摄物”。并且,正是由于上述技术特征,使得本申请的技术方案产生了可以高精度地在三维空间中使用目标位置实现信息处理的有益技术效果。因而,本申请权利要求1-13的技术方案符合专利法第22条第2款规定的新颖性和专利法第22条第3款规定的创造性。
至于本申请是否存在其它不符合专利法及实施细则的相关缺陷,由后续程序继续审查。
三、决定
撤销国家知识产权局于 2018年07 月18日对本申请作出的驳回决定。由国家知识产权局原审查部门在2019年09月23日提交的权利要求第1-13项;进入中国国家阶段日2014年12月22日提交的说明书第[0001]-[0144]段、说明书附图图1-19、说明书摘要及摘要附图的基础上对本申请继续进行审查。
如对本复审决定不服,根据专利法第41条第2款的规定,复审请求人可以自收到本复审决定之日起三个月内向北京知识产权法院起诉。


郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

留言与评论(共有 0 条评论)
   
验证码: