发明创造名称:通过移动图案投影仪对深度图进行超解析
外观设计名称:
决定号:191528
决定日:2019-09-29
委内编号:1F262146
优先权日:2013-04-15,2013-06-21
申请(专利)号:201480021487.X
申请日:2014-04-14
复审请求人:微软技术许可有限责任公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:宋艳杰
合议组组长:徐丹
参审员:杨建坤
国际分类号:G01B11/25,H04N13/02
外观设计分类号:
法律依据:专利法第22条第2款,专利法第22条第3款
决定要点:如果权利要求请求保护的技术方案相比于作为最接近现有技术的对比文件具有多个区别技术特征,且这些区别特征不属于本领域惯用手段的直接替换,则该权利要求相对于该对比文件具备新颖性。
全文:
本复审请求涉及申请号为201480021487.X,名称为“通过移动图案投影仪对深度图进行超解析”的发明专利申请(下称本申请),本申请的申请日为2014年04月14日,优先权日为2013年04月15日和2013年06月21日,进入中国国家阶段日为2015年10月15日,公开日为2015年12月09日,申请人为微软技术许可有限责任公司。
经实质审查,国家知识产权局原审查部门于2018年06月20日发出驳回决定,驳回了本发明专利申请,其理由是:权利要求1-2、4、6-12不具备专利法第22条第2款规定的新颖性,权利要求2、3、5、11、12不具备专利法第22条第3款规定的创造性。驳回决定中涉及如下1篇对比文件:
对比文件1:GB2481459A,公开日为2011年12月28日。
驳回决定所依据的文本为进入中国国家阶段日2015年10月15日提交的原始申请文件中文译文的说明书第1-71段、说明书附图图1-8、说明书摘要、摘要附图,2017年08月29日提交的权利要求第1-12项。驳回决定所针对的权利要求1-12如下:
“1. 一种方法,包括计算具有比包括一个或多个传感器的传感器集合中的每一传感器的分辨率更高的分辨率的深度图,包括将移动的光图案投影到场景,经由所述传感器集合来在不同时间捕捉多个图像,处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述移动的光图案的路径中来获取子像素的计算出的深度数据,估计未获取关于其的计算出的深度数据的任何子像素的深度数据,以及输出包括每一子像素的深度数据的深度图。
2. 如权利要求1所述的方法,其特征在于,投影所述移动的光图案包括a)将斑点投影到所述场景,或者b)将线图案、色码、角或其他不同形状中的至少一者投影到所述场景中,或者c)振动或以其他方式移动投影仪或投影仪组件,或者a)、b)或c)的任何组合。
3. 如权利要求1所述的方法,其特征在于,还包括改变振动或其他移动参数。
4. 如权利要求1所述的方法,其特征在于,估计所述深度数据包括至少部分地基于其他子像素深度值或特征值来内插子像素数据,或者至少部分地基于对应于原生或更低分辨率图的其他子像素深度值或特征值来内插子像素数据,或两者。
5. 如权利要求1所述的方法,其特征在于,还包括所述移动的图案的一部分投影在所述场景之外,以允许投影移动所导致的移入所述场景。
6. 一种系统,包括被配置成向场景投影光图案的投影仪,包括被配置成感测来自 从所述场景反射的所述光图案的光的至少一个传感器的传感器集合,耦合到所述投影仪以随时间移动所述光图案的运动机构,以及图像处理子系统,所述图像处理子系统被配置成处理随着其中所述光图案在多个图像内移动的时间捕捉到的所述多个图像以计算深度图,所述处理包括基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子像素的计算出的深度数据。
7. 如权利要求6所述的系统,其特征在于,所述图像处理子系统被配置成计算具有比所述传感器集合的原生分辨率更高的子像素分辨率的所述深度图。
8. 一种方法,包括移动投影仪或投影仪组件以将光图案投影到场景,所述移动导致所述光图案随时间相对于所述场景移动,以及使用在不同时间捕捉到的所述场景的图像来进行深度感测,包括处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子像素的计算出的深度数据。
9. 如权利要求8所述的方法,其特征在于,还包括基于所述深度感测来计算深度图,包括组合对应于所述图像的子像素级数据以计算子像素级深度图。
10. 如权利要求9所述的方法,其特征在于,还包括估计所述子像素级数据中的关于无法直接从所述图像中获取的数据的部分。
11. 一种具有指令的计算机可读存储介质,所述指令在被执行时使机器执行如权利要求1-5、8-10中的任一项所述的方法。
12. 一种包括用于执行如权利要求1-5、8-10中的任一项所述的方法的装置的计 算机系统。”
驳回决定中认为:对比文件1公开了独立权利要求1、6、8的全部技术特征,且对比文件1所公开的技术方案与该权利要求所要求保护的技术方案属于同一技术领域,解决了相同的技术问题,并能产生相同的技术效果,因此该权利要求所要求保护的技术方案不具备新颖性。直接引用权利要求1的从属权利要求2包含两个技术方案,其中一个技术方案的附加技术特征被对比文件1公开,另一个技术方案的附加技术特征属于本领域常规技术手段,因此从属权利要求2不具备新颖性/创造性。直接引用权利要求1的从属权利要求3、5的附加技术特征是本领域的公知常识,因此从属权利要求3、5不具备创造性。直接引用权利要求1的从属权利要求的附加技术特征被对比文件1公开,因此从属权利要求5不具备新颖性。直接引用权利要求6的从属权利要求7的附加技术特征被对比文件1公开,因此从属权利要求7不具备新颖性。直接或间接引用权利要求8的从属权利要求9-10的附加技术特征附加技术特征被对比文件1公开,因此从属权利要求9-10不具备新颖性。独立权利要求11-12引用权利要求1-2、4、8-10的方法时,不具备新颖性,引用权利要求3、5的方法时不具备创造性。
申请人微软技术许可有限责任公司(下称复审请求人)对上述驳回决定不服,于2018年10月08日向国家知识产权局提出了复审请求,并对申请文件进行修改,在驳回决定所针对的权利要求书的基础上,在权利要求1中增加技术特征“振动投影仪”,“在所述投影振动的同时将包括点图案的移动的光图案投影到场景”,“其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制”,在权利要求6中增加技术特征“投影仪,其被配置成在所述投影仪正在振动时向场景投影包括点图案的光图案”,“耦合到所述投影仪以随时间通过振动所述投影仪来移动所述光图案的运动机构”,“耦合到所述投影仪以随时间通过振动所述投影仪来移动所述光图案的运动机构”,在权利要求8中增加技术特征“通过振动移动投影仪或投影仪组件来移动所述投影仪或所述投影仪组件以将包括点图案的光图案投影到场景”,“其中所述振动的频率相对于捕捉所述场景的图像的帧率和/或所述点图案中的点密度来控制”。
修改后的权利要求书具体内容如下:
“1. 一种计算具有比包括一个或多个传感器的传感器集合中的每一传感器的分辨率更高的分辨率的深度图的方法,包括:
振动投影仪;
在所述投影振动的同时将包括点图案的移动的光图案投影到场景;
经由所述传感器集合来在不同时间捕捉多个图像,其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制;
处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述移动的光图案的路径中来获取子像素的计算出的深度数据;
估计未获取关于其的计算出的深度数据的任何子像素的深度数据;以及
输出包括每一子像素的深度数据的深度图。
2. 如权利要求1所述的方法,其特征在于,投影所述移动的光图案包括a)将斑点投影到所述场景,或者b)将线图案、色码、角或其他不同形状中的至少一者投影到所述场景中,或者c)振动或以其他方式移动投影仪或投影仪组件,或者a)、b)或c)的任何组合。
3. 如权利要求1所述的方法,其特征在于,还包括改变振动或其他移动参数。
4. 如权利要求1所述的方法,其特征在于,估计所述深度数据包括至少部分地基于其他子像素深度值或特征值来内插子像素数据,或者至少部分地基于对应于原生或更低分辨率图的其他子像素深度值或特征值来内插子像素数据,或两者。
5. 如权利要求1所述的方法,其特征在于,还包括所述移动的图案的一部分投影在所述场景之外,以允许投影移动所导致的移入所述场景。
6. 一种系统,包括:
投影仪,其被配置成在所述投影仪正在振动时向场景投影包括点图案的光图案;
包括被配置成感测来自从所述场景反射的所述光图案的光的至少一个传感器的传感器集合;
耦合到所述投影仪以随时间通过振动所述投影仪来移动所述光图案的运动机构;以及
图像处理子系统,所述图像处理子系统被配置成处理随着其中所述光图案在多个图像内移动的时间捕捉到的所述多个图像以计算深度图,其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制,并且所述处理包括基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子像素的计算出的深度数据。
7. 如权利要求6所述的系统,其特征在于,所述图像处理子系统被配置成计算具有比所述传感器集合的原生分辨率更高的子像素分辨率的所述深度图。
8. 一种方法,包括:
通过振动移动投影仪或投影仪组件来移动所述投影仪或所述投影仪组件以将包括点图案的光图案投影到场景,所述移动导致所述光图案随时间相对于所述场景移动;以及
使用在不同时间捕捉到的所述场景的图像来进行深度感测,包括处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子 像素的计算出的深度数据,其中所述振动的频率相对于捕捉所述场景的图像的帧率和/或所述点图案中的点密度来控制。
9. 如权利要求8所述的方法,其特征在于,还包括基于所述深度感测来计算深度图,包括组合对应于所述图像的子像素级数据以计算子像素级深度图。
10. 如权利要求9所述的方法,其特征在于,还包括估计所述子像素级数据中的关于无法直接从所述图像中获取的数据的部分。
11. 一种具有指令的计算机可读存储介质,所述指令在被执行时使机器执行如权利要求1-5、8-10中的任一项所述的方法。
12. 一种包括用于执行如权利要求1-5、8-10中的任一项所述的方法的装置的计算机系统。”
复审请求人认为:本发明中,对于给定实现移动一般是任意/不可预测的。尽管如此,移动量和振动频率可相对于捕捉图像的帧率和/或点密度来控制(或在固定系统中校准),以使得获得移动点的益处并使其更接近最优,例如特征路径遍历尽可能多的子像素并且帧率使得捕捉到全部或大部分遍历。
经形式审查合格,国家知识产权局于2018年10月17日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
经前置审查,原审查部门认为:对比文件1已经公开使用驱动机构驱动投影仪移动,并且在本申请的实际使用中,其是通过移动位置的方式进行投影的,而不是来回振动;对比文件1公开了可以使用发光二极管的矩阵来产生明暗投影图案,通过控制LED阵列,可以生成要投影的光图案,优选为明暗交替的线;而在三维投影检测中,周期性投影图案可以是多种明暗交替的图形,其中点图案是一种常用的投影图案;权利要求1修改后包括的3个技术方案相对于对比文件1和本领域常规技术手段的结合仍不具备创造性。因而坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019 年06 月12 日向复审请求人发出复审通知书,指出:独立权利要求1的技术方案与对比文件1的区别在于:在所述投影振动的同时将包括点图案的移动的光图案投影到场景;经由所述传感器集合来在不同时间捕捉多个图像,其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制。上述区别特征是本领域的常规技术手段,因此权利要求1相对于对比文件1和本领域常规技术手段的结合不具备创造性。独立本申请权利要求6的技术方案与对比文件1的区别在于:投影仪振动时向场景投影的图案包括点图案;所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制。上述区别特征是本领域的常规技术手段,因此权利要求6相对于对比文件1和本领域常规技术手段的结合不具备创造性。独立权利要求8的技术方案与对比文件1的区别在于:投影仪向场景投影的图案包括点图案;所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制。上述区别特征是本领域的常规技术手段,因此权利要求8相对于对比文件1和本领域常规技术手段的结合不具备创造性。从属权利要求2-5,7,9-10的附加技术特征或被对比文件1公开,或属于本领域常规技术手段,因此当引用的权利要求不具备创造性时,从属权利要求2-5,7,9-10也不具备专利法第22条第3款规定的创造性。
针对上述复审通知书,复审请求人于2019年07月08日提交了意见陈述书,同时提交了权利要求书全文修改替换页,其中在2019年06月12日发出的复审通知书所针对文本的基础上,在独立权利要求1、6、8中增加技术特征“所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素”,修改后的权利要求1、6、8的内容如下:
“1. 一种计算具有比包括一个或多个传感器的传感器集合中的每一传感器的分辨率更高的分辨率的深度图的方法,包括:
振动投影仪;
在所述投影振动的同时将包括点图案的移动的光图案投影到场景,所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素;
经由所述传感器集合来在不同时间捕捉多个图像,其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制;
处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述移动的光图案的路径中来获取子像素的计算出的深度数据;
估计未获取关于其的计算出的深度数据的任何子像素的深度数据;以及
输出包括每一子像素的深度数据的深度图。
6. 一种系统,包括:
投影仪,其被配置成在所述投影仪正在振动时向场景投影包括点图案的光图案;
包括被配置成感测来自从所述场景反射的所述光图案的光的至少一个传感器的传感器集合;
耦合到所述投影仪以随时间通过振动所述投影仪来移动所述光图案的运动机构,所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素;以及
图像处理子系统,所述图像处理子系统被配置成处理随着其中所述光图案在多个图像内移动的时间捕捉到的所述多个图像以计算深度图,其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制,并且所述处理包括基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子像素的计算出的深度数据。
8. 一种方法,包括:
通过振动移动投影仪或投影仪组件来移动所述投影仪或所述投影仪组件以将包括点图案的光图案投影到场景,所述移动导致所述光图案随时间相对于所述场景移动,所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素;以及
使用在不同时间捕捉到的所述场景的图像来进行深度感测,包括处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子像素的计算出的深度数据,其中所述振动的频率相对于捕捉所述场景的图像的帧率和/或所述点图案中的点密度来控制。”
复审请求人认为:对比文件1没有公开“所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素”,并且也不是本领域惯用技术手段,达到获得更好图像解析的效果,因此权利要求具备创造性。
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
(一)审查文本的认定
在复审程序中,复审请求人于2018年10月08日提交复审请求时和2019年07月08日答复复审通知书时提交了权利要求书的全文修改替换页,经审查,所作修改符合专利法第33条和专利法实施细则第60条第1款的规定。因此,本复审决定针对的文本是:复审请求人于2019年07月08日提交的权利要求第1-12项,进入中国国家阶段日2015年10月15日提交的原始申请文件中文译文的说明书第1-71段、说明书附图图1-8、说明书摘要、摘要附图。
(二)关于新颖性
专利法第22条第2款规定:新颖性,是指该发明或者实用新型不属于现有技术;也没有任何单位或者个人就同样的发明或者实用新型在申请日以前向专利局提出过申请,并记载在申请日以后(含申请日) 公布的专利申请文件或者公告的专利文件中。
如果权利要求请求保护的技术方案相比于作为最接近现有技术的对比文件具有区别技术特征,且这些区别特征不属于本领域惯用手段的直接替换,则该权利要求相对于该对比文件具备新颖性。
关于对比文件公开的相关事实的认定
对比文件1相关事实的认定:
对比文件1公开了一种获取物体表面结构的方法,并具体公开了以下技术特征(参见说明书第1页第1行-第20页第27行,权利要求1-10,附图1-2、5-11):本发明涉及一种用于捕获物体表面的表面结构的方法和装置。特别地,捕获的信息应包括关于表面结构的深度分布的信息。所收集的信息是二维的(包括深度方向和一个横向方向)或三维的(包括深度方向和两个横向方向)。在许多情况下,确定物体表面上的点,其中这些点形成表征表面结构的三维点云。本发明的目的是提供一种方法,能够提高深度图的分辨率。方法包括:a)图案源将电磁波图案投射到物体表面,从而在物体的表面形成投射图案;b)相机接收由所述表面反射的投影图案形成第一反射图,其中第一图像作为包括像素的数字图像被记录;c)投影图案在投影方向上横向移动,使得相同的投影图案相比于前次投影,入射在物体表面上的不同位置,其中所述投影图案的移动是由于移动至少部分图案源;d)由相机记录第二次由所述表面反射的图案,形成第二反射图,其中第二图像作为包括像素的数字图像被记录;e)重复步骤c)和d)从而记录对应于不同移位的其他数字位置图像;f)对于第一图像的多个像素,通过评估第一图像、第二图像和其他图像来确定对应像素的对应点的坐标与图案的坐标系中的坐标;g)使用图案源和相机的位置和取向的几何位置关系来确定表面结构。电磁波图案投影仪,包括图案源,将电磁波图案投射到物体表面上。与投影仪相比,相机从不同视角观察物体1的表面。附加光学元件也可以继承在与图案发生器相同的壳体中,例如标准DLP投影仪可以被修改为在其外壳中还包括可移动的镜头,以便移动生成的图案。图6示出了适于移动光学元件移动装置的优选实施例,特别是聚焦透镜。支架23和用于支撑支架23的支架21的结构如图7和8所示。基本思想是支架具有一个用于包括待移动的光学元件的切口,其中,保持器通过整体元件的薄部分连接到保持器支撑件,使得薄部件可以传递保持器支撑件所需的力以支撑保持器,此外,薄的部件或区域可以弹性地变形以允许光学元件的移位。图9a示出相机检测矩阵上四个不同像素位置的图像值。图9a-9d中所示的测量值或图像值由十字或矩形表示。图10显示了一个像素的测量值经模型函数(正弦函数)拟合的结果。包括评估装置(特别是使用相应计算机程序的计算机),该装置适于执行图像的评估,特别是通过将模型拟合到图像值。
具体到本案:
独立权利要求1请求保护一种计算具有比包括一个或多个传感器的传感器集合中的每一传感器的分辨率更高的分辨率的深度图的方法,将本申请权利要求1的技术方案与对比文件1公开的内容相比,对比文件1中公开了“本申请的目标是提供一种方法,能够提高深度图的分辨率”、“相机接收由所述表面反射的投影图案形成第一反射图”、“相机从不同视角观察物体1的表面”,相当于公开了本申请权利要求1中“计算具有比包括一个或多个传感器的传感器集合中的每一传感器的分辨率更高的分辨率的深度图的方法”;对比文件1公开了“标准DLP投影仪可以被修改为在其外壳中还包括可移动的镜头,以便移动生成的图案”,“保持器通过整体元件的薄部分连接到保持器支撑件,使得薄部件可以传递保持器支撑件所需的力以支撑保持器,此外,薄的部件或区域可以弹性地变形以允许光学元件的移动”,由于光学元件的移动是由弹性变形来实现,相当于公开了该投影仪为本申请权利要求1中的“振动投影仪”;对比文件1公开了“c)投影图案在投影方向上横向移动,使得相同的投影图案相比于前次投影,入射在物体表面上的不同位置,其中所述投影图案的移动是由于移动至少部分图案源;d)由相机记录第二次由所述表面反射的图案,形成第二反射图,其中第二图像作为包括像素的数字图像被记录;重复步骤c)和d)从而记录对应于不同移位的其他数字位置图像”,“图9a示出相机检测矩阵上四个不同像素位置的图像值。图9a-9d中所示的测量值或图像值由十字或矩形表示”,并且对比文件1还公开了“本发明涉及一种用于捕获物体表面的表面结构的方法和装置。特别地,捕获的信息应包括关于表面结构的深度分布的信息。所收集的信息是二维的(包括深度方向和一个横向方向)或三维的(包括深度方向和两个横向方向)”,相当于公开了本申请权利要求1中“处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述移动的光图案的路径中来获取子像素的计算出的深度数据”,“估计未获取关于其的计算出的深度数据的任何子像素的深度数据;以及输出包括每一子像素的深度数据的深度图”。
因此,本申请权利要求1的技术方案与对比文件1的区别在于:(1)在所述投影振动的同时将包括点图案的移动的光图案投影到场景;经由所述传感器集合来在不同时间捕捉多个图像,其中所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制;(2)所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素。
即权利要求1与对比文件1存在多个区别技术特征,且这些区别特征不属于本领域惯用手段的直接替换,因此权利要求1相对于对比文件1具备新颖性,引用权利要求1的从属权利要求2-5也具备新颖性。
独立权利要求6请求保护一种系统,本申请权利要求6的技术方案与对比文件1公开的内容相比,对比文件1公开的“标准DLP投影仪可以被修改为在其外壳中还包括可移动的镜头,以便移动生成的图案”,“保持器通过整体元件的薄部分连接到保持器支撑件,使得薄部件可以传递保持器支撑件所需的力以支撑保持器,此外,薄的部件或区域可以弹性地变形以允许光学元件的移动”,由于光学元件的移动是由弹性变形来实现,相当于公开了本申请权利要求6中的“投影仪,其被配置成在所述投影仪正在振动时向场景投影光图案”,“耦合到所述投影仪以随时间通过振动所述投影仪来移动所述光图案的运动机构”;对比文件1公开的“相机接收由所述表面反射的投影图案形成第一反射图”,相当于公开了本申请权利要求6中的“包括被配置成感测来自从所述场景反射的所述光图案的光的至少一个传感器的传感器集合”;对比文件1公开的“f)对于第一图像的多个像素,通过评估第一图像、第二图像和其他图像来确定对应像素的对应点的坐标与图案的坐标系中的坐标;g)使用图案源和相机的位置和取向的几何位置关系来确定表面结构”,“包括评估装置(特别是使用相应计算机程序的计算机),该装置适于执行图像的评估,特别是通过将模型拟合到图像值”,并且对比文件1还公开了“本发明涉及一种用于捕获物体表面的表面结构的方法和装置。特别地,捕获的信息应包括关于表面结构的深度分布的信息。所收集的信息是二维的(包括深度方向和一个横向方向)或三维的(包括深度方向和两个横向方向)”,相当于公开了本申请权利要求6中的“图像处理子系统,述图像处理子系统被配置成处理随着其中所述光图案在多个图像内移动的时间捕捉到的所述多个图像以计算深度图”;对比文件1公开的“c)投影图案在投影方向上横向移动,使得相同的投影图案相比于前次投影,入射在物体表面上的不同位置,其中所述投影图案的移动是由于移动至少部分图案源;d)由相机记录第二次由所述表面反射的图案,形成第二反射图,其中第二图像作为包括像素的数字图像被记录;重复步骤c)和d)从而记录对应于不同移位的其他数字位置图像”, “图9a示出相机检测矩阵上四个不同像素位置的图像值。图9a-9d中所示的测量值或图像值由十字或矩形表示”,相当于公开了本申请权利要求1中“处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述移动的光图案的路径中来获取子像素的计算出的深度数据”,“估计未获取关于其的计算出的深度数据的任何子像素的深度数据;以及输出包括每一子像素的深度数据的深度图”。
因此,本申请权利要求6的技术方案与对比文件1的区别在于:(1)投影仪振动时向场景投影的图案包括点图案;所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制;(2)所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素。
即权利要求6与对比文件1存在多个区别技术特征,且这些区别特征不属于本领域惯用手段的直接替换,因此权利要求1相对于对比文件1具备新颖性,引用权利要求6的从属权利要求7也具备新颖性。
独立权利要求8请求保护一种方法,本申请权利要求8的技术方案与对比文件1公开的内容相比,对比文件1公开了“标准DLP投影仪可以被修改为在其外壳中还包括可移动的镜头,以便移动生成的图案”,“保持器通过整体元件的薄部分连接到保持器支撑件,使得薄部件可以传递保持器支撑件所需的力以支撑保持器,此外,薄的部件或区域可以弹性地变形以允许光学元件的移动”,由于光学元件的移动是由弹性变形来实现,相当于公开了本申请权利要求8中“通过振动移动投影仪或投影仪组件来移动所述投影仪或所述投影仪组件以将光图案投影到场景,所述移动导致所述光图案随时间相对于所述场景移动”;对比文件1公开的“c)投影图案在投影方向上横向移动,使得相同的投影图案相比于前次投影,入射在物体表面上的不同位置,其中所述投影图案的移动是由于移动至少部分图案源;d)由相机记录第二次由所述表面反射的图案,形成第二反射图,其中第二图像作为包括像素的数字图像被记录;e)重复步骤c)和d)从而记录对应于不同移位的其他数字位置图像;f)对于第一图像的多个像素,通过评估第一图像、第二图像和其他图像来确定对应像素的对应点的坐标与图案的坐标系中的坐标;g)使用图案源和相机的位置和取向的几何位置关系来确定表面结构”,“图9a示出相机检测矩阵上四个不同像素位置的图像值。图9a-9d中所示的测量值或图像值由十字或矩形表示”,并且对比文件1还公开了“本发明涉及一种用于捕获物体表面的表面结构的方法和装置。特别地,捕获的信息应包括关于表面结构的深度分布的信息。所收集的信息是二维的(包括深度方向和一个横向方向)或三维的(包括深度方向和两个横向方向)”,相当于公开了本申请权利要求8中“使用在不同时间捕捉到的所述场景的图像来进行深度感测,包括处理所述图像中的至少某一些以便基于哪些子像素位置曾在对应于所述光图案的移动路径中来获取子像素的计算出的深度数据”。
因此,本申请权利要求8的技术方案与对比文件1的区别在于:(1)投影仪向场景投影的图案包括点图案;所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制;(2)所述光图案大于所述场景以使得所述光图案随时间用先前在场景外的一些点来照亮一些子像素。
即权利要求8与对比文件1存在多个区别技术特征,且这些区别特征不属于本领域惯用手段的直接替换,因此权利要求8相对于对比文件1具备新颖性,直接或间接引用权利要求8的从属权利要求9-10也具备新颖性。
独立权利要求11请求保护一种具有指令的计算机可读存储介质,所述指令使机器执行如权利要求1-5,8-10的方法,在权利要求1-5,8-10具备新颖性时,权利要求11也具备新颖性。
独立权利要求12请求保护一种计算机系统,用于执行权利要求1-5,8-10的方法,在权利要求1-5,8-10具备新颖性时,权利要求12也具备新颖性。
(三)关于创造性。
专利法第22条第3款规定:发明的创造性,是指与现有技术相比,该发明有突出的实质性特点和显著的进步
如果权利要求请求保护的技术方案相比于作为最接近现有技术的对比文件具有的区别技术特征,在该对比文件没有给出应用该区别技术特征的技术启示,目前也没有证据证明该区别技术特征是所属领域的公知常识,并且该区别技术特征使得该权利要求具有有益的技术效果,则该权利要求相对于该对比文件具备创造性。
具体到本案:
基于权利要求1与对比文件1的上述区别特征,权利要求1实际解决的技术问题是选择何种投影图案、如何控制振动频率以及提高图像解析效果。
对于上述区别特征(1),首先,本领域技术人员已知,在三维投影检测中,结构光通常可以是点式结构光、线式结构光、面式结构光和编码结构光,并且结构光模式可以通过计算机以像素为单位进行变化与控制,以及根据被测物体的具体情况对结构光模式进行调整也是本领域的常用技术手段(并联机器人视觉技术及应用,孔令富 等 机械工业出版社 20120930,正文第131页第9章9.1节-第135页第1段),因此选择点图案作为投影图案,是本领域技术人员根据实际测量需要即可做出的常规选择;
其次,在对比文件1公开的方法中,投影仪向物体表面投射图案后,由相机拍照获取图像,移动投影图案后,相机再次拍照获取图像,并多次重复移动和拍照的动作,通过尽可能多的获取图像,从而得到更高分辨率的深度图,因此对比文件1中公开了拍摄图像的帧率以及图案移动的频率共同影响获取图像的数量和分辨率;而当投影图案为点图案时,点密度和图案移动的频率也同样影响获取图像的数量和分辨率,这是本领域技术人员容易想到的。因此,使所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制,这是本领域技术人员根据实际需要即可采用的常规技术手段。
对于上述区别特征(2),合议组认为:首先,对比文件1公开了移动投影图案,获取多帧图像,从而尽可能多的获得移动点的路径,从而获得较高的分辨率这一发明构思;但是,对比文件1中并没有进一步公开具体的技术手段,如何从提高图像解析效果的角度来获得高分辨率,即对比文件1中没有公开上述区别特征(2),并且也没有给出如何利用这一区别技术特征再进一步提高图像解析效果的技术启示,而本领域技术人员在采用对比文件1所公开的技术方案能够获得较高分辨率以提高图像解析效果的基础上,也没有动机想到采用这一区别技术特征来进一步提高图像的解析效果;其次,目前也没有证据证明这一技术特征是本领域的常规技术手段;并且,投影的点图案区域大于场景,则随着时间的移动,先前在场景外的点可照亮一些子像素,能够获得更好的图像解析效果。
基于以上分析,本领域技术人员不能在对比文件1的基础上结合本领域的公知常识得到权利要求1的技术方案,权利要求1的技术方案对于本领域技术人员而言是非显而易见的,因此,权利要求1相对于目前的证据具备专利法第22条第3款规定的创造性。
从属权利要求2-5直接或间接引用了权利要求1,在权利要求1具备创造性的前提下,从属权利要求2-5也具备专利法第22条第3款规定的创造性。
基于权利要求6与对比文件1的上述区别特征,权利要求6实际解决的技术问题是选择何种投影图案、如何控制振动频率以及提高图像解析效果。
对于上述区别特征(1),首先,本领域技术人员已知,在三维投影检测中,结构光通常可以是点式结构光、线式结构光、面式结构光和编码结构光,并且结构光模式可以通过计算机以像素为单位进行变化与控制,根据被测物体的具体情况对结构光模式进行调整是本领域的常用技术手段(并联机器人视觉技术及应用,孔令富 等 机械工业出版社 20120930,正文第131页第9章9.1节-第135页第1段),因此选择点图案作为投影仪振动时的投影图案,是本领域技术人员根据实际测量需要即可做出的常规选择;
其次,在对比文件1公开的方法中,投影仪向物体表面投射图案后,由相机拍照获取图像,移动投影图案后,相机再次拍照获取图像,并多次重复移动和拍照的动作,通过尽可能多的获取图像,从而得到更高分辨率的深度图,因此对比文件1中公开了拍摄图像的帧率以及图案移动的频率共同影响获取图像的数量和分辨率;而当投影图案为点图案时,点密度和图案移动的频率也同样影响获取图像的数量和分辨率。因此,使所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制,这是本领域技术人员根据实际需要即可采用的常规技术手段。
对于上述区别特征(2),基于与权利要求1类似的理由,本领域技术人员没有动机将上述区别特征(2)应用于对比文件1中以提高提高图像的解析效果;目前也没有证据证明这一技术特征是本领域的常规技术手段;并且采用上述区别特征(2),能够获得更好的图像解析效果。
因此,本领域技术人员不能在对比文件1的基础上结合本领域的公知常识得到权利要求6的技术方案,权利要求6的技术方案对于本领域技术人员而言是非显而易见的,因此,权利要求6相对于目前的证据具备专利法第22条第3款规定的创造性。
从属权利要求7引用了权利要求6,在权利要求6具备创造性的前提下,从属权利要求7也具备专利法第22条第3款规定的创造性。
基于权利要求8与对比文件1的上述区别特征,权利要求8实际解决的技术问题是选择何种投影图案、如何控制振动频率以及提高图像解析效果。
对于上述区别特征(1),首先,本领域技术人员已知,在三维投影检测中,结构光通常可以是点式结构光、线式结构光、面式结构光和编码结构光,并且结构光模式可以通过计算机以像素为单位进行变化与控制,根据被测物体的具体情况对结构光模式进行调整是本领域的常用技术手段(并联机器人视觉技术及应用,孔令富 等 机械工业出版社 20120930,正文第131页第9章9.1节-第135页第1段),因此选择点图案作为投影仪振动时的投影图案,是本领域技术人员根据实际测量需要即可做出的常规选择;
其次,在对比文件1公开的方法中,投影仪向物体表面投射图案后,由相机拍照获取图像,移动投影图案后,相机再次拍照获取图像,并多次重复移动和拍照的动作,通过尽可能多的获取图像,从而得到更高分辨率的深度图,因此对比文件1中已经公开了拍摄图像的帧率以及图案移动的频率共同影响获取图像的数量和分辨率;而当投影图案为点图案时,点密度和图案移动的频率也同样影响获取图像的数量和分辨率。因此,使所述振动的频率相对于捕捉所述多个图像的帧率和/或所述点图案中的点密度来控制,这是本领域技术人员根据实际需要即可做出的常规技术手段。
对于上述区别特征(2),基于与权利要求1类似的理由,本领域技术人员没有动机将上述区别特征(2)应用于对比文件1中以提高提高图像的解析效果;目前也没有证据证明这一技术特征是本领域的常规技术手段;并且采用上述区别特征(2),能够获得更好的图像解析效果。
因此,本领域技术人员不能在对比文件1的基础上结合本领域的公知常识得到权利要求8的技术方案,权利要求8的技术方案对于本领域技术人员而言是非显而易见的,因此,权利要求8相对于目前的证据具备专利法第22条第3款规定的创造性。
从属权利要求9-10直接或间接引用了权利要求8,在权利要求8具备创造性的前提下,从属权利要求9-10也具备专利法第22条第3款规定的创造性。
独立权利要求11请求保护一种具有指令的计算机可读存储介质,所述指令使机器执行如权利要求1-5,8-10的方法,在权利要求1-5,8-10具备创造性时,权利要求11也具备创造性。
独立权利要求12请求保护一种计算机系统,用于执行权利要求1-5,8-10的方法,在权利要求1-5,8-10具备创造性时,权利要求12也具备创造性。
综上所述,本申请权利要求1-12相对于目前的证据具备专利法第22条第3款规定的创造性。
三、决定
撤销国家知识产权局于2018年06月20日对本申请作出的驳回决定。由国家知识产权局专利实质审查部门在本复审请求审查决定所依据文本的基础上对本发明专利申请继续进行审查。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。