发明创造名称：一个或多个卫星设备的主动立体显像
外观设计名称：
决定号：182816
决定日：2019-06-16
委内编号：1F268883
优先权日：2013-04-15，2013-06-21
申请（专利）号：201480021519.6
申请日：2014-04-14
复审请求人：微软技术许可有限责任公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：王芳
合议组组长：黄智
参审员：吴丽君
国际分类号：H04N13/02,G01B11/22,G06T7/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求与作为最接近的现有技术的对比文件相比存在区别特征，该区别特征未被其他对比文件所公开，也没有证据表明其属于本领域的公知常识，同时采用该区别特征使该权利要求的技术方案获得了有益的技术效果，则该权利要求相对于作为最接近的现有技术的对比文件和其他对比文件以及本领域的公知常识的结合具备专利法第22条第3款规定的创造性。
全文：
本复审请求审查决定涉及申请号为201480021519.6，名称为“一个或多个卫星设备的主动立体显像”的发明专利申请（下称本申请）。申请人为微软技术许可有限责任公司。本申请的申请日为2014年04月14日，最早优先权日为2013年04月15日，国际申请进入中国国家阶段日为2015年10月15日，公开日为2016年01月13日。
经实质审查，国家知识产权局实质审查部门于2018年09月04日发出驳回决定，驳回了本申请。驳回决定所针对的审查文本为：2017年11月28日提交的权利要求第1-13项、说明书第0001-0081段（即第1-15页）；国际申请进入中国国家阶段日2015年10月15日提交的原始国际申请文件中文译文的说明书附图第1-8页、说明书摘要和摘要附图。
驳回决定中引用了如下对比文件：
对比文件1，CN102385237A，公开日为2012年03月21日；
对比文件2，CN102027434A，公开日为2011年04月20日；
对比文件3，US2002136444A1，公开日为2002年09月26日。
驳回决定的具体理由为：（1）权利要求1与对比文件1相比，其区别在于：权利要求1中一个设备为卫星设备，另一设备为基站，在基站处确定卫星设备的姿态信息，并基于所述图像相关数据和所述姿态信息增强色彩数据或深度数据和色彩数据两者。然而，上述区别特征是本领域的公知常识。因此，权利要求1相对于对比文件1和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。（2）权利要求2的部分附加技术特征被对比文件3公开，其余附加技术特征是本领域的公知常识，因此，权利要求2相对于对比文件1、对比文件3和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。（3）权利要求3和4的附加技术特征被对比文件1公开，因此，在其引用的权利要求1不具备创造性的基础上，权利要求3和4也不具备专利法第22条第3款规定的创造性。（4）权利要求5的部分附加技术特征被对比文件1公开，部分附加技术特征被对比文件3公开，其余附加技术特征是本领域的公知常识，因此，权利要求5相对于对比文件1、对比文件3和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。（5）权利要求6与对比文件1相比，其区别在于：权利要求6中第一设备为卫星设备。然而，上述区别特征是本领域的公知常识。因此，权利要求6相对于对比文件1和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。（6）权利要求7和8的附加技术特征被对比文件1公开，因此，在其引用的权利要求6不具备创造性的基础上，权利要求7和8也不具备专利法第22条第3款规定的创造性。（7）权利要求9的附加技术特征被对比文件2公开，因此，权利要求9相对于对比文件1、对比文件2和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。（8）权利要求10与对比文件1相比，其区别在于：权利要求10中第二设备为卫星设备。然而，上述区别特征是本领域的公知常识。因此，权利要求10相对于对比文件1和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。（9）权利要求11是与方法权利要求10一一对应的装置权利要求，参见对权利要求10的评述，权利要求11中相应的功能特征也都被对比文件1公开或属于公知常识，而采用相应的装置完成相应的功能是本领域的常用技术手段。因此，权利要求11不具备专利法第22条第3款规定的创造性。（10）参见对权利要求1-5的评述，如权利要求1-5中任一项所述的方法已被对比文件1或对比文件3公开或属于公知常识，对比文件1还公开了权利要求13的其它技术特征，因此，权利要求13不具备专利法第22条第3款规定的创造性。
驳回决定所针对的权利要求书内容如下：
“1. 一种用于主动立体显像的方法，包括在基站处确定卫星设备的姿态信息，在所述基站处从所述卫星设备接收图像相关数据，以及至少部分地基于所述卫星设备的所述图像相关数据和所述姿态信息来增强第一组深度数据或色彩数据或这两者。
2. 如权利要求1所述的方法，其特征在于，还包括在所述基站处捕捉至少一个图像，以及使用所述至少一个图像来确定所述卫星设备的姿态信息。
3. 如权利要求1所述的方法，其特征在于，增强所述第一组深度数据包括用对应于所述图像相关数据的至少一部分的其他深度数据来替换所述第一组中的至少一些数据。
4. 如权利要求1所述的方法，其特征在于，增强第一组深度数据或色彩数据或两者包括与对应于所述图像相关数据的第二深度图相关联地维护对应于所述第一组深度数据的第一深度图。
5. 如权利要求1所述的方法，其特征在于，还包括计算至少一些深度数据，所述计算包括处理由所述卫星设备捕捉到的一个或多个主动照明图像，或者处理由所述卫星设备捕捉到的一个或多个主动照明立体图像，或者处理由所述卫星设备捕捉到的一个或多个主动照明图像以及处理由所述卫星设备捕捉到的一个或多个主动照明立体图像两者，所述处理基于从所述卫星设备发出的至少一些主动照明。
6. 一种用于主动立体显像的系统，包括基站，所述基站被配置成确定卫星设备的 姿态信息，捕捉一个或多个图像，从所述卫星设备接收图像相关数据，以及至少部分地基于所述姿态信息和所述图像相关数据来计算深度图。
7. 如权利要求6所述的系统，其特征在于，还包括向场景投影光图案的投影仪，并且其中由所述基站捕捉到的所述一个或多个图像包括主动照明图像数据，其中所述深度图至少部分地基于所述姿态信息、所述图像相关数据和所述主动照明图像数据来计算。
8. 如权利要求6所述的系统，其特征在于，所述基站被配置成从所述基站捕捉到的所述一个或多个图像中确定所述姿态信息。
9. 如权利要求6所述的系统，其特征在于，所述卫星设备被配置成计算深度数据并将所述深度数据作为所述图像相关数据的至少一部分传递至所述基站。
10. 一种用于主动立体显像的方法，包括：
在基站处从卫星设备接收图像相关数据；
在所述基站处捕捉主动照明立体图像；
确定对应于所述卫星设备的姿态信息；以及
处理所述主动照明立体图像的至少一部分以便从所述基站的视角确定通过对应于所述图像相关数据的深度信息和所述姿态信息来增强的深度图。
11. 一种用于主动立体显像的系统，包括：
用于在基站处从卫星设备接收图像相关数据的装置；
用于在所述基站处捕捉主动照明立体图像的装置；
用于确定对应于所述卫星设备的姿态信息的装置；以及
用于处理所述主动照明立体图像的至少一部分以便从所述基站的视角确定通过对应于所述图像相关数据的深度信息和所述姿态信息来增强的深度图的装置。
12. 一种用于主动立体显像的计算机系统，包括用于执行如权利要求1-5中的任一项所述的方法的装置。
13. 一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-5、10中的任一项所述的方法。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年12月17日向国家知识产权局提出了复审请求，没有提交修改文件。复审请求人在意见陈述中主要认为：（1）对比文件1中的控制电路和传感器实际上是同一设备内的不同组件，这不同于本申请中的通过基站和卫星设备这两个单独的设备来进一步增强深度数据，并且对比文件1仅仅公开了包含两个独立传感器的单个设备（即3D深度相机），且并未揭示或暗示权利要求1中的通过基站和卫星设备这两个单独的设备来进一步增强深度数据的技术方案。（2）基线距离指的是两条尺寸线之间的距离，这不同于本申请中的姿态信息。（3）本申请解决如下技术问题“在现有的主动深度感测技术中，投影仪投影诸如红外（IR）点或线等光图案以照亮被感测的场景。投影仪可使用消耗1W数量级的功率的激光器，这意味着投影仪消耗太多的功率以至于实际上无法被构建到诸如智能电话或平板等小型卫星设备中，而是改为通常作为插入墙壁插座的设备的一部分。在大多数场景中，捕捉立体图像的相机被安排为感测诸如可能相对较大的房间之类的相对较大空间。结果，诸如脸部等距离内的物体只出现在相对较小数量的相机像素中。足够的细节和/或准确的深度估计由此在诸如脸部识别等许多应用需要时不可用”，但对比文件1中的技术方案无法解决上述技术问题。综上，本申请权利要求1-13具备专利法第22条第3款规定的创造性。
经形式审查合格，国家知识产权局于2018年12月26日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
经前置审查，实质审查部门坚持驳回决定，具体理由为：对比文件1公开了（参见说明书第[0047]段）：该至少一个控制电路可由同样在深度相机系统外部的处理器来提供，诸如处理器192或任何其他处理器。“深度相机外部”即公开了控制电路和传感器两者属于不同的设备即两个单独的设备，因此对比文件1公开了基于两个单独的设备来进一步增强深度数据的技术方案。而具体设置两个单独的设备为基站和卫星设备，是本领域的公知常识。再者，姿态信息是一个比较宽泛的概念，位置也是姿态信息的一种表示方式，而对比文件1中“传感器与照明器之间的基线距离”是关于传感器的位置表示，因此，对比文件1公开了传感器的姿态信息。目前的权利要求1并没有完整的记载出其技术方案，基站、卫星设备在本申请中的具体含义，基站、卫星设备与投影仪、相机等之间的关系都没有在权利要求1中体现，甚至都没有提及投影仪和相机，因而其并不能解决申请人所声称的“投影仪消耗太多的功率以至于无法被构建到诸如智能电话或平板等小型卫星设备中”以及“足够的细节和/或准确的深度估计由此在诸如脸部识别等许多应用需要时不可用”的技术问题。因此，坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年03月29日向复审请求人发出复审通知书。复审通知书所针对的审查文本与驳回决定针对的审查文本相同，为：2017年11月28提交的权利要求第1-13项、说明书第1-15页；国际申请进入中国国家阶段日2015年10月15日提交的原始国际申请文件中文译文的说明书附图第1-8页、说明书摘要和摘要附图。复审通知书中所引用的对比文件为驳回决定引用的对比文件1，即：对比文件1，CN102385237A，公开日为2012年03月21日。复审通知书中指出：权利要求1、3-5、12、13相对于对比文件1和本领域惯用手段的结合不具备专利法第22条第3款规定的创造性，并针对复审请求人陈述的意见进行了相应答复。
复审请求人于2019年04月28日针对上述复审通知书提交了意见陈述书，同时提交了权利要求书的全文修改替换页，其中：将权利要求1的技术特征“在基站处确定卫星设备的姿态信息”修改为“在基站处捕捉至少一个图像并且使用所述至少一个图像来确定卫星设备的姿态信息”以及将权利要求1的技术特征“至少部分地基于所述卫星设备的所述图像相关数据和所述姿态信息来增强第一组深度数据或色彩数据或这两者”修改为“至少部分地基于所述卫星设备的所述图像相关数据和所述姿态信息来增强所述至少一个图像以输出第一组深度数据或色彩数据或这两者”，从而形成新的权利要求1；删除了权利要求2；将权利要求6的技术特征“以及至少部分地基于所述姿态信息和所述图像相关数据来计算深度图”修改为“以及至少部分地基于所述姿态信息和所述图像相关数据来增强所述一个或多个图像以计算深度图”，从而形成新的权利要求5；将权利要求10的技术特征“处理所述主动照明立体图像的至少一部分以便从所述基站的视角确定通过对应于所述图像相关数据的深度信息和所述姿态信息来增强的深度图”修改为“通过对应于所述图像相关数据的深度信息和所述姿态信息来增强所述主动照明立体图像的至少一部分以便从所述基站的视角确定深度图”，从而形成新的权利要求9；将权利要求11的技术特征“用于处理所述主动照明立体图像的至少一部分以便从所述基站的视角确定通过对应于所述图像相关数据的深度信息和所述姿态信息来增强的深度图的装置”修改为“用于通过对应于所述图像相关数据的深度信息和所述姿态信息来增强所述主动照明立体图像的至少一部分以便从所述基站的视角确定深度图的装置”，从而形成新的权利要求10；对权利要求的编号进行了适应性修改。
复审请求人在意见陈述中主要认为：（1）尽管对比文件1中的处理器和成像组件可被认为是两个单独的设备，但处理器本身不获取任何图像，而是通过成像组件来获得图像，由此，对比文件1中的处理器32和成像组件22并非相当于本申请中的基站和卫星设备。（2）对比文件1中仅仅公开了基于深度相机系统20内的各个传感器和照明器的经优化的布局并通过三角测量来生成针对某一对象的经优化的深度图像，这与本申请中的基于卫星设备的姿态信息和来自卫星设备的图像相关数据来增强基站自己捕捉到的图像有着显著的区别。因此，本申请的权利要求1-12具备专利法第22条第3款规定的创造性。
复审请求人在2019年04月28日答复复审通知书时提交的权利要求书内容如下：
“1. 一种用于主动立体显像的方法，包括：
在基站处捕捉至少一个图像并且使用所述至少一个图像来确定卫星设备的姿态信息，
在所述基站处从所述卫星设备接收图像相关数据，以及
至少部分地基于所述卫星设备的所述图像相关数据和所述姿态信息来增强所述至少一个图像以输出第一组深度数据或色彩数据或这两者。
2. 如权利要求1所述的方法，其特征在于，增强所述第一组深度数据包括用对应于所述图像相关数据的至少一部分的其他深度数据来替换所述第一组中的至少一些数据。
3. 如权利要求1所述的方法，其特征在于，增强第一组深度数据或色彩数据或两者包括与对应于所述图像相关数据的第二深度图相关联地维护对应于所述第一组深度数据的第一深度图。
4. 如权利要求1所述的方法，其特征在于，还包括计算至少一些深度数据，所述计算包括处理由所述卫星设备捕捉到的一个或多个主动照明图像，或者处理由所述卫星设备捕捉到的一个或多个主动照明立体图像，或者处理由所述卫星设备捕捉到的一个或多个主动照明图像以及处理由所述卫星设备捕捉到的一个或多个主动照明立体图像两者，所述处理基于从所述卫星设备发出的至少一些主动照明。
5. 一种用于主动立体显像的系统，包括基站，所述基站被配置成确定卫星设备的 姿态信息，捕捉一个或多个图像，从所述卫星设备接收图像相关数据，以及至少部分地基于所述姿态信息和所述图像相关数据来增强所述一个或多个图像以计算深度图。
6. 如权利要求5所述的系统，其特征在于，还包括向场景投影光图案的投影仪，并且其中由所述基站捕捉到的所述一个或多个图像包括主动照明图像数据，其中所述深度图至少部分地基于所述姿态信息、所述图像相关数据和所述主动照明图像数据来计算。
7. 如权利要求5所述的系统，其特征在于，所述基站被配置成从所述基站捕捉到的所述一个或多个图像中确定所述姿态信息。
8. 如权利要求5所述的系统，其特征在于，所述卫星设备被配置成计算深度数据并将所述深度数据作为所述图像相关数据的至少一部分传递至所述基站。
9. 一种用于主动立体显像的方法，包括：
在基站处从卫星设备接收图像相关数据；
在所述基站处捕捉主动照明立体图像；
确定对应于所述卫星设备的姿态信息；以及
通过对应于所述图像相关数据的深度信息和所述姿态信息来增强所述主动照明立体图像的至少一部分以便从所述基站的视角确定深度图。
10. 一种用于主动立体显像的系统，包括：
用于在基站处从卫星设备接收图像相关数据的装置；
用于在所述基站处捕捉主动照明立体图像的装置；
用于确定对应于所述卫星设备的姿态信息的装置；以及
用于通过对应于所述图像相关数据的深度信息和所述姿态信息来增强所述主动照明立体图像的至少一部分以便从所述基站的视角确定深度图的装置。
11. 一种用于主动立体显像的计算机系统，包括用于执行如权利要求1-4中的任一项所述的方法的装置。
12. 一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-4、9中的任一项所述的方法。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人于2019年04月28日答复复审通知书时提交了权利要求书的全文修改替换页，本复审请求审查决定所依据的审查文本为：2019年04月28提交的权利要求第1-12项；2017年11月28日提交的说明书第1-15页；国际申请进入中国国家阶段日2015年10月15日提交的原始国际申请文件中文译文的说明书附图第1-8页、说明书摘要和摘要附图。经审查，上述文本的修改之处符合专利法第33条的规定。
（二）关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定所引用的对比文件与驳回决定引用的对比文件相同，即：
对比文件1，CN102385237A，公开日为2012年03月21日；
对比文件2，CN102027434A，公开日为2011年04月20日；
对比文件3，US2002136444A1，公开日为2002年09月26日。
1. 权利要求1请求保护一种用于主动立体显像的方法，对比文件1公开了基于结构化光和立体视觉的深度相机以及用于处理深度相机系统中的图像数据的方法（相当于用于主动立体显像的方法），并具体公开了（说明书第0028段-第0134段，附图1-9）：
深度相机系统20可包括成像组件22（成像组件22相当于卫星设备），成像组件22包括照明器26、第一图像传感器(S1)24、第二图像传感器(S2)29、以及可见色彩相机28。传感器S1和S2可被用于捕捉场景的深度图像。照明器26是用结构化光图案来照明视野内的人类目标或其他对象的投影仪。传感器24和29处于与该照明器的不同基线距离（基线距离相当于卫星设备的姿态信息）。例如，传感器24位于与照明器26的距离BL1处，并且传感器29位于与照明器26的距离BL2处。传感器与照明器之间的距离可按照传感器与照明器的中心点(诸如光轴)之间的距离来表示。可通过将传感器放置在相对接近于照明器来优化该传感器以供查看视野内较近的对象，而可通过将另一传感器放置在相对远离照明器来优化该另一传感器以供查看视野内较远的对象。例如，在BL2＞BL1的情况下，传感器24可被认为是针对较短程成像来优化，而传感器29可被认为是针对较长程成像来优化的。
深度相机系统20可包括与3-D深度相机进行通信的处理器32。处理器32可被认为是至少一个控制电路，该至少一个控制电路可由同样在深度相机系统外部的处理器来提供，诸如处理器192或任何其他处理器。使用软件33，该至少一个控制电路可通过将由传感器24获取的像素数据的第一帧与由照明器26发射的结构化光的图案相比较来导出对象的第一结构化光深度图，并且通过将由传感器29获取的像素数据的第二帧与该结构化光的图案相比较来导出对象的第二结构化光深度图。该至少一个控制电路可使用软件35来导出基于第一和第二结构化光深度图的合并的深度图。
所述方法包括：
步骤700包括用结构化光的图案来照明视野。
步骤702和704可至少部分地并发执行。步骤702包括检测第一传感器处所反射的红外光，以获取像素数据的第一帧。步骤704包括检测第二传感器处所反射的红外光，以获取像素数据的第二帧（步骤702和步骤704的组合相当于从所述卫星设备接收图像相关数据）。
步骤706包括处理来自两个帧的像素数据以导出合并的深度图。具体地，在步骤720，对于像素数据的第一帧中的每一像素，通过匹配结构化光的图案来尝试确定照明帧中的对应点。在步骤722，提供了第一结构化光深度图。这一深度图可标识第一帧中的每一像素以及对应的深度值。在步骤724，对于像素数据的第二帧中的每一像素，尝试确定照明帧中的对应点。在步骤726，提供了第二结构化光深度图。这一深度图可标识第二帧中的每一像素以及对应的深度值。在步骤728，结构化光深度图被合并，以导出图7A的步骤706的合并的深度图。合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。合并深度值的一个方法基于传感器与照明器之间的基线距离来将权重分配给帧的深度值，使得在基线距离较大时被分配指示较高置信度的较高权重，而在基线距离较小时被分配指示较低置信度的较低权重，这么做是由于较大的基线距离产生较准确的深度值。
步骤708包括基于合并的深度图来提供对应用程序的控制输入。
由此可见，权利要求1所要求保护的技术方案与对比文件1所公开的内容相比，其区别在于：在基站处捕捉至少一个图像并且使用所述至少一个图像来确定卫星设备的姿态信息，至少部分地基于所述卫星设备的所述图像相关数据和所述姿态信息来增强所述至少一个图像以输出第一组深度数据或色彩数据或这两者。基于上述区别特征，本申请实际所要解决的技术问题是：如何增强基站处获得的图像数据。
对于上述区别特征：首先，本申请与对比文件1采用的系统架构是不一样的。对比文件1中的处理器32仅仅作为一个控制电路，其本身并不用于捕捉图像，其增强的是图像传感器捕捉的图像，而本申请中的基站用于捕捉图像，其增强的是其本身所捕捉的图像，因此，对比文件1中的处理器32并不相当于本申请的基站。其次，本申请与对比文件1执行的方法流程是不一样的，本申请利用从卫星设备接收的图像相关数据以及利用卫星设备的姿态信息，来增强基站捕捉的图像，其中卫星设备的姿态信息是通过基站捕捉的图像确定的，而对比文件1是处理来自两个图像传感器的像素数据以导出合并的深度图，合并的方法可以基于图像传感器与照明器之间的基线距离来分配权重，并且对比文件1没有公开基线距离的获取方式，即本申请是利用一个装置捕捉的图像和该装置的姿态信息增强另一个装置捕捉的图像，而对比文件1是利用一个装置增强该装置捕捉的图像。最后，本申请与对比文件1所要解决的技术问题和所要达到的技术效果是不一样的，本申请所要解决的技术问题是“在大多数场景中，捕捉立体图像的相机被安排为感测诸如可能相对较大的房间之类的相对较大空间。结果，诸如脸部等距离内的物体只出现在相对较小数量的相机像素中。足够的细节和/或准确的深度估计由此在诸如脸部识别等许多应用需要时不可用”，其所要达到的技术效果是“改进深度感测，提供更多图像细节和/或估计姿态”，即在现有的主动深度感测中，捕捉立体图像的相机无法感知到更多的细节，因此本申请利用其他设备捕捉的图像来为捕捉立体图像的相机所捕获的图像提供更多的细节，而对比文件1所要解决的技术问题是“通常，深度相机包括照明视野的照明器、以及感测来自视野的光以形成图像的图像传感器。然而，各种挑战由于诸如光照条件、表面纹理和色彩、以及遮挡可能性等变量而存在”，其所要达到的技术效果是“获取更准确的深度图同时降低遮挡的可能性”，即利用现有的深度相机获取深度数据时存在图像不准确以及遮挡的问题，而对比文件1合并深度相机系统的两个图像传感器捕捉的图像从而获得更准确的深度图同时减低遮挡。
此外，也没有证据表明上述区别特征属于本领域的公知常识。进一步的，上述区别特征使得权利要求1的技术方案产生了如下有益的技术效果：改进深度感测，提供更多图像细节。
综上，权利要求1相对于对比文件1和本领域惯用手段的结合对本领域技术人员而言是非显而易见的，权利要求1具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
此外，对比文件3公开了一种摄影测绘校正和测量系统，其完全不涉及利用一个装置捕捉的图像和该装置的姿态信息增强另一个装置捕捉的图像，因此无法给出将上述区别特征应用于对比文件1以解决上述技术问题的启示。因此，本领域技术人员没有动机或获得启示，根据上述现有技术或其任意组合显而易见的得到权利要求1的技术方案，权利要求1具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
2. 从属权利要求2-4均直接引用权利要求1，在权利要求1具备创造性的基础上，从属权利要求2-4也具备专利法第22条第3款规定的创造性。
3. 权利要求5请求保护一种用于主动立体显像的系统，对比文件1公开了基于结构化光和立体视觉的深度相机以及用于处理深度相机系统（相当于用于主动立体显像的系统）中的图像数据的方法，并具体公开了（说明书第0028段-第0134段，附图1-9）：
深度相机系统20可包括成像组件22（成像组件22相当于卫星设备），成像组件22包括照明器26、第一图像传感器(S1)24、第二图像传感器(S2)29、以及可见色彩相机28。传感器S1和S2可被用于捕捉场景的深度图像。照明器26是用结构化光图案来照明视野内的人类目标或其他对象的投影仪。传感器24和29处于与该照明器的不同基线距离（基线距离相当于卫星设备的姿态信息）。例如，传感器24位于与照明器26的距离BL1处，并且传感器29位于与照明器26的距离BL2处。传感器与照明器之间的距离可按照传感器与照明器的中心点(诸如光轴)之间的距离来表示。可通过将传感器放置在相对接近于照明器来优化该传感器以供查看视野内较近的对象，而可通过将另一传感器放置在相对远离照明器来优化该另一传感器以供查看视野内较远的对象。例如，在BL2＞BL1的情况下，传感器24可被认为是针对较短程成像来优化，而传感器29可被认为是针对较长程成像来优化的。
深度相机系统20可包括与3-D深度相机进行通信的处理器32。处理器32可被认为是至少一个控制电路，该至少一个控制电路可由同样在深度相机系统外部的处理器来提供，诸如处理器192或任何其他处理器。使用软件33，该至少一个控制电路可通过将由传感器24获取的像素数据的第一帧与由照明器26发射的结构化光的图案相比较来导出对象的第一结构化光深度图，并且通过将由传感器29获取的像素数据的第二帧与该结构化光的图案相比较来导出对象的第二结构化光深度图。该至少一个控制电路可使用软件35来导出基于第一和第二结构化光深度图的合并的深度图。
所述方法包括：
步骤700包括用结构化光的图案来照明视野。
步骤702和704可至少部分地并发执行。步骤702包括检测第一传感器处所反射的红外光，以获取像素数据的第一帧。步骤704包括检测第二传感器处所反射的红外光，以获取像素数据的第二帧（步骤702和步骤704的组合相当于从所述卫星设备接收图像相关数据）。
步骤706包括处理来自两个帧的像素数据以导出合并的深度图。具体地，在步骤720，对于像素数据的第一帧中的每一像素，通过匹配结构化光的图案来尝试确定照明帧中的对应点。在步骤722，提供了第一结构化光深度图。这一深度图可标识第一帧中的每一像素以及对应的深度值。在步骤724，对于像素数据的第二帧中的每一像素，尝试确定照明帧中的对应点。在步骤726，提供了第二结构化光深度图。这一深度图可标识第二帧中的每一像素以及对应的深度值。在步骤728，结构化光深度图被合并，以导出图7A的步骤706的合并的深度图。合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。合并深度值的一个方法基于传感器与照明器之间的基线距离来将权重分配给帧的深度值，使得在基线距离较大时被分配指示较高置信度的较高权重，而在基线距离较小时被分配指示较低置信度的较低权重，这么做是由于较大的基线距离产生较准确的深度值。
步骤708包括基于合并的深度图来提供对应用程序的控制输入。
由此可见，权利要求5所要求保护的技术方案与对比文件1所公开的内容相比，其区别在于：基站，所述基站被配置成确定卫星设备的姿态信息，捕捉一个或多个图像，至少部分地基于所述姿态信息和所述图像相关数据来增强所述一个或多个图像以计算深度图。基于上述区别特征，本申请实际所要解决的技术问题是：如何增强基站处获得的图像数据。
对于上述区别特征：首先，本申请与对比文件1采用的系统架构是不一样的。对比文件1中的处理器32仅仅作为一个控制电路，其本身并不用于捕捉图像，其增强的是图像传感器捕捉的图像，而本申请中的基站用于捕捉图像，其增强的是其本身所捕捉的图像，因此，对比文件1中的处理器32并不相当于本申请的基站。其次，本申请与对比文件1执行的方法流程是不一样的，本申请利用从卫星设备接收的图像相关数据以及利用卫星设备的姿态信息，来增强基站捕捉的图像，其中卫星设备的姿态信息是通过基站捕捉的图像确定的，而对比文件1是处理来自两个图像传感器的像素数据以导出合并的深度图，合并的方法可以基于图像传感器与照明器之间的基线距离来分配权重，并且对比文件1没有公开基线距离的获取方式，即本申请是利用一个装置捕捉的图像和该装置的姿态信息增强另一个装置捕捉的图像，而对比文件1是利用一个装置增强该装置捕捉的图像。最后，本申请与对比文件1所要解决的技术问题和所要达到的技术效果不是一样的，本申请所要解决的技术问题是“在大多数场景中，捕捉立体图像的相机被安排为感测诸如可能相对较大的房间之类的相对较大空间。结果，诸如脸部等距离内的物体只出现在相对较小数量的相机像素中。足够的细节和/或准确的深度估计由此在诸如脸部识别等许多应用需要时不可用”，其所要达到的技术效果是“改进深度感测，提供更多图像细节和/或估计姿态”，即在现有的主动深度感测中，捕捉立体图像的相机无法感知到更多的细节，因此本申请利用其他设备捕捉的图像来为捕捉立体图像的相机所捕获的图像提供更多的细节，而对比文件1所要解决的技术问题是“通常，深度相机包括照明视野的照明器、以及感测来自视野的光以形成图像的图像传感器。然而，各种挑战由于诸如光照条件、表面纹理和色彩、以及遮挡可能性等变量而存在”，其所要达到的技术效果是“获取更准确的深度图同时降低遮挡的可能性”，即利用现有的深度相机获取深度数据时存在图像不准确以及遮挡的问题，而对比文件1合并深度相机系统的两个图像传感器捕捉的图像从而获得更准确的深度图同时减低遮挡。
此外，也没有证据表明上述区别特征属于本领域的公知常识。进一步的，上述区别特征使得权利要求5的技术方案产生了如下有益的技术效果：改进深度感测，提供更多图像细节。
综上，权利要求5相对于对比文件1和本领域惯用手段的结合对本领域技术人员而言是非显而易见的，权利要求5具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
此外，对比文件2公开了一种具有集成摄像头的控制器以及和交互式应用相接口的方法，对比文件3公开了一种摄影测绘校正和测量系统，它们完全不涉及利用一个装置捕捉的图像和该装置的姿态信息增强另一个装置捕捉的图像，因此无法给出将上述区别特征应用于对比文件1以解决上述技术问题的启示。因此，本领域技术人员没有动机或获得启示，根据上述现有技术或其任意组合显而易见的得到权利要求5的技术方案，权利要求5具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
4. 从属权利要求6-8均直接引用权利要求5，在权利要求5具备创造性的基础上，从属权利要求6-8也具备专利法第22条第3款规定的创造性。
5. 权利要求9请求保护一种用于主动立体显像的方法，对比文件1公开了基于结构化光和立体视觉的深度相机以及用于处理深度相机系统中的图像数据的方法（相当于用于主动立体显像的方法），并具体公开了（说明书第0028段-第0134段，附图1-9）：
深度相机系统20可包括成像组件22（成像组件22相当于卫星设备），成像组件22包括照明器26、第一图像传感器(S1)24、第二图像传感器(S2)29、以及可见色彩相机28。传感器S1和S2可被用于捕捉场景的深度图像。照明器26是用结构化光图案来照明视野内的人类目标或其他对象的投影仪。传感器24和29处于与该照明器的不同基线距离（基线距离相当于卫星设备的姿态信息）。例如，传感器24位于与照明器26的距离BL1处，并且传感器29位于与照明器26的距离BL2处。传感器与照明器之间的距离可按照传感器与照明器的中心点(诸如光轴)之间的距离来表示。可通过将传感器放置在相对接近于照明器来优化该传感器以供查看视野内较近的对象，而可通过将另一传感器放置在相对远离照明器来优化该另一传感器以供查看视野内较远的对象。例如，在BL2＞BL1的情况下，传感器24可被认为是针对较短程成像来优化，而传感器29可被认为是针对较长程成像来优化的。
深度相机系统20可包括与3-D深度相机进行通信的处理器32。处理器32可被认为是至少一个控制电路，该至少一个控制电路可由同样在深度相机系统外部的处理器来提供，诸如处理器192或任何其他处理器。使用软件33，该至少一个控制电路可通过将由传感器24获取的像素数据的第一帧与由照明器26发射的结构化光的图案相比较来导出对象的第一结构化光深度图，并且通过将由传感器29获取的像素数据的第二帧与该结构化光的图案相比较来导出对象的第二结构化光深度图。该至少一个控制电路可使用软件35来导出基于第一和第二结构化光深度图的合并的深度图。
所述方法包括：
步骤700包括用结构化光的图案来照明视野。
步骤702和704可至少部分地并发执行。步骤702包括检测第一传感器处所反射的红外光，以获取像素数据的第一帧。步骤704包括检测第二传感器处所反射的红外光，以获取像素数据的第二帧（步骤702和步骤704的组合相当于从卫星设备接收图像相关数据）。
步骤706包括处理来自两个帧的像素数据以导出合并的深度图。具体地，在步骤720，对于像素数据的第一帧中的每一像素，通过匹配结构化光的图案来尝试确定照明帧中的对应点。在步骤722，提供了第一结构化光深度图。这一深度图可标识第一帧中的每一像素以及对应的深度值。在步骤724，对于像素数据的第二帧中的每一像素，尝试确定照明帧中的对应点。在步骤726，提供了第二结构化光深度图。这一深度图可标识第二帧中的每一像素以及对应的深度值。在步骤728，结构化光深度图被合并，以导出图7A的步骤706的合并的深度图。合并可基于不同方法，包括涉及不加权平均、加权平均、准确性测量和/或置信度测量的方法。合并深度值的一个方法基于传感器与照明器之间的基线距离来将权重分配给帧的深度值，使得在基线距离较大时被分配指示较高置信度的较高权重，而在基线距离较小时被分配指示较低置信度的较低权重，这么做是由于较大的基线距离产生较准确的深度值。
步骤708包括基于合并的深度图来提供对应用程序的控制输入。
由此可见，权利要求9所要求保护的技术方案与对比文件1所公开的内容相比，其区别在于：在所述基站处捕捉主动照明立体图像；确定对应于所述卫星设备的姿态信息；以及通过对应于所述图像相关数据的深度信息和所述姿态信息来增强所述主动照明立体图像的至少一部分以便从所述基站的视角确定深度图。基于上述区别特征，本申请实际所要解决的技术问题是：如何增强基站处获得的图像数据。
对于上述区别特征：首先，本申请与对比文件1采用的系统架构是不一样的。对比文件1中的处理器32仅仅作为一个控制电路，其本身并不用于捕捉图像，其增强的是图像传感器捕捉的图像，而本申请中的基站用于捕捉图像，其增强的是其本身所捕捉的图像，因此，对比文件1中的处理器32并不相当于本申请的基站。其次，本申请与对比文件1执行的方法流程是不一样的，本申请利用从卫星设备接收的图像相关数据以及利用卫星设备的姿态信息，来增强基站捕捉的图像，其中卫星设备的姿态信息是通过基站捕捉的图像确定的，而对比文件1是处理来自两个图像传感器的像素数据以导出合并的深度图，合并的方法可以基于图像传感器与照明器之间的基线距离来分配权重，并且对比文件1没有公开基线距离的获取方式，即本申请是利用一个装置捕捉的图像和该装置的姿态信息增强另一个装置捕捉的图像，而对比文件1是利用一个装置增强该装置捕捉的图像。最后，本申请与对比文件1所要解决的技术问题和所要达到的技术效果不是一样的，本申请所要解决的技术问题是“在大多数场景中，捕捉立体图像的相机被安排为感测诸如可能相对较大的房间之类的相对较大空间。结果，诸如脸部等距离内的物体只出现在相对较小数量的相机像素中。足够的细节和/或准确的深度估计由此在诸如脸部识别等许多应用需要时不可用”，其所要达到的技术效果是“改进深度感测，提供更多图像细节和/或估计姿态”，即在现有的主动深度感测中，捕捉立体图像的相机无法感知到更多的细节，因此本申请利用其他设备捕捉的图像来为捕捉立体图像的相机所捕获的图像提供更多的细节，而对比文件1所要解决的技术问题是“通常，深度相机包括照明视野的照明器、以及感测来自视野的光以形成图像的图像传感器。然而，各种挑战由于诸如光照条件、表面纹理和色彩、以及遮挡可能性等变量而存在”，其所要达到的技术效果是“获取更准确的深度图同时降低遮挡的可能性”，即利用现有的深度相机获取深度数据时存在图像不准确以及遮挡的问题，而对比文件1合并深度相机系统的两个图像传感器捕捉的图像从而获得更准确的深度图同时减低遮挡。
此外，也没有证据表明上述区别特征属于本领域的公知常识。进一步的，上述区别特征使得权利要求9的技术方案产生了如下有益的技术效果：改进深度感测，提供更多图像细节。
综上，权利要求9相对于对比文件1和本领域惯用手段的结合对本领域技术人员而言是非显而易见的，权利要求9具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
此外，对比文件2公开了一种具有集成摄像头的控制器以及和交互式应用相接口的方法，对比文件3公开了一种摄影测绘校正和测量系统，它们完全不涉及利用一个装置捕捉的图像和该装置的姿态信息增强另一个装置捕捉的图像，因此无法给出将上述区别特征应用于对比文件1以解决上述技术问题的启示。因此，本领域技术人员没有动机或获得启示，根据上述现有技术或其任意组合显而易见的得到权利要求9的技术方案，权利要求9具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
6. 装置权利要求10与方法权利要求9相对应，由于方法权利要求9具备创造性，因此装置权利要求10也具备专利法第22条第3款规定的创造性。
7. 权利要求11请求保护一种用于主动立体显像的计算机系统，包括用于执行如权利要求1-4中的任一项所述的方法的装置。由于权利要求1-4具备创造性，因此，权利要求11也具备专利法第22条第3款规定的创造性。
8. 权利要求12请求保护一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-4、9中的任一项所述的方法。由于权利要求1-4、9具备创造性，因此，权利要求12也具备专利法第22条第3款规定的创造性。
三、决定
撤销国家知识产权局于2018年09月04日对本申请作出的驳回决定。由国家知识产权局实质审查部门以下述文本为基础继续进行审批程序：
复审请求人于2019年04月28日提交的权利要求第1-12项；
复审请求人于2017年11月28日提交的说明书第1-15页；
复审请求人于2015年10月15日提交的说明书附图第1-8页；
复审请求人于2015年10月15日提交的说明书摘要；
复审请求人于2015年10月15日提交的摘要附图。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
