发明创造名称：使用光度立体来进行3D环境建模
外观设计名称：
决定号：200935
决定日：2020-01-16
委内编号：1F267994
优先权日：2012-12-28
申请（专利）号：201380068406.7
申请日：2013-12-26
复审请求人：微软技术许可有限责任公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：杨继爽
合议组组长：丁文勍
参审员：梁艳
国际分类号：G06T17/00,G06T19/00,G06T7/00,G01S17/89
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案相对于作为最接近现有技术的对比文件存在多个区别技术特征，但这些区别技术特征均属于本领域的常用技术手段，则该项权利要求请求保护的技术方案不具有突出的实质性特点，因而不具备创造性。
全文：
本复审请求涉及申请号为201380068406.7，名称为“使用光度立体来进行3D环境建模”的PCT发明专利申请（下称本申请）。本申请的申请人为微软技术许可有限责任公司，申请日为2013年12月26日，优先权日为2012年12月28日，进入中国国家阶段日为2015年06月26日，公开日为2015年12月23日。
经实质审查，国家知识产权局实质审查部门于2018年08月22日发出驳回决定，以本申请的权利要求1-8相对于对比文件1（“A Hand-held Photometric Stereo Camera for 3-D Modeling”，Tomoaki Higo 等，《2009 IEEE 12th International Conference on Computer Vision》，第1234-1241页，2009年10月02日）以及本领域常用技术手段的结合不具备专利法第22条第3款规定的创造性为由驳回了本申请，驳回的主要理由为：（1）权利要求1与对比文件1相比，区别技术特征为：拍摄环境为无计划方式移动的环境，所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像。上述区别技术特征为本领域常用技术手段，因此权利要求1不具备创造性。（2）从属权利要求2的附加技术特征、从属权利要求3的部分附加技术特征被对比文件1公开，从属权利要求3的其余部分附加技术特征为本领域常用技术手段，因此在其引用的权利要求不具备创造性的情况下，权利要求2-3不具备创造性。（3）权利要求4与对比文件1相比，区别技术特征为：拍摄环境为无计划方式移动的环境；所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像。上述区别技术特征为本领域常用技术手段，因此权利要求4不具备创造性。（4）从属权利要求5的附加技术特征为本领域常用技术手段，因此在其引用的权利要求不具备创造性的情况下，权利要求5不具备创造性。（5）权利要求6要求保护一种扩增现实系统，包括如权利要求4的3D环境建模系统。由于权利要求4不具备创造性，且权利要求6中限定的其他技术特征为本领域常用技术手段，因此权利要求6不具备创造性。（6）权利要求7请求保护一种包括用于执行如权利要求1-3中任一项所述的方法的装置的计算机系统，由于权利要求1-3均不具备创造性，因此权利要求7不具备创造性。（7）权利要求8请求保护一种具有指令的计算机可读存储介质，所述指令被执行时使机器执行如权利要求1-3中任一项所述的方法。由于权利要求1-3均不具备创造性，且权利要求8中限定的其他技术特征为本领域常用技术手段，因此权利要求8不具备创造性。驳回决定所依据的文本为：2018年05月14日提交的权利要求第1-8项；2015年06月26日进入中国国家阶段时提交的国际申请文件的中文译文的说明书第1-17页、说明书附图第1-10页、说明书摘要、摘要附图。驳回决定所针对的权利要求书内容如下：
“1. 一种3D环境建模系统处的方法，包括：
接收在指定光照条件下由在环境中以无计划方式移动的移动环境捕捉设备捕捉的图像，其中所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；
在处理器处获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相机的相机姿势；以及
使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示。
2. 如权利要求1所述的方法，其特征在于，所述精细细节的表示包括能够描绘纹理化表面的分辨率下的表面法线估计。
3. 如权利要求1或权利要求2中所述的方法，其特征在于，包括使用所述环境中的表面的所述表示来或者渲染描绘所述表面的至少一部分的图像或者将虚拟图像叠加到所述环境上。
4. 一种3D环境建模系统，包括：
被安排成接收在指定光照条件下由在环境中以无计划方式移动的移动环境捕捉设备捕捉的图像的输入接口，其中所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；
被安排成获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相机的相机姿势的处理器；以及
被安排成使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示的光度立体系统。
5. 如权利要求4所述的系统，其特征在于，所述光度立体系统是至少部分地使用选自以下中的一者或多者的硬件逻辑来实现的：现场可编程门阵列、程序专用的集成电路、程序专用的标准产品、片上系统、复杂可编程逻辑器件，图形处理单元。
6. 一种扩增现实系统，包括如权利要求4所要求保护的3D环境建模系统，所述扩增现实系统被安排成将虚拟图形叠加在现实世界上，所述虚拟图形将所述环境中的表面的精细细节的表示纳入考虑。
7. 一种包括用于执行如权利要求1-3中的任一项所述的方法的装置的计算机系统。
8. 一种具有指令的计算机可读存储介质，所述指令在被执行时使机器执行如权利要求1-3中的任一项所述的方法。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年12月06日向国家知识产权局提出了复审请求，并提交了意见陈述书和权利要求书的全文修改替换页（共包括权利要求第1-8项），具体修改为：在独立权利要求1中增加说明书中特征“使得经细化的3D模型的至少一部分被投影到真实空间中”，在独立权利要求4中增加说明书中特征“被安排成使得经细化的3D模型的至少一部分被投影到真实空间中的投影引擎”。
复审请求人在提出复审请求时新修改的权利要求1、4内容如下：
“1. 一种3D环境建模系统处的方法，包括：
接收在指定光照条件下由在环境中以无计划方式移动的移动环境捕捉设备捕捉的图像，其中所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；
在处理器处获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相机的相机姿势；
使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示；以及
使得经细化的3D模型的至少一部分被投影到真实空间中。”
“4. 一种3D环境建模系统，包括：
被安排成接收在指定光照条件下由在环境中以无计划方式移动的移动环境捕捉设备捕捉的图像的输入接口，其中所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；
被安排成获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相 机的相机姿势的处理器；
被安排成使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示的光度立体系统；以及
被安排成使得经细化的3D模型的至少一部分被投影到真实空间中的投影引擎。”
复审请求人认为：在本发明的技术方案中，移动环境捕捉设备捕捉图像和数据。所捕捉的数据被3D环境建模系统用来细化并任选地还创建该环境的3D模型，其中当移动环境捕捉设备捕捉所捕捉的设备时在该环境中移动。渲染系统能够使用该3D模型和相关联的数据来在显示设备或在游戏系统或扩增现实系统处渲染图像。上述技术特征，即将经细化的3D模型投影到真实空间中以实现更逼真的增强现实效果，并未被对比文件1公开且并非是本领域常用技术手段或公知常识。
经形式审查合格，国家知识产权局于2018年12月14日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年09月02日向复审请求人发出复审通知书，复审通知书中指出：权利要求1-8相对于对比文件1和本领域常用技术手段的结合不具备专利法第22条第3款规定的创造性。针对复审请求意见，合议组认为：将3D模型投影到真实空间中是增强现实的实现方式，给用户提供更加真实的增强现实体验效果是增强现实不断改进的方向。因此基于此改进方向，本领域技术人员有动机提高3D模型的分辨率，即有动机采取经细化后的3D模型投影到真实空间中。在对比文件1公开了一种细化的3D模型的基础上，将对比文件1公开的经细化的3D模型应用于增强现实的场景中是本领域技术人员容易想到并实现的，属于本领域常用技术手段。
复审请求人于2019年09月27日提交了意见陈述书和权利要求书的全文修改替换页（共包括权利要求第1-8项），具体修改为：将独立权利要求1中特征“使得经细化的3D模型的至少一部分被投影到真实空间中”修改为“通过将图像投影到现实物体上来修改现实物体的外观，其中所述图像被预先校准以将几何形状、真实颜色和光照纳入考虑”，将独立权利要求4中特征“被安排成使得经细化的3D模型的至少一部分被投影到真实空间中的投影引擎”修改为“被安排成通过将图像投影到现实物体上来修改现实物体的外观的投影引擎，其中所述图像被预先校准以将几何形状、真实颜色和光照纳入考虑”。复审请求人认为：本申请中3D建模还能够在图像被预先校准以将几何形状、真实颜色和光照纳入考虑的情况下将图像投影到现实物体上来修改现实物体的外观。对比文件1并未公开这一技术特征，该特征也并非本领域常用技术手段。因此，修改后的权利要求具备创造性。
复审请求人在答复复审通知书时新修改的权利要求1、4的内容如下：
“1. 一种3D环境建模系统处的方法，包括：
接收在指定光照条件下由在环境中以无计划方式移动的移动环境捕捉设备捕捉的图像，其中所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；
在处理器处获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相机的相机姿势；
使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示；以及
通过将图像投影到现实物体上来修改现实物体的外观，其中所述图像被预先校准以将几何形状、真实颜色和光照纳入考虑。”
“4. 一种3D环境建模系统，包括：
被安排成接收在指定光照条件下由在环境中以无计划方式移动的移动环境捕捉设备捕捉的图像的输入接口，其中所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；
被安排成获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相机的相机姿势的处理器；
被安排成使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示的光度立体系统；以及
被安排成通过将图像投影到现实物体上来修改现实物体的外观的投影引擎，其中所述图像被预先校准以将几何形状、真实颜色和光照纳入考虑。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以依法作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人在答复复审通知书时提交了权利要求书的全文修改替换页，经审查，所作修改符合专利法实施细则第61条第1款和专利法第33条的规定。本复审请求审查决定所针对的文本是：2019年09月27日提交的权利要求第1-8项；2015年06月26日进入中国国家阶段时提交的国际申请文件的中文译文的说明书第1-17页、说明书附图第1-10页、说明书摘要、摘要附图。
2、专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案相对于作为最接近现有技术的对比文件存在多个区别技术特征，但这些区别技术特征均属于本领域的常用技术手段，则该项权利要求请求保护的技术方案不具有突出的实质性特点，因而不具备创造性。
本复审请求审查决定引用的对比文件与驳回决定和复审通知书中引用的对比文件相同，即：
对比文件1：“A Hand-held Photometric Stereo Camera for 3-D Modeling”，Tomoaki Higo 等，《2009 IEEE 12th International Conference on Computer Vision》，第1234-1241页，2009年10月02日。
2.1 权利要求1要求保护一种3D环境建模系统处的方法，对比文件1是最接近的现有技术，其公开了一种利用手持光度立体相机进行3D建模的方法，并具体公开了以下内容（参见第1235页左栏倒数第2段到第1238页左栏第3段，图2、7-8）：所述手持光度立体相机为包括固定于相机上的LED点光源。当相机定标后，采用具有常亮LED的相机从不同角度拍摄场景的多幅图像（相当于接收在指定光照条件下由在环境中的移动环境捕捉设备捕捉的图像）。获得这些图像后，步骤2-3确定相机外参数以及光源位置，具体为使用bundler方法根据图像序列本身估计相机的位置、方向（相当于在处理器处获得用于捕捉所接收的图像的所述移动环境捕捉设备处的至少一个相机的相机姿势）。步骤4：根据相机的位置、光源位置、和m幅不同视角拍摄的图像，利用多视角光度约束估计深度图和法线图（法线即精细细节的表示，相当于使用所述图像、相机姿势以及光照条件之间的关系来计算所述环境中的表面的精细细节的表示）。步骤5：优化估计的表面形状：融合恢复的密集深度图和法线图得到最终的表面。
由此可见，权利要求1的技术方案与对比文件1公开的内容相比，区别技术特征为：（1）相机以无计划方式移动；（2）所述图像在无槽可用且所述图像比存储器中的现有最差图像更好的情况下替换所述现有最差图像；（3）通过将图像投影到现实物体上来修改现实物体的外观，其中所述图像被预先校准以将几何形状、真实颜色和光照纳入考虑。基于上述区别技术特征可以确定，权利要求1实际要解决的技术问题是：如何操作相机以便于获取场景多角度照片、如何在有限存储空间保存数据、如何渲染更逼真的增强现实场景。
针对上述区别技术特征（1），为便于获得拍摄环境多角度的图片，使得拍摄设备在拍摄环境中随机移动而获取各个角度的图片，是本领域的常用技术手段。
针对上述区别技术特征（2），为了节约存储空间以及保证数据访问速度，存储有限数量的有效图像是本领域的常用手段。而为了保证照片的质量，当有质量更好的照片时用其替换掉最差照片是本领域的常用手段。
针对上述区别技术特征（3），将虚拟图像投影到现实物体上进行叠加显示是增强现实的实现方式，给用户提供更加真实的增强现实体验效果是增强现实不断改进的方向。基于此改进方向，本领域技术人员有动机提高虚拟图像的分辨率，即有动机采取经优化后的虚拟图像投影到现实物体上。由于对比文件1公开的经优化的虚拟图像体现了现实物体表面的细节信息，故将对比文件1公开的经优化的图像投影到真实空间中对应的现实物体上以改善现实物体的外观细节进而呈现更逼真的增强现实场景，是本领域技术人员容易想到并实现的。同时，为逼真反映场景的外观，将场景的颜色、几何形状、所处环境的光照条件等参数对经细化处理的表面图像进行校准以全面还原场景真实的属性参数，是本领域的常用技术手段。
因此，在对比文件1的基础上结合本领域常用技术手段得到该权利要求的技术方案对本领域技术人员而言是显而易见的，权利要求1不具有突出的实质性特点，不具备专利法第22条第3款规定的创造性。
2.2权利要求2对权利要求1作了进一步限定，其附加技术特征被对比文件1公开（参见第1235页右栏第1段、第1236段左栏倒数第2段到1237段左栏第4段、第1238段左栏第1-3段，图2、7-8）：步骤4：根据相机的位置、光源位置、和m幅不同视角拍摄的图像，利用多视角光度约束估计深度图和法线图。步骤5：优化估计的表面形状：融合恢复的密集深度图和法线图得到最终的表面，如图7-8所示，最终表面的渲染结果包含了高光和纹理表面（相当于所述精细细节的表示包括能够描绘纹理化表面的分辨率下的表面法线估计）。因此，当其引用的权利要求不具备创造性时，权利要求2也不具备专利法第22条第3款规定的创造性。
2.3 权利要求3对权利要求1或权利要求2作了进一步限定，针对其附加技术特征，对比文件1公开了以下特征（参见第1235页右栏第1段、第1236段左栏倒数第2段到1237段左栏第4段、第1238段左栏第1-3段，图2、7-8）：步骤4：根据相机的位置、光源位置、和m幅不同视角拍摄的图像，利用多视角光度约束估计深度图和法线图。步骤5：优化估计的表面形状：融合恢复的密集深度图和法线图得到最终的表面，如图7-8所示，最终表面的渲染结果包含了高光和纹理表面（相当于使用所述环境中的表面的所述表示来渲染描绘所述表面的至少一部分的图像）。在对比文件1公开了融合深度图、法线图恢复最终表面图的基础上，本领域技术人员容易想到将法线图或反射率图（如图7-8）直接叠加到场景中，属于本领域常用技术手段。因此，当其引用的权利要求不具备创造性时，权利要求3也不具备专利法第22条第3款规定的创造性。
2.4 权利要求4为与权利要求1的方法对应的装置，基于与评述权利要求1相同的理由，权利要求4不具备专利法第22条第3款规定的创造性。
2.5权利要求5对权利要求4作了进一步限定，针对其附加技术特征，采用FPGA、集成电路、片上系统、图形处理单元等计算部件实现光度立体系统是本领域的常用技术手段。因此，当其引用的权利要求不具备创造性时，权利要求5也不具备专利法第22条第3款规定的创造性。
2.6 权利要求6请求保护一种扩增现实系统，其包括权利要求4的3D环境建模系统。在对比文件1公开融合深度图、法线图恢复最终表面的基础上，将法线图、反射率图或最终的渲染图直接叠加到现实场景中是本领域的常用技术手段。因此，结合对权利要求4的评述，权利要求6不具备专利法第22条第3款规定的创造性。
2.7 权利要求7、8分别请求保护一种计算机系统和一种具有指令的计算机可读存储介质，所述计算机系统和计算机可读存储介质用于实现权利要求1-3中任一项方法。根据对比文件1公开的利用手持光度立体相机进行3D建模的方法可知，其为实现于计算机系统中并利用计算机程序实现的3D建模方法，相当于公开了一种计算机系统和一种具有指令的计算机可读存储介质用于实现方法。因此，结合对权利要求1-3的评述，权利要求7、8不具备专利法第22条第3款规定的创造性。
3、对复审请求人相关意见的评述
对于复审请求人在答复复审通知书时的意见，合议组认为：
首先，对比文件1公开了根据相机的位置、光源位置、和不同视角拍摄的图像，利用多视角光度约束估计深度图和法线图，融合恢复的密集深度图和法线图得到最终优化估计的表面。其中法线即物体表面精细细节的表示，如渲染结果中的高光和纹理表面细节。其次，将虚拟图像投影到现实物体上进行叠加显示是增强现实的实现方式，为提高用户的增强现实体验效果，将经细化处理的虚拟图像投影到现实空间中是增强现实领域的常规应用。经细化处理的虚拟图像，如：法线图，能够刻画物体的精细外观表面，故为提高增强现实场景的逼真性，将经细化处理的图像投影到现实物体上以改善现实物体的外观进而提高增强现实场景的逼真性，是本领域技术人员容易想到的。同时，利用场景的颜色、几何形状、光照条件等参数对虚拟图像进行预先校准以获得逼真的场景是本领域的常用技术手段。
因此，复审请求人的意见不具备说服力，合议组不予支持。
基于上述事实和理由，合议组依法作出如下审查决定。
三、决定
维持国家知识产权局于2018年08月22日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
