发明创造名称:针对视频透视扩增现实将3D空间信息转变为屏幕对准信息
外观设计名称:
决定号:188194
决定日:2019-08-29
委内编号:1F251257
优先权日:2012-06-26
申请(专利)号:201380031874.7
申请日:2013-05-24
复审请求人:高通股份有限公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:孙艳
合议组组长:赵小宁
参审员:王昆
国际分类号:G06T15/20,G06T19/00,G06T11/60
外观设计分类号:
法律依据:专利法第22条第3款
决定要点:如果一项权利要求相对于作为最接近的现有技术的对比文件存在某区别技术特征,该区别技术特征未被其他对比文件公开,也不属于本领域公知常识,现有技术中亦未给出应用上述区别技术特征以获得所述权利要求的技术方案的技术启示,并且上述区别技术特征的引入使得该权利要求的技术方案具有有益的技术效果,则该权利要求相对于上述对比文件和公知常识的结合具备创造性。
全文:
本复审请求涉及申请号为201380031874.7,名称为“针对视频透视扩增现实将3D空间信息转变为屏幕对准信息”的发明专利申请(下称本申请)。申请人为高通股份有限公司。本申请的申请日为2013年05月24日,优先权日为2012年06月26日,进入中国国家阶段日为2014年12月17日,公开日为2015年02月25日。
经实质审查,国家知识产权局原审查部门于2018年02月08日发出驳回决定,以权利要求1-12不具备专利法第22条第3款规定的创造性为由驳回了本申请。驳回决定中引用以下文件:
对比文件1:US 2011/0310087A1,公开日为2011年12月22日;
对比文件2:Nadia Magnenat Thalmann等,“Virtual Worlds and Augmented Reality in Cultural Heritage Applications”, Recording, Modeling and Visualization of Cultural Heritage, 第419-430页,公开日为2006年01月31日。
驳回的具体理由为:权利要求1与对比文件1的区别在于:(1)对比文件1未明确公开权利要求1所限定的使用模型视图矩阵和投影矩阵来实现扩增信息在对象上的显示,其实际解决的技术问题是以矩阵的形式描述模型、实现投影。(2)对比文件1未公开权利要求1根据Ml与MZ以及Pl与PZ之间的内插确定转变的每一帧的转变矩阵Mx和Px,并利用Mx和Px显示扩增信息;其实际解决的技术问题是如何利用关键帧的视图和投影矩阵生成过渡的每一帧的扩增信息显示。然而上述区别(1)被对比文件2公开,区别(2)为本领域的惯用手段。因此权利要求1不具备创造性。从属权利要求2-4的附加技术特征均为本领域的惯用手段,因而权利要求2-4也不具备创造性。基于与权利要求1-4类似的理由,权利要求5-8、9-12也不具备创造性。
驳回决定所依据的文本为:进入中国国家阶段日2014年12月17日提交的说明书第1-70段、说明书附图图1-8、说明书摘要、摘要附图;2017年07月25日提交的权利要求第1-12项。
驳回决定所针对的权利要求书如下:
“1. 一种用于将空间对准信息转变为屏幕对准信息的方法,其包括:
在移动装置上显示所关注对象;
确定与所述所关注对象相关联的扩增信息,包含模型视图M1矩阵和投影P1矩阵;
使用所述M1和P1矩阵在所述所关注对象的图像的顶部上显示所述扩增信息;
计算第二模型视图M2矩阵和第二投影P2矩阵,其中所述M2和P2矩阵表示所述扩增信息的所要最终位置;
估计用于转变的帧的数目;
针对所述转变的每一帧确定转变矩阵Mx和转变矩阵Px,其中确定所述转变矩阵Mx和Px分别基于M1与M2以及P1与P2之间的内插;
使用所述Mx和Px矩阵显示每一帧中的所述扩增信息;
使用所述M2和P2矩阵显示最终帧;以及
执行与所述所关注对象相关联的应用。
2. 根据权利要求1所述的方法,其中所述内插选自由线性、加速度、减速度和曲线组成的方法的群组。
3. 根据权利要求1所述的方法,进一步包括显示对应于所述所关注对象的视频补丁的扩增信息。
4. 根据权利要求1所述的方法,进一步包括显示对应于所述所关注对象的视频补丁和扩增的α混合融合的扩增信息。
5. 一种用于将空间对准信息转变为屏幕对准信息的设备,其包括:
移动装置,其包括:
图形显示器,其经配置以显示所关注对象;以及
处理器,其经配置以:
在所述移动装置上显示所述所关注对象
确定包含模型视图M1矩阵和投影P1矩阵的扩增信息,所述扩增信息与所 述所关注对象相关联;
使用所述M1和P1矩阵在所述所关注对象的图像的顶部上显示所述扩增信息;
计算第二模型视图M2矩阵和第二投影P2矩阵,其中所述M2和P2矩阵表示所述扩增信息的所要最终位置;
估计用于转变的帧的数目;
针对所述转变的每一帧确定转变矩阵Mx和转变矩阵Px,其中确定所述转变矩阵Mx和Px分别基于M1与M2以及P1与P2之间的内插;
使用所述转变矩阵Mx和Px显示每一帧中的所述扩增信息;
使用所述M2和P2矩阵显示最终帧;且
执行与所述所关注对象相关联的应用。
6. 根据权利要求5所述的设备,其中,所述内插选自由线性、加速度、减速度和曲线组成的方法的群组。
7. 根据权利要求5所述的设备,其中所述处理器进一步经配置以显示对应于所述所关注对象的视频补丁的扩增信息。
8. 根据权利要求5所述的设备,其中所述处理器进一步经配置以显示对应于所述所关注对象的视频补丁和扩增的α混合融合的扩增信息。
9. 一种用于将空间对准信息转变为屏幕对准信息的设备,包括:
用于在移动装置上显示所关注对象的装置;
用于确定与所述所关注对象相关联的扩增信息的装置,该扩增信息包含模型视图M1矩阵和投影P1矩阵;
用于使用所述M1和P1矩阵在所述所关注对象的图像的顶部上显示所述扩增信息的装置;
用于计算第二模型视图M2矩阵和第二投影P2矩阵的装置,其中所述M2和P2矩阵表示所述扩增信息的所要最终位置;
用于估计用于转变的帧的数目的装置;
用于针对所述转变的每一帧确定转变矩阵Mx和转变矩阵Px的装置,其中确定 所述转变矩阵Mx和Px分别基于M1与M2以及P1与P2之间的内插;
用于使用所述Mx和Px矩阵显示每一帧中的所述扩增信息的装置;
用于使用所述M2和P2矩阵显示最终帧的装置;以及
用于执行与所述所关注对象相关联的应用的装置。
10. 根据权利要求9所述的设备,所述内插选自由线性、加速度、减速度和曲线组成的方法的群组。
11. 根据权利要求9所述的设备,其进一步包括用于显示对应于所述所关注对象的视频补丁的扩增信息的装置。
12. 根据权利要求9所述的设备,其进一步包括用于显示对应于所述所关注对象的视频补丁与扩增的α混合融合的扩增信息的装置。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年05月08日向国家知识产权局提出了复审请求,没有修改申请文件。复审请求人认为:驳回决定中重新确定的技术问题是不恰当的,根据本申请背景技术和发明内容的记载,本申请要解决的问题是:AR信息通常过于详细以致当移动装置在AR模式中时用户不能与之交互,并且通常难以确定哪一目标对象与经扩增内容相关联。本申请包含上述区别技术特征的技术方案被用于将3D空间信息转变为屏幕对准信息从而解决传统应用中的上述问题。而对比文件1中,扩增覆盖在相机视图和地图视图之间的转变是用于提供相机视图中的真实世界元素和地图视图中的元素之间的视觉联系从而帮助清楚地告知用户该用户在地图视图中的取向。进而,对比文件1中的扩增覆盖在相机视图和地图视图之间的转变并不能等同于权利要求1中的扩增信息在最初位置到所需要的最终位置之间的转变。对比文件1具备解决上述问题的意识,也无法给出应用区别技术特征的技术启示;虽然对比文件2提到了模型视图矩阵和投影矩阵,然而对比文件2并没说明如何利用模型视图矩阵和投影矩阵以将3D空间信息转变为屏幕对准信息从而解决本发明所解决的上述技术问题。
经形式审查合格,国家知识产权局于2018年05月14日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为:(1)申请人进一步认为对比文件1不能解决本申请说明书中声称的技术问题,是不具有说服力的。对比文件1公开了在三维目标上覆盖显示标识的技术方案,标识的正确添加公开了扩增信息在屏幕显示位置的确定,对比文件1还公开了在不同显示画面间的连续动画显示。扩增信息的对准显示解决了与本申请相同的难以确定扩增信息与目标对象的关联关系的技术问题,达到了精确指示目标的技术效果。(2)参见驳回决定对区别技术特征的认定,对比文件1仅未明确公开权利要求1如何实现扩增信息的对准计算,然而对比文件2公开了区别中的模型视图矩阵和投影矩阵的使用,本领域技术人员也有动机使用此公知的计算机图形学计算方式来实现三维模型的对准和动画中过渡帧的计算。因而坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月22日向复审请求人发出复审通知书,复审通知书中引用与驳回决定中相同的对比文件,通知书指出:权利要求1与对比文件1的区别技术特征为:(1)使用模型视图矩阵和投影矩阵显示扩增信息、转变后的扩增信息最终帧,以及中间的每一帧;(2)根据扩增信息的模型视图M1矩阵和投影P1矩阵与扩增信息最终位置的模型视图M2矩阵和投影P2矩阵之间的内插确定转变的每一帧的转变矩阵Mx和Px。基于上述区别特征,权利要求1实际解决的技术问题是:在显示过程中如何描述扩增信息的位置和方向等属性;如何根据扩增信息的初始和最终帧确定转换过程帧的位置和方向等属性。上述区别特征(1)已被对比文件2公开,区别特征(2)是在对比文件1、2的基础上容易想到的,因而权利要求1不具备创造性。从属权利要求2-4的附加技术特征是本领域的惯用手段,因而权利要求2-4也不具备创造性。基于与权利要求1-4类似的理由,权利要求5-8、9-12也不具备创造性。
复审请求人于2019年05月17日提交了复审无效宣告程序意见陈述书,同时修改了权利要求书,在独立权利要求1、5、9中增加了特征“其中以所述M1和所述P1矩阵呈现的所述扩增信息的尺寸和定向与所述所关注对象的图像对准,且其中以所述M2和所述P2矩阵呈现的所述扩增信息与所述移动装置的所述屏幕对准”。复审请求人认为:对比文件1并未提及相机视图中3D扩增覆盖262A的尺寸和大小是否与所关注对象的图像对准,也没有提及地图视图中2D扩增覆盖262C是否与移动装置的屏幕对准。对比文件1并不关心、并未意识到本申请所特别意识到且解决的技术问题。对比文件1、2或其组合均未公开、教导或启示修改后的权利要求1所限定的“一种用于将空间对准信息转变为屏幕对准信息的方法”,其中“以所述M1和所述P1矩阵呈现的所述扩增信息的尺寸和定向与所述所关注对象的图像对准,且其中以所述M2和所述P2矩阵呈现的所述扩增信息与所述移动装置的所述屏幕对准”。因而权利要求1具备创造性。
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人在提交复审无效宣告程序意见陈述书时对申请文件进行了修改,经审查,上述修改符合专利法第33条及专利法实施细则第61条1款的规定。因此,本复审决定所依据的文本为:进入中国国家阶段日2014年12月17日提交的说明书第1-70段、说明书附图图1-8、说明书摘要、摘要附图;2019年05月17日提交的权利要求第1-12项。
2、具体理由的阐述
专利法第22条第3款规定:“创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步, 该实用新型具有实质性特点和进步。”
如果一项权利要求相对于作为最接近的现有技术的对比文件存在某区别技术特征,该区别技术特征未被其他对比文件公开,也不属于本领域公知常识,现有技术中亦未给出应用上述区别技术特征以获得所述权利要求的技术方案的技术启示,并且上述区别技术特征的引入使得该权利要求的技术方案具有有益的技术效果,则该权利要求相对于上述对比文件和公知常识的结合具备创造性。
本复审决定进行创造性评述中引用的对比文件与驳回决定和复审通知书相同,具体为:
对比文件1:US 2011/0310087A1,公开日为2011年12月22日
对比文件2:Nadia Magnenat Thalmann等,“Virtual Worlds and Augmented Reality in Cultural Heritage Applications”, Recording, Modeling and Visualization of Cultural Heritage, 第419-430页,公开日为2006年01月31日。
(2.1)关于权利要求1的创造性
权利要求1请求保护一种用于将空间对准信息转变为屏幕对准信息的方法,对比文件1公开了一种相机视图与地图视图之间的用户界面转变方法和移动平台,并具体公开了如下技术特征(参见对比文件1摘要、说明书第[0001]-[0005],[0021]-[0049]段、附图1-5):提供了显示于移动平台上的相机视图与地图视图之间的用户界面转变,以呈现所述相机视图中的取向与所述地图视图中的取向之间的清晰视觉联系。用户界面转变可响应于从相机视图变为地图视图或反之的请求。用户界面转变可使用相机视图和地图视图的扩增覆盖来产生,扩增覆盖标识例如相机的视线或在相机视图和地图视图中可见的可标识环境特征。而且产生和显示一个或更多个不同的扩增覆盖以提供相机视图与地图视图扩增覆盖之间的视觉联系。例如,可连贯地显示多个扩增覆盖以清楚地示出相机视图与地图视图扩增覆盖之间的变化。相机视图中的扩增覆盖可以是向地图视图中的两维线条形式的扩增覆盖变化的三维线条(相当于将空间对准信息转变为屏幕对准信息)。图5A、5B和5C示出包括相机视图(图5A)与地图视图(图5C)之间的一个或更多个帧的用户界面转变中的代表帧(图5B)。图5A示出相机视图中建筑物252和道路254(相当于所关注对象)的图像108,该图像可由相机120捕捉并被显示在移动平台100的显示器162上(相当于在移动装置上显示所关注对象)。当移动平台100接收对从相机视图到地图视图的转变的请求时,在图像108之上产生并显示三维线条262A形式的扩增覆盖(相当于在所述所关注对象的图像的顶部上显示所述扩增信息)。在此实施例中三维线条262A示出移动平台100的视线。若期望,可使用其他类型的扩增覆盖而非线条262A,诸如点、星、箭头或任何其他图案。相机视图的扩增覆盖可以是预先生成的图形,诸如线条262A。替换地,扩增覆盖可以是移动平台100实时生成的,特别是在扩增覆盖与图像108内的一个或更多个对象有关的情况下。例如,作为表示移动平台100的视线的替代,扩增覆盖可例如通过用线条或其他几何形状指向建筑物252或道路254、或者通过勾勒环境特征轮廓来标识环境特征(相当于确定与所述所关注对象相关联的扩增信息)。
图5B示出图5A中所示的相机视图与图5C中所示的地图视图(相当于所述扩增信息的所要最终位置)之间的用户界面转变中的一帧(相当于用于转变的帧)。图5B示出图5A的相机视图中的第一扩增覆盖(线条262A)向图5C的地图视图中的第二扩增覆盖(线条262C)的变化。应理解,用户界面转变可包括被连贯地显示以清楚解说第一扩增覆盖262A与第二扩增覆盖262C之间的转变的多个扩增覆盖(在确定多个扩增覆盖时必然包括估计其数目),其中图5B示出用户界面转变的单个代表帧(相当于显示每一帧中的所述扩增信息)。扩增覆盖中的变化可包括旋转以及拉长和变薄并从图5A的相机视图中的三维线条转换为图5C的地图视图中的两维线条。
图5C示出显示在显示器162上的地图视图带有两维线条262C形式的扩增覆盖(相当于显示最终帧以及执行与所述所关注对象相关联的应用(地图))。两维线条262C解说移动平台100在地图视图中的视线。如上讨论地,扩增覆盖(线条262C)可以是基于从传感器130确定的移动平台100的取向被定位在地图视图上的预先生成的图形(相当于计算所述扩增信息的所要最终位置)。
权利要求1与对比文件1的区别技术特征为:(1)使用模型视图矩阵和投影矩阵显示扩增信息、转变后的扩增信息最终帧,以及中间的每一帧;(2)根据扩增信息的模型视图M1矩阵和投影P1矩阵与扩增信息最终位置的模型视图M2矩阵和投影P2矩阵之间的内插确定转变的每一帧的转变矩阵Mx和Px;(3)以所述M1和所述P1矩阵呈现的所述扩增信息的尺寸和定向与所述所关注对象的图像对准,且其中以所述M2和所述P2矩阵呈现的所述扩增信息与所述移动装置的所述屏幕对准。
基于上述区别技术特征,权利要求1实际解决的技术问题是:在显示过程中如何描述扩增信息的位置和方向等属性;如何根据扩增信息的初始和最终帧确定转换过程帧的位置和方向等属性;以及如何通过扩增信息向用户提供与关注对象相关联的更丰富的信息内容,提高用户体验。
对于区别技术特征(1),对比文件2公开了一种文化遗产应用中的虚拟世界和扩增现实方法(参见对比文件2摘要,第1节,第3.3节),并具体公开了以下内容:提供一种实时集成混合现实系统的完整方法,该系统具有逼真的动画虚拟人物演员(衣服,身体,皮肤,脸部)的完整模拟,可以扩增真实环境并重新演绎舞台故事剧。其中,根据OpenGL中模型视图矩阵和投影矩阵的标准公式交互式地处理场景全局定位和缩放,所述模型视图和投影矩阵用于建立虚拟相机隐喻,并为每一个被追踪的帧实时提供。由此可知,对比文件2的方案使用模型视图矩阵和投影矩阵对每个跟踪帧中虚拟扩增信息的属性进行描述,并使用上述矩阵进行场景显示。因此区别特征(1)已被对比文件2公开,并且上述特征在对比文件2中所起的作用与其在本申请中为解决其技术问题所起的作用相同,也就是说对比文件2给出了将上述技术特征用于对比文件1以解决其技术问题的启示。
对于区别技术特征(2),对比文件1公开了可产生并显示一个或多个不同扩增覆盖以提供第一扩增覆盖与第二扩增覆盖之间的视觉联系,图5B中示出了相机视图与地图视图之间的一个或更多个帧的用户界面转变中的代表帧,并且,地图视图中的扩增覆盖(线条262C)(相当于扩增信息的最终位置)可以是基于从传感器130确定的移动平台100的取向被定位在地图视图上的预先生成的图形。对比文件1虽未明确公开用户界面转变过程中间帧中的扩增覆盖262B的显示位置和方向等属性如何获得,但是对于本领域的技术人员来说,在对象的初始状态和最终状态已经确定的情况下,通过内插的方法获得其中间状态是一种常用技术手段,结合对比文件2公开的利用模型视图矩阵和投影矩阵对每个跟踪帧中虚拟扩增信息的属性进行描述的方法,本领域技术人员容易想到,根据扩增信息初始位置的模型视图M1矩阵和投影P1矩阵与扩增信息最终位置的模型视图M2矩阵和投影P2矩阵之间的内插确定转变的每一帧的转变矩阵Mx和Px。
对于区别技术特征(3),该特征限定了扩增信息初始位置和转变最终位置的尺寸和定向,在权利要求1的方案中,扩增信息初始位置的尺寸和定向与所关注的对象对准,即扩增信息以恰好覆盖所述关注对象的形式呈现在视图中,对用户来说,即为取代关注对象而显示与关注对象相关联的扩增信息;扩增信息最终位置的尺寸和定向与屏幕对准,即扩增信息最终以填充整个屏幕的形式呈现。而对比文件1中对扩增覆盖的初始位置的限定为:在图像108之上产生并显示三维线条262A形式的扩增覆盖,或者,可使用其他类型的扩增覆盖而非线条262A,诸如点、星、箭头或任何其他图案;相机视图的扩增覆盖可以是预先生成的图形,诸如线条262A。替换地,扩增覆盖可以是移动平台100实时生成的,特别是在扩增覆盖与图像108内的一个或更多个对象有关的情况下,例如,作为表示移动平台100的视线的替代,扩增覆盖可例如通过用线条或其他几何形状指向建筑物252或道路254、或者通过勾勒环境特征轮廓来标识环境特征。对比文件1中扩增覆盖的最终位置则为如图5C中262C所示的两维线条的形式。对比文件1中的扩增覆盖代表移动平台100的视线,其虽然与视图内的建筑物或道路相关联,但是是独立于建筑物或道路之外的一个虚拟对象,因而其初始位置通常不会与视图中的实际对象重合,并且由于用户所关注的仍然是地图中显示的建筑物或道路,因而在转变到二维视图后,该代表视线的扩增覆盖也不可能填满整个屏幕,而仅仅能起到辅助的作用。由此可见,对比文件1没有公开该区别特征(3),并且无法给出相应的技术启示。对比文件2的技术方案并不涉及扩增信息在初始位置和最终位置之间的转变,因而也没有公开该区别特征(3),并且也无法给出相应的技术启示。权利要求1的方案通过这样的呈现方式可以明确的向用户展示扩增信息与哪一个目标对象相关联,同时允许向用户提供与关注对象相关联的更丰富的信息内容。
综上所述,权利要求1所要求保护的技术方案与对比文件1存在区别技术特征(3),该特征未被对比文件2公开,也不属于本领域的公知常识,现有技术亦没有给出将上述区别技术特征应用于对比文件1中以获得权利要求1的技术方案的技术启示,并且上述区别技术特征的引入可以向用户提供与关注对象相关联的更丰富的信息内容,提高用户体验。因此,权利要求1相对于对比文件1、2及本领域的公知常识的结合具备突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
(2.2)关于权利要求2-4的创造性
权利要求2-4从属于权利要求1,当权利要求1具备创造性时,上述权利要求同样相对于对比文件1、2及本领域的公知常识的结合具备专利法第22条第3款规定的创造性。
(2.3)关于权利要求5的创造性
权利要求5请求保护一种用于将空间对准信息转变为屏幕对准信息的设备,对比文件1公开了一种相机视图与地图视图之间的用户界面转变方法和移动平台,并具体公开了如下技术特征(参见对比文件1摘要、说明书第[0001]-[0005],[0021]-[0049]段、附图1-5):所述移动平台(相当于移动装置)可将从由相机120捕捉的建筑物252和道路254的图像108显示在显示器162上(相当于图形显示器,其经配置以显示所关注对象),并且移动平台包括处理器152,所述处理器152内置有图像处理引擎155,其用于生成相机视图图像的扩增覆盖和地图视图的扩增覆盖并用于在这两种视图之间的转变。相机视图中的扩增覆盖可以是向地图视图中的两维线条形式的扩增覆盖变化的三维线条(相当于将空间对准信息转变为屏幕对准信息)。图5A、5B和5C示出包括相机视图(图5A)与地图视图(图5C)之间的一个或更多个帧的用户界面转变中的代表帧(图5B)。图5A示出相机视图中建筑物252和道路254(相当于所关注对象)的图像108,该图像可由相机120捕捉并被显示在移动平台100的显示器162上(相当于在移动装置上显示所关注对象)。当移动平台100接收对从相机视图到地图视图的转变的请求时,在图像108之上产生并显示三维线条262A形式的扩增覆盖(相当于在所述所关注对象的图像的顶部上显示所述扩增信息)。在此实施例中三维线条262A示出移动平台100的视线。若期望,可使用其他类型的扩增覆盖而非线条262A,诸如点、星、箭头或任何其他图案。相机视图的扩增覆盖可以是预先生成的图形,诸如线条262A。替换地,扩增覆盖可以是移动平台100实时生成的,特别是在扩增覆盖与图像108内的一个或更多个对象有关的情况下。例如,作为表示移动平台100的视线的替代,扩增覆盖可例如通过用线条或其他几何形状指向建筑物252或道路254、或者通过勾勒环境特征轮廓来标识环境特征(相当于确定与所述所关注对象相关联的扩增信息)。
图5B示出图5A中所示的相机视图与图5C中所示的地图视图(相当于所述扩增信息的所要最终位置)之间的用户界面转变中的一帧(相当于用于转变的帧)。图5B示出图5A的相机视图中的第一扩增覆盖(线条262A)向图5C的地图视图中的第二扩增覆盖(线条262C)的变化。应理解,用户界面转变可包括被连贯地显示以清楚解说第一扩增覆盖262A与第二扩增覆盖262C之间的转变的多个扩增覆盖(在确定多个扩增覆盖时必然包括估计其数目),其中图5B示出用户界面转变的单个代表帧(相当于显示每一帧中的所述扩增信息)。扩增覆盖中的变化可包括旋转以及拉长和变薄并从图5A的相机视图中的三维线条转换为图5C的地图视图中的两维线条。
图5C示出显示在显示器162上的地图视图带有两维线条262C形式的扩增覆盖(相当于显示最终帧以及执行与所述所关注对象相关联的应用(地图))。两维线条262C解说移动平台100在地图视图中的视线。如上讨论地,扩增覆盖(线条262C)可以是基于从传感器130确定的移动平台100的取向被定位在地图视图上的预先生成的图形(相当于计算所述扩增信息的所要最终位置)。
权利要求5与对比文件1的区别技术特征为:(1)使用模型视图矩阵和投影矩阵显示扩增信息、转变后的扩增信息最终帧,以及中间的每一帧;(2)根据扩增信息的模型视图M1矩阵和投影P1矩阵与扩增信息最终位置的模型视图M2矩阵和投影P2矩阵之间的内插确定转变的每一帧的转变矩阵Mx和Px;3)以所述M1和所述P1矩阵呈现的所述扩增信息的尺寸和定向与所述所关注对象的图像对准,且其中以所述M2和所述P2矩阵呈现的所述扩增信息与所述移动装置的所述屏幕对准。
基于上述区别技术特征,权利要求5实际解决的技术问题是:在显示过程中如何描述扩增信息的位置和方向等属性;如何根据扩增信息的初始和最终帧确定转换过程帧的位置和方向等属性;以及如何通过扩增信息向用户提供与关注对象相关联的更丰富的信息内容,提高用户体验。
对于区别技术特征(1),对比文件2公开了一种文化遗产应用中的虚拟世界和扩增现实方法(参见对比文件2摘要,第1节,第3.3节),并具体公开了以下内容:提供一种实时集成混合现实系统的完整方法,该系统具有逼真的动画虚拟人物演员(衣服,身体,皮肤,脸部)的完整模拟,可以扩增真实环境并重新演绎舞台故事剧。其中,根据OpenGL中模型视图矩阵和投影矩阵的标准公式交互式地处理场景全局定位和缩放,所述模型视图和投影矩阵用于建立虚拟相机隐喻,并为每一个被追踪的帧实时提供。由此可知,对比文件2的方案使用模型视图矩阵和投影矩阵对每个跟踪帧中虚拟扩增信息的属性进行描述,并使用上述矩阵进行场景显示。因此区别特征(1)已被对比文件2公开,并且上述特征在对比文件2中所起的作用与其在本申请中为解决其技术问题所起的作用相同,也就是说对比文件2给出了将上述技术特征用于对比文件1以解决其技术问题的启示。
对于区别技术特征(2),对比文件1公开了可产生并显示一个或多个不同扩增覆盖以提供第一扩增覆盖与第二扩增覆盖之间的视觉联系,图5B中示出了相机视图与地图视图之间的一个或更多个帧的用户界面转变中的代表帧,并且,地图视图中的扩增覆盖(线条262C)(相当于扩增信息的最终位置)可以是基于从传感器130确定的移动平台100的取向被定位在地图视图上的预先生成的图形。对比文件1虽未明确公开用户界面转变过程中间帧中的扩增覆盖262B的显示位置和方向等属性如何获得,但是对于本领域的技术人员来说,在对象的初始状态和最终状态已经确定的情况下,通过内插的方法获得其中间状态是一种常用技术手段,结合对比文件2公开的利用模型视图矩阵和投影矩阵对每个跟踪帧中虚拟扩增信息的属性进行描述的方法,本领域技术人员容易想到,根据扩增信息初始位置的模型视图M1矩阵和投影P1矩阵与扩增信息最终位置的模型视图M2矩阵和投影P2矩阵之间的内插确定转变的每一帧的转变矩阵Mx和Px。
对于区别技术特征(3),该特征限定了扩增信息初始位置和转变最终位置的尺寸和定向,在权利要求5的方案中,扩增信息初始位置的尺寸和定向与所关注的对象对准,即扩增信息以恰好覆盖所述关注对象的形式呈现在视图中,对用户来说,即为取代关注对象而显示与关注对象相关联的扩增信息;扩增信息最终位置的尺寸和定向与屏幕对准,即扩增信息最终以填充整个屏幕的形式呈现。而对比文件1中对扩增覆盖的初始位置的限定为:在图像108之上产生并显示三维线条262A形式的扩增覆盖,或者,可使用其他类型的扩增覆盖而非线条262A,诸如点、星、箭头或任何其他图案;相机视图的扩增覆盖可以是预先生成的图形,诸如线条262A。替换地,扩增覆盖可以是移动平台100实时生成的,特别是在扩增覆盖与图像108内的一个或更多个对象有关的情况下,例如,作为表示移动平台100的视线的替代,扩增覆盖可例如通过用线条或其他几何形状指向建筑物252或道路254、或者通过勾勒环境特征轮廓来标识环境特征。对比文件1中扩增覆盖的最终位置则为如图5C中262C所示的两维线条的形式。对比文件1中的扩增覆盖代表移动平台100的视线,其虽然与视图内的建筑物或道路相关联,但是是独立于建筑物或道路之外的一个虚拟对象,因而其初始位置通常不会与视图中的实际对象重合,并且由于用户所关注的仍然是地图中显示的建筑物或道路,因而在转变到二维视图后,该代表视线的扩增覆盖也不可能填满整个屏幕,而仅仅能起到辅助的作用。由此可见,对比文件1没有公开该区别特征(3),并且无法给出相应的技术启示。对比文件2的技术方案并不涉及扩增信息在初始位置和最终位置之间的转变,因而也没有公开该区别特征(3),并且也无法给出相应的技术启示。权利要求5的方案通过这样的呈现方式可以明确的向用户展示扩增信息与哪一个目标对象相关联,同时允许向用户提供与关注对象相关联的更丰富的信息内容。
综上所述,权利要求5所要求保护的技术方案与对比文件1存在区别技术特征(3),该特征未被对比文件2公开,也不属于本领域的公知常识,现有技术亦没有给出将上述区别技术特征应用于对比文件1中以获得权利要求5的技术方案的技术启示,并且上述区别技术特征的引入可以向用户提供与关注对象相关联的更丰富的信息内容,提高用户体验。因此,权利要求5相对于对比文件1、2及本领域的公知常识的结合具备突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
(2.4)关于权利要求6-8的创造性
权利要求6-8从属于权利要求5,当权利要求5具备创造性时,上述权利要求同样相对于对比文件1、2及本领域的公知常识的结合具备专利法第22条第3款规定的创造性。
(2.5)关于权利要求9-12的创造性
权利要求9-12请求保护一种用于将空间对准信息转变为屏幕对准信息的设备,其所包含的装置与权利要求1-4的方法步骤一一对应,基于与权利要求1-4类似的理由,权利要求9-12所要求保护的技术方案也具备突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
3、对复审请求人相关意见的评述
前审在驳回及前置意见中认为:对比文件1公开了在三维目标上覆盖显示标识的技术方案,标识的正确添加公开了扩增信息在屏幕显示位置的确定,对比文件1还公开了在不同显示画面间的连续动画显示。扩增信息的对准显示解决了与本申请相同的难以确定扩增信息与目标对象的关联关系的技术问题,达到了精确指示目标的技术效果。对比文件1仅未明确公开权利要求1如何实现扩增信息的对准计算,然而对比文件2公开了区别中的模型视图矩阵和投影矩阵的使用,本领域技术人员有动机使用此公知的计算机图形学计算方式来实现三维模型的对准和动画中过渡帧的计算。
对此,合议组认为:对比文件1从相机视图向地图视图转变的过程中,通过保持代表视线的扩增覆盖与其所指向的环境目标(建筑物)之间的相对位置关系,并在转变过程中添加连续转变的帧,同样能够帮助确定目标对象(环境目标)与经扩增内容(视线)的关联关系,也就是说,对比文件1的“扩增覆盖在相机视图和地图视图之间的转变是用于提供了相机视图中的真实世界元素和地图视图中的元素之间的视觉联系从而有助于清楚地告知用户该用户在地图视图中的取向”实际上是本申请所要解决的“通常难以确定哪一目标对象与经扩增内容相关联”这一问题的一种具体的情形,并且二者在解决这一问题时采用的技术构思也是相同的。并且,对比文件2公开了使用模型视图矩阵和投影矩阵对每个跟踪帧中虚拟扩增信息的属性进行描述,并使用上述矩阵进行场景显示的方案,上述特征在对比文件2中所起的作用与其在本申请中为解决其技术问题所起的作用相同,从而给出了技术启示。但是,对比文件1、2均未公开上述区别特征(3),并且无法给出相应的技术启示,权利要求1相对于对比文件1、2及本领域的公知常识的结合具备创造性,具体参见对权利要求1的评述。
综上,合议组依法作出如下决定。
三、决定
撤销国家知识产权局于2018年02月08日对本申请作出的驳回决定。由国家知识产权局原审查部门在进入中国国家阶段日2014年12月17日提交的说明书第1-70段、说明书附图图1-8、说明书摘要、摘要附图;2019年05月17日提交的权利要求第1-12项的基础上对本申请继续进行审查。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。