发明创造名称：一种增强现实场景生成方法、装置及设备
外观设计名称：
决定号：185444
决定日：2019-07-26
委内编号：1F262818
优先权日：
申请（专利）号：201610949178.X
申请日：2016-10-26
复审请求人：腾讯科技（深圳）有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：宋霖
合议组组长：吴海涛
参审员：窦明生
国际分类号：G06F3/01,G06T19/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：权利要求与对比文件存在区别技术特征，如果这些特征没有在对比文件中公开，并且该区别技术特征以及其所能产生的技术效果、解决的技术问题，也不是本领域常采用的技术手段或本领域的常规选择可以实现的，那么该权利要求具备创造性。
全文：
本复审请求涉及申请号为201610949178.X、发明名称为“一种增强现实场景生成方法、装置及设备”的发明专利申请（下称本申请），本申请的申请人为腾讯科技（深圳）有限公司，申请日为2016年10月26日，公开日为2017年02月08日。
经实质审查，国家知识产权局原审查部门于2018年07月24日以本申请权利要求1-20不具备专利法第22条第3款规定的创造性为由驳回了本申请。驳回决定所依据的文本为：2018年06月12日提交的权利要求第1-20项；申请日2016年10月26日提交的说明书第1-144段，说明书附图图1-10，说明书摘要和摘要附图。驳回决定引用了两篇对比文件，即:
对比文件1：CN105955456A，公开日2016年09月21日；
对比文件2：CN104270577A，公开日2015年01月07日。
驳回决定的具体理由是：（1）权利要求1相对于对比文件1具有区别技术特征，但是该区别技术特征部分在对比文件2中公开，部分属于本领域的公知常识，因此，权利要求1相对于对比文件1、2及本领域的公知常识的结合不具备创造性；（2）从属权利要求2-8的附加技术特征或被对比文件1所公开，或属于本领域的公知常识，因此，当其引用的权利要求不具备创造性时，从属权利要求2-8也不具备创造性；（3）权利要求9相对于对比文件1具有区别技术特征，但是该区别技术特征部分在对比文件2中公开，部分属于本领域的公知常识，因此，权利要求9相对于对比文件1、2及本领域的公知常识的结合不具备创造性；（4）从属权利要求10-16的附加技术特征与权利要求2-8的附加技术特征相应，基于与权利要求2-8类似的评述理由，当其引用的权利要求不具备创造性时，从属权利要求10-16也不具备创造性；（5）权利要求17相对于对比文件1具有区别技术特征，但是该区别技术特征部分在对比文件2中公开，部分属于本领域的公知常识，因此，权利要求17相对于对比文件1、2及本领域的公知常识的结合不具备创造性；（6）从属权利要求18-20的附加技术特征与权利要求4-6的附加技术特征相应，基于与权利要求4-6类似的评述理由，当其引用的权利要求不具备创造性时，从属权利要求4-6也不具备创造性。
驳回决定所针对的权利要求书的内容如下：
“1. 一种增强现实场景生成方法，其特征在于，所述方法包括：
获取图像采集器采集的现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
将所述现实场景信息进行处理生成基于现实的背景图像；根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；
根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；
将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像，所述融合图像由；
显示所述融合图像。
2. 根据权利要求1所述的方法，其特征在于，所述图像采集器为摄像头；
所述获取图像采集器采集的现实场景包括：
通过所述摄像头拍摄周边现实世界的场景图片或场景视频；
将所述场景图片或场景视频作为所述现实场景信息。
3. 根据权利要求1所述的方法，其特征在于，所述图像采集器为全息扫描仪；
所述获取图像采集器采集的现实场景包括：
通过所述全息扫描仪对周边现实世界进行扫描得到全息图片；
将所述全息图片作为所述现实场景信息。
4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述将所述背景图像与虚拟场景图像进行融合生成融合图像包括：
获取环境参数；
根据所述环境参数对所述背景图像进行渲染得到渲染图像；
将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。
5. 根据权利要求4所述的方法，其特征在于，所述获取环境参数包括：
获取用户端输入的所述环境参数；
或，
从所述待显示的虚拟场景图像中提取所述环境参数。
6. 根据权利要求5所述的方法，其特征在于，所述根据所述环境参数对所述背景图像进行渲染得到渲染图像包括：
当所述环境参数指示为红外模式时，对所述背景图像进行红外热感渲染得到所述渲染图像；
或，
当所述环境参数指示为夜视模式时，对所述背景图像进行夜视渲染得到所述渲染图像。
7. 根据权利要求6所述的方法，其特征在于，所述对所述背景图像进行红外热感渲染得到所述渲染图像包括：
将所述背景图像转换为图像矩阵；
对所述图像矩阵中的元素去除颜色值得到灰度图；
按照预置的比例尺对所述灰度图进行缩小得到临时图片；
按照预设的热度值对所述临时图片进行色彩调整得到热度图片，使得所述临时图片中热度值高的区域的色彩温度高于所述临时图片中热度值低的区域的色彩温度；
按照所述预置的比例尺对所述热度图片进行放大得到所述渲染图像。
8. 根据权利要求6所述的方法，其特征在于，所述对所述背景图像进行夜视渲染得到所述渲染图像包括：
获取所述背景图像的中心像素点；
计算所述背景图像中各像素点与所述中心像素点之间的距离；
按照所述距离设置所述各像素点的扭曲度得到扭曲图像，所述各像素点的扭曲度与该像素点与所述中心像素点之间的距离正相关；
使用绿色透镜对所述扭曲图像进行处理得到绿化图像；
对所述绿化图像增加随机噪点生成所述渲染图像。
9. 一种增强现实场景生成装置，其特征在于，所述装置包括：
现实场景信息获取模块，用于获取图像采集器采集的现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
背景图像生成模块，用于将所述现实场景信息进行处理生成基于现实的背景图像；
融合图像生成模块，用于根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
显示模块，用于显示所述融合图像。
10. 根据权利要求9所述的装置，其特征在于，所述图像采集器为摄像头；
所述现实场景信息获取模块，具体用于通过所述摄像头拍摄周边现实世界的场景图片或场景视频，将所述场景图片或场景视频作为所述现实场景信息。
11. 根据权利要求10所述的装置，其特征在于，所述图像采集器为全息扫描仪；
所述现实场景信息获取模块，具体用于通过所述全息扫描仪对周边现实世界进行扫描得到全息图片，将所述全息图片作为所述现实场景信息。
12. 根据权利要求9至11中任一项所述的装置，其特征在于，所述融合图像生成模块包括：
环境参数获取单元，用于获取环境参数；
特效生成单元，用于根据所述环境参数对所述背景图像进行渲染得到渲染图像；
图像融合单元，用于将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。
13. 根据权利要求12所述的装置，其特征在于，
所述环境参数获取单元，具体用于获取用户端输入的所述环境参数；
或，
所述环境参数获取单元，具体用于从所述待显示的虚拟场景图像中提取所述环境参数。
14. 根据权利要求13所述的装置，其特征在于，
所述特效生成单元，具体用于当所述环境参数指示为红外模式时，对所述背景图像进行红外热感渲染得到所述渲染图像；
或，
所述特效生成单元，具体用于当所述环境参数指示为夜视模式时，对所述背景图像进行夜视渲染得到所述渲染图像。
15. 根据权利要求14所述的装置，其特征在于，
所述特效生成单元，具体用于当所述环境参数指示为红外模式时，将所述背景图像转换为图像矩阵；对所述图像矩阵中的元素去除颜色值得到灰度图；按照预置的比例尺对所述灰度图进行缩小得到临时图片；按照预设的热度值对所述临时图片进行色彩调整得到热度图片，使得所述临时图片中热度值高的区域的色彩温度高于所述临时图片中热度值低的区域的色彩温度；按照所述预置的比例尺对所述热度图片进行放大得到所述渲染图像。
16. 根据权利要求14所述的装置，其特征在于，
所述特效生成单元，具体用于获取所述背景图像的中心像素点；计算所述背景图像中各像素点与所述中心像素点之间的距离；按照所述距离设置所述各像素点的扭曲度得到扭曲图像，所述各像素点的扭曲度与该像素点与所述中心像素点之间的距离正相关；使用绿色透镜对所述扭曲图像进行处理得到绿化图像；对所述绿化图像增加随机噪点生成所述渲染图像。
17. 一种用户设备，其特征在于，所述用户设备包括：
图像采集器、处理器、存储器以及显示屏；
所述图像采集器，用于采集现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
所述存储器，用于存储图像采集器采集的所述现实场景信息；
所述处理器，用于获取所述现实场景信息，将所述现实场景信息进行处理生成基于现实的背景图像；根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；并将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
所述显示屏，用于显示所述融合图像。
18. 根据权利要求17所述的用户设备，其特征在于，
所述处理器，具体用于获取所述现实场景信息，将所述现实场景信息进行处理生成基于现实的背景图像，获取环境参数，根据所述环境参数对所述背景图像进行渲染得到渲染图像，将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。
19. 根据权利要求18所述的用户设备，其特征在于，
所述处理器，具体用于获取用户端输入的所述环境参数，或，从所述待显示的虚拟场景图像中提取所述环境参数。
20. 根据权利要求19所述的用户设备，其特征在于，
所述处理器，具体用于当所述环境参数指示为红外模式时，对所述背景图像进行红外热感渲染得到所述渲染图像；或，当所述环境参数指示为夜视模式时，对所述背景图像进行夜视渲染得到所述渲染图像。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年10月15日向国家知识产权局提出了复审请求，陈述了意见，提交了权利要求书的全文替换页（共17项权利要求）：将原权利要求4加入原权利要求1中，将原权利要求12加入原权利要求9中，将原权利要求18加入原权利要求17中，删除原权利要求4、12、18，其他权利要求顺应性修改引用关系和序号。其请求复审的主要理由为：对比文件2没有限定如何进行渲染，只是简单叠加，本申请是基于现实的背景图像中的元素调整虚拟物体图像和/或角色图像的视觉效果。另外，对比文件2需要获取特定目标图像才可以得到虚拟物体，而现实场景，不存在特定目标，对比文件2与本申请不同，因此权利要求具备创造性。
复审请求人于2018年10月15日提交复审请求时提交的修改后的权利要求书1、8、15如下：
“1. 一种增强现实场景生成方法，其特征在于，所述方法包括：
获取图像采集器采集的现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
将所述现实场景信息进行处理生成基于现实的背景图像；根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；
根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；
将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像，所述融合图像由；
显示所述融合图像；
所述将所述背景图像与虚拟场景图像进行融合生成融合图像包括：
获取环境参数；
根据所述环境参数对所述背景图像进行渲染得到渲染图像；
将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。”
“8. 一种增强现实场景生成装置，其特征在于，所述装置包括：
现实场景信息获取模块，用于获取图像采集器采集的现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
背景图像生成模块，用于将所述现实场景信息进行处理生成基于现实的背景图像；
融合图像生成模块，用于根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
显示模块，用于显示所述融合图像；
所述融合图像生成模块包括：
环境参数获取单元，用于获取环境参数；
特效生成单元，用于根据所述环境参数对所述背景图像进行渲染得到渲染图像；
图像融合单元，用于将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。”
“15. 一种用户设备，其特征在于，所述用户设备包括：
图像采集器、处理器、存储器以及显示屏；
所述图像采集器，用于采集现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
所述存储器，用于存储图像采集器采集的所述现实场景信息；
所述处理器，用于获取所述现实场景信息，将所述现实场景信息进行处理生成基于现实的背景图像；根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；并将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
所述显示屏，用于显示所述融合图像；
所述处理器，具体用于获取所述现实场景信息，将所述现实场景信息进行处理生成基于现实的背景图像，获取环境参数，根据所述环境参数对所述背景图像进行渲染得到渲染图像，将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。”
经形式审查合格，国家知识产权局于2018年10月18日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
经过前置审查，原审查部门认为：修改补入的特征“所述将所述背景图像与虚拟场景图像进行融合生成融合图像包括：获取环境参数；根据所述环境参数对所述背景图像进行渲染得到渲染图像；将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像”属于本领域技术人员在对虚拟现实与增强现实进行融合时生成融合图像的常用技术手段。因此，修改后的权利要求1-17仍不符合专利法第22条第3款的规定。综上，坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年03月12日发出复审通知书，指出：（1）权利要求1相对于对比文件1具有区别技术特征，但是该区别技术特征部分在对比文件2中公开，部分属于公知常识，因此，权利要求1相对于对比文件1、2及本领域的公知常识的结合不具备创造性；（2）从属权利要求2-7的附加技术特征或被对比文件1所公开，或属于本领域的公知常识，因此，当其引用的权利要求不具备创造性时，从属权利要求2-7也不具备创造性；（3）权利要求8相对于对比文件1具有区别技术特征，但是该区别技术特征部分在对比文件2中公开，部分属于公知常识，因此，权利要求8相对于对比文件1、2及本领域的公知常识的结合不具备创造性；（4）从属权利要求9-14的附加技术特征与权利要求2-7的附加技术特征相应，基于与权利要求2-7类似的评述理由，当其引用的权利要求不具备创造性时，从属权利要求9-14也不具备创造性；（5）权利要求15相对于对比文件1具有区别技术特征，但是该区别技术特征部分在对比文件2中公开，部分属于公知常识，因此，权利要求15相对于对比文件1、2及本领域的公知常识的结合不具备创造性；（6）从属权利要求16-17的附加技术特征与权利要求4-5的附加技术特征相应，基于与权利要求4-5类似的评述理由，当其引用的权利要求不具备创造性时，从属权利要求4-5也不具备创造性。
针对上述复审通知书，复审请求人于2019年04月08日提交了意见陈述书，并对申请文件进行修改，提交了权利要求书的全文替换页（共17项权利要求）：在权利要求1中加入“应用于基于真实场景的游戏系统”，权利要求1、8、15中加入“所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步”。复审请求人在意见陈述书中指出：新加入特征在对比文件1和对比文件2中没有公开。对比文件1中虚拟场景信息与真实场景信息只是简单的叠加融合。对比文件2没有公开基于现实的背景图像中的元素调整该虚拟物体图像和/或虚拟角色图像的视觉效果。因此，本领域技术人员不可能根据对比文件1和对比文件2容易的想到本申请的技术方案，权利要求1具备创造性。
复审请求人于2019年04月08日提交的修改后的权利要求书如下：
“1. 一种增强现实场景生成方法，应用于基于真实场景的游戏系统，其特征在于，所述方法包括：
获取图像采集器采集的现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
将所述现实场景信息进行处理生成基于现实的背景图像；
根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像，所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步；
根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；
将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
显示所述融合图像；
所述将所述背景图像与虚拟场景图像进行融合生成融合图像包括：
获取环境参数；
根据所述环境参数对所述背景图像进行渲染得到渲染图像；
将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。
2. 根据权利要求1所述的方法，其特征在于，所述图像采集器为摄像头；
所述获取图像采集器采集的现实场景包括：
通过所述摄像头拍摄周边现实世界的场景图片或场景视频；
将所述场景图片或场景视频作为所述现实场景信息。
3. 根据权利要求1所述的方法，其特征在于，所述图像采集器为全息扫描仪；
所述获取图像采集器采集的现实场景包括：
通过所述全息扫描仪对周边现实世界进行扫描得到全息图片；
将所述全息图片作为所述现实场景信息。
4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述获取环境参数包括：
获取用户端输入的所述环境参数；
或，
从所述待显示的虚拟场景图像中提取所述环境参数。
5. 根据权利要求4所述的方法，其特征在于，所述根据所述环境参数对所述背景图像进行渲染得到渲染图像包括：
当所述环境参数指示为红外模式时，对所述背景图像进行红外热感渲染得到所述渲染图像；
或，
当所述环境参数指示为夜视模式时，对所述背景图像进行夜视渲染得到所述渲染图像。
6. 根据权利要求5所述的方法，其特征在于，所述对所述背景图像进行红外热感渲染得到所述渲染图像包括：
将所述背景图像转换为图像矩阵；
对所述图像矩阵中的元素去除颜色值得到灰度图；
按照预置的比例尺对所述灰度图进行缩小得到临时图片；
按照预设的热度值对所述临时图片进行色彩调整得到热度图片，使得所述临时图片中热度值高的区域的色彩温度高于所述临时图片中热度值低的区域的色彩温度；
按照所述预置的比例尺对所述热度图片进行放大得到所述渲染图像。
7. 根据权利要求5所述的方法，其特征在于，所述对所述背景图像进行夜视渲染得到所述渲染图像包括：
获取所述背景图像的中心像素点；
计算所述背景图像中各像素点与所述中心像素点之间的距离；
按照所述距离设置所述各像素点的扭曲度得到扭曲图像，所述各像素点的扭曲度与该像素点与所述中心像素点之间的距离正相关；
使用绿色透镜对所述扭曲图像进行处理得到绿化图像；
对所述绿化图像增加随机噪点生成所述渲染图像。
8. 一种增强现实场景生成装置，其特征在于，所述装置包括：
现实场景信息获取模块，用于获取图像采集器采集的现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
背景图像生成模块，用于将所述现实场景信息进行处理生成基于现实的背景图像；
融合图像生成模块，用于根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像，所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
显示模块，用于显示所述融合图像；
所述融合图像生成模块包括：
环境参数获取单元，用于获取环境参数；
特效生成单元，用于根据所述环境参数对所述背景图像进行渲染得到渲染图像；
图像融合单元，用于将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。
9. 根据权利要求8所述的装置，其特征在于，所述图像采集器为摄像头；
所述现实场景信息获取模块，具体用于通过所述摄像头拍摄周边现实世界的场景图片或场景视频，将所述场景图片或场景视频作为所述现实场景信息。
10. 根据权利要求9所述的装置，其特征在于，所述图像采集器为全息扫描仪；
所述现实场景信息获取模块，具体用于通过所述全息扫描仪对周边现实世界进行扫描得到全息图片，将所述全息图片作为所述现实场景信息。
11. 根据权利要求8至10中任一项所述的装置，其特征在于，
所述环境参数获取单元，具体用于获取用户端输入的所述环境参数；
或，
所述环境参数获取单元，具体用于从所述待显示的虚拟场景图像中提取所述环境参数。
12. 根据权利要求11所述的装置，其特征在于，
所述特效生成单元，具体用于当所述环境参数指示为红外模式时，对所述背景图像进行红外热感渲染得到所述渲染图像；
或，
所述特效生成单元，具体用于当所述环境参数指示为夜视模式时，对所述背景图像进行夜视渲染得到所述渲染图像。
13. 根据权利要求12所述的装置，其特征在于，
所述特效生成单元，具体用于当所述环境参数指示为红外模式时，将所述背景图像转换为图像矩阵；对所述图像矩阵中的元素去除颜色值得到灰度图；按照预置的比例尺对所述灰度图进行缩小得到临时图片；按照预设的热度值对所述临时图片进行色彩调整得到热度图片，使得所述临时图片中热度值高的区域的色彩温度高于所述临时图片中热度值低的区域的色彩温度；按照所述预置的比例尺对所述热度图片进行放大得到所述渲染图像。
14. 根据权利要求12所述的装置，其特征在于，
所述特效生成单元，具体用于获取所述背景图像的中心像素点；计算所述背景图像中各像素点与所述中心像素点之间的距离；按照所述距离设置所述各像素点的扭曲度得到扭曲图像，所述各像素点的扭曲度与该像素点与所述中心像素点之间的距离正相关；使用绿色透镜对所述扭曲图像进行处理得到绿化图像；对所述绿化图像增加随机噪点生成所述渲染图像。
15. 一种用户设备，其特征在于，所述用户设备包括：
图像采集器、处理器、存储器以及显示屏；
所述图像采集器，用于采集现实场景信息，所述现实场景信息为所述图像采集器拍摄到的整个场景画面；
所述存储器，用于存储图像采集器采集的所述现实场景信息；
所述处理器，用于获取所述现实场景信息，将所述现实场景信息进行处理生成基于现实的背景图像；根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像，所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果；并将所述背景图像与所述虚拟场景图像进行融合生成融合图像，所述虚拟场景图像包括所述虚拟物体图像和/或所述虚拟角色图像；
所述显示屏，用于显示所述融合图像；
所述处理器，具体用于获取所述现实场景信息，将所述现实场景信息进行处理生成基于现实的背景图像，获取环境参数，根据所述环境参数对所述背景图像进行渲染得到渲染图像，将所述渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。
16. 根据权利要求15所述的用户设备，其特征在于，
所述处理器，具体用于获取用户端输入的所述环境参数，或，从所述待显示的虚拟场景图像中提取所述环境参数。
17. 根据权利要求16所述的用户设备，其特征在于，
所述处理器，具体用于当所述环境参数指示为红外模式时，对所述背景图像进行红外热感渲染得到所述渲染图像；或，当所述环境参数指示为夜视模式时，对所述背景图像进行夜视渲染得到所述渲染图像。”
经审查，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
1. 关于审查文本
复审请求人在答复复审通知书时，提交了权利要求书的全文修改替换页（包括17项权利要求）。经审查上述修改符合专利法第33条以及专利法实施细则第61条第1款的规定，本复审请求审查决定依据的审查文本为：复审请求人于2019年04月08日提交的权利要求第1-17项；申请日2016年10月26日提交的说明书第1-144段，说明书附图图1-10，说明书摘要和摘要附图。
2. 关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
权利要求与对比文件存在区别技术特征，如果这些特征没有在对比文件中公开，并且该区别技术特征以及其所能产生的技术效果、解决的技术问题，也不是本领域常采用的技术手段或本领域的常规选择可以实现的，那么该权利要求具备创造性。
本复审请求审查决定引用了与驳回决定、复审通知书相同的对比文件，即：
对比文件1：CN105955456A，公开日2016年09月21日；
对比文件2：CN104270577A，公开日2015年01月07日。
2.1权利要求1符合专利法第22条第3款的规定。
权利要求1请求保护一种增强现实场景生成方法，对比文件1公开了一种虚拟现实与增强现实融合的方法，其中（参见说明书第0068-0095段）具体披露了：S11、获取模拟人眼的双摄像头（相当于图像采集器）采集的真实场景信息，真实场景信息包括由模拟人眼的双摄像头实时拍摄的周围环境信息（相当于图像采集器拍摄到的整个场景画面）；并且，左右摄像头提供实时的图像系列，计算左右图之间的视差，得知场景层次信息，也即景深信息，该信息用来指导虚拟模型与真实场景的融合，让虚拟模型更合理地放到真实场景中。S13、根据虚拟现实场景信息与所述真实场景信息，生成融合场景；S15、呈现所述融合场景。
权利要求1与对比文件1相比，区别技术特征在于：（1）根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果。（2）将现实场景信息进行处理生成基于现实的背景图像，虚拟场景图像包括虚拟物体图像和/或虚拟角色图像。（3）将背景图像与虚拟场景图像进行融合生成融合图像包括：获取环境参数，根据所述环境参数对所述背景图像进行渲染得到渲染图像，将渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。（4）应用于基于真实场景的游戏系统，所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步。
基于上述区别技术特征，权利要求1实际解决的技术问题是：如何使得虚拟场景更佳丰富、增强视觉效果。
对于区别技术特征（1）：对比文件2公开了一种用于移动智能终端的图像处理方法和装置，其中（参见说明书第0016-0039段，图1-7）具体披露了：通过移动终端中的摄像头捕捉宣传物的视频图像；从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息；基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中（相当于根据图像中的元素实时生成虚拟场景图像中的虚拟物体图像）；通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染；显示经过三维渲染的视频图像。可通过识别宣传物上的宣传标志，并且使用增强现实技术将具有生动视觉效果的虚拟物体叠加在宣传物图像上，从而产生个性化、具有冲击力的视觉效果（为了形成叠加效果，必然需要进行实时调整，因此隐含公开了根据所述图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果）。上述特征在对比文件2中所起的作用与在本申请中所起的作用相同，均是为了使得形成的虚拟场景更佳丰富、视觉效果更佳。由此可见，对比文件2给出了将上述技术特征应用于对比文件1的启示。
对于区别技术特征（2）：对比文件1中未限定将现实场景信息生成基于现实的背景图像，并且，仅记载虚拟场景信息包括虚拟现实模型的图像信息（参见说明书第0068段）。而在本领域中，为了进行图像融合，根据对最后融合图像效果的需要，如果主要显示虚拟图像，而将现实场景信息进行处理生成基于现实的背景图像作为虚拟图像的背景，这是本领域技术人员容易想到和易于实现的，属于本领域的公知常识。另外，在对比文件1公开的虚拟场景信息包括虚拟现实模型的图像信息的基础上，根据实际显示的虚拟图像，将其设置为物体图像和角色图像是本领域技术人员根据需要容易设置的。
对于区别技术特征（3）：在对背景图像与待显示的虚拟场景图像进行融合生成融合图像时，获取环境参数，并对其进行渲染，在将其与虚拟场景图像进行叠加生成所述融合图像属于本领域的常用技术手段。
对于区别技术特征（4）：本申请是应用于基于真实场景的游戏系统，会预先在基于现实的背景图像中的元素生成虚拟场景中虚拟物体图像和/或虚拟角色图像，虚拟物体图像和虚拟角色图像可以与用户自身的旋转进行同步，可以给玩家造成游戏发生在真实世界的错觉，能够提升游戏的沉浸式体验，并基于现实的背景图像中的元素调整该虚拟物体图像和/或虚拟角色图像的视觉效果。该区别技术特征明确了根据背景图像中的元素实时生成游戏中的虚拟角色和虚拟物体，也可以根据背景图像中的元素实时调整游戏中的虚拟角色和虚拟物体，并进行融合生成融合图像，给用户更好视觉效果和游戏体验。对比文件1、2并未公开区别特征（4），也未给出相关的技术启示，并且也不属于本领域的公知常识。
综上所述，基于上述区别特征（4）及上述区别特征（4）给本申请权利要求1的技术方案带来的技术效果，权利要求1相对于对比文件1、2及本领域的公知常识的结合具备专利法第22条第3款规定的创造性。
2.2权利要求8符合专利法第22条第3款的规定。
权利要求8请求保护一种虚拟现实与增强现实融合的装置，对比文件1公开了一种智能穿戴设备，其中（参见说明书第0068-0095段）具体披露了：双摄像头，获取模拟人眼的双摄像头（相当于图像采集器）采集的真实场景信息，真实场景信息包括由模拟人眼的双摄像头实时拍摄的周围环境信息（相当于图像采集器拍摄到的整个场景画面）；并且，左右摄像头提供实时的图像系列，计算左右图之间的视差，得知场景层次信息，也即景深信息，该信息用来指导虚拟模型与真实场景的融合，让虚拟模型更合理地放到真实场景中。中央处理器，与双摄像头相连，根据虚拟现实场景信息与所述真实场景信息，生成融合场景；显示器，与中央处理器相连，用于呈现所述融合场景。
权利要求8与对比文件1相比，区别在于：（1）根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果。（2）将现实场景信息进行处理生成基于现实的背景图像，虚拟场景图像包括虚拟物体图像和/或虚拟角色图像。（3）将背景图像与虚拟场景图像进行融合生成融合图像包括：获取环境参数，根据所述环境参数对所述背景图像进行渲染得到渲染图像，将渲染图像与所述待显示的虚拟场景图像进行叠加生成所述融合图像。（4）所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步。
基于上述区别技术特征，权利要求8实际解决的技术问题是：如何使得虚拟场景更佳丰富、增强视觉效果。
对于区别技术特征（1）：对比文件2公开了一种用于移动智能终端的图像处理方法和装置，其中（参见说明书第0016-0039段，图1-7）具体披露了：通过移动终端中的摄像头捕捉宣传物的视频图像；从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息；基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中（相当于根据图像中的元素实时生成虚拟场景图像中的虚拟物体图像）；通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染；显示经过三维渲染的视频图像。可通过识别宣传物上的宣传标志，并且使用增强现实技术将具有生动视觉效果的虚拟物体叠加在宣传物图像上，从而产生个性化、具有冲击力的视觉效果（为了形成叠加效果，必然需要进行实时调整，因此隐含公开了根据所述图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果）。上述特征在对比文件2中所起的作用与在本申请中所起的作用相同，均是为了使得形成的虚拟场景更佳丰富、视觉效果更佳。由此可见，对比文件2给出了将上述技术特征应用于对比文件1中的启示。
对于区别技术特征（2）：对比文件1中未限定将现实场景信息生成基于现实的背景图像，并且，仅记载虚拟场景信息包括虚拟现实模型的图像信息（参见说明书第0068段）。而在本领域中，为了进行图像融合，根据对最后融合图像效果的需要，如果主要显示虚拟图像，而将现实场景信息进行处理生成基于现实的背景图像作为虚拟图像的背景，这属于本领域技术人员容易想到和易于实现的，属于本领域的公知常识。另外，在对比文件1公开的虚拟场景信息包括虚拟现实模型的图像信息的基础上，根据实际显示的虚拟图像，将其设置为物体图像和角色图像是本领域技术人员根据需要容易设置的。
对于区别技术特征（3）：在对背景图像与待显示的虚拟场景图像进行融合生成融合图像时，获取环境参数，并对其进行渲染，在将其与虚拟场景图像进行叠加生成所述融合图像属于本领域的常用技术手段。因此，设置各个单元以获取环境参数，进行渲染跟融合，是本领域的常用技术手段。
对于区别技术特征（4）：本申请是应用于基于真实场景的游戏系统，会预先在基于现实的背景图像中的元素生成虚拟场景中虚拟物体图像和/或虚拟角色图像，虚拟物体图像和虚拟角色图像可以与用户自身的旋转进行同步，可以给玩家造成游戏发生在真实世界的错觉，能够提升游戏的沉浸式体验，并基于现实的背景图像中的元素调整该虚拟物体图像和/或虚拟角色图像的视觉效果。该区别技术特征明确了根据背景图像中的元素实时生成游戏中的虚拟角色和虚拟物体，也可以根据背景图像中的元素实时调整游戏中的虚拟角色和虚拟物体，并进行融合生成融合图像，给用户更好视觉效果和游戏体验。对比文件1、2并未公开区别特征（4），也未给出相关的技术启示，并且也不属于本领域的公知常识。
综上所述，基于上述区别特征（4）及上述区别特征（4）给本申请权利要求8的技术方案带来的技术效果，权利要求8相对于对比文件1、2及本领域的公知常识的结合具备专利法第22条第3款规定的创造性。
2.3权利要求15符合专利法第22条第3款的规定。
权利要求15请求保护一种用户设备，对比文件1公开了一种智能穿戴设备，其中（参见说明书第0068-0095段）具体披露了：双摄像头，获取模拟人眼的双摄像头（相当于图像采集器）采集的真实场景信息，真实场景信息包括由模拟人眼的双摄像头实时拍摄的周围环境信息（相当于图像采集器拍摄到的整个场景画面），并且，左右摄像头提供实时的图像系列，计算左右图之间的视差，得知场景层次信息，也即景深信息，该信息用来指导虚拟模型与真实场景的融合，让虚拟模型更合理地放到真实场景中；中央处理器，与双摄像头相连，根据虚拟现实场景信息与所述真实场景信息，生成融合场景；显示器，与中央处理器相连，用于呈现所述融合场景。
权利要求15与对比文件1相比，区别在于：（1）根据所述背景图像中的元素实时生成虚拟场景图像中的虚拟物体图像和/或虚拟角色图像；根据所述背景图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果。（2）将现实场景信息进行处理生成基于现实的背景图像，虚拟场景图像包括虚拟物体图像和/或虚拟角色图像，另外，包括存储器，用户存储图像采集器采集的显示场景信息。（3）处理器具体用于获取现实场景信息，将现实场景信息进行处理生成基于现实的背景图像，获取环境参数，根据所述环境参数对背景图像进行渲染得到渲染图像，将所述渲染图像与待显示的虚拟场景图像进行叠加生产融合图像。（4）所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步。
基于上述区别技术特征，权利要求15实际解决的技术问题是：如何使得虚拟场景更佳丰富、增强视觉效果。
对于区别技术特征（1）：对比文件2公开了一种用于移动智能终端的图像处理方法和装置，其中（参见说明书第0016-0039段，图1-7）具体披露了：通过移动终端中的摄像头捕捉宣传物的视频图像；从所述视频图像识别预定的宣传标志，并且从所述宣传标志获取标记信息；基于所述标记信息和摄像头的参数数据将预定的虚拟物体匹配到所述视频图像中（相当于根据图像中的元素实时生成虚拟场景图像中的虚拟物体图像）；通过三维渲染引擎对所述虚拟物体和所述宣传物的拍摄场景进行三维渲染；显示经过三维渲染的视频图像。可通过识别宣传物上的宣传标志，并且使用增强现实技术将具有生动视觉效果的虚拟物体叠加在宣传物图像上，从而产生个性化、具有冲击力的视觉效果（为了形成叠加效果，必然需要进行实时调整，因此隐含公开了根据所述图像中的元素实时调整所述虚拟场景图像中的所述虚拟物体图像和/或所述虚拟角色图像的视觉效果）。上述特征在对比文件2中所起的作用与在本申请中所起的作用相同，均是为了使得形成的虚拟场景更佳丰富、视觉效果更佳。由此可见，对比文件2给出了将上述技术特征应用于对比文件1中的启示。
对于区别技术特征（2）：对比文件1中未限定将现实场景信息生成基于现实的背景图像，也没有存储器，并且，仅记载虚拟场景信息包括虚拟现实模型的图像信息（参见说明书第0068段）。而在本领域中，为了进行图像融合，根据对最后融合图像效果的需要，如果主要显示虚拟图像，而将现实场景信息进行处理生成基于现实的背景图像作为虚拟图像的背景，这属于本领域技术人员容易想到和易于实现的，属于本领域的公知常识。另外，在对比文件1公开的虚拟场景信息包括虚拟现实模型的图像信息的基础上，根据实际显示的虚拟图像，将其设置为物体图像和角色图像是本领域技术人员根据需要容易设置的。并且，根据对数据处理的需要，设置存储器对采集的场景信息数据进行存储，供处理读取处理也属于本领域在设置系统结构过程中采用的公知常识。
对于区别技术特征（3）：在对背景图像与待显示的虚拟场景图像进行融合生成融合图像时，获取环境参数，并对其进行渲染，在将其与虚拟场景图像进行叠加生成所述融合图像属于本领域的常用技术手段。因此，设置各个单元以获取环境参数，进行渲染跟融合，是本领域的常用技术手段。
对于区别技术特征（4）：本申请是应用于基于真实场景的游戏系统，会预先在基于现实的背景图像中的元素生成虚拟场景中虚拟物体图像和/或虚拟角色图像，虚拟物体图像和虚拟角色图像可以与用户自身的旋转进行同步，可以给玩家造成游戏发生在真实世界的错觉，能够提升游戏的沉浸式体验，并基于现实的背景图像中的元素调整该虚拟物体图像和/或虚拟角色图像的视觉效果。该区别技术特征明确了根据背景图像中的元素实时生成游戏中的虚拟角色和虚拟物体，也可以根据背景图像中的元素实时调整游戏中的虚拟角色和虚拟物体，并进行融合生成融合图像，给用户更好视觉效果和游戏体验。对比文件1、2并未公开区别特征（4），也未给出相关的技术启示，并且也不属于本领域的公知常识。
综上所述，基于上述区别特征（4）及上述区别特征（4）给本申请权利要求15的技术方案带来的技术效果，权利要求15相对于对比文件1、2及本领域的公知常识的结合具备专利法第22条第3款规定的创造性。
2.4权利要求2-7、9-14、16-17符合专利法第22条第3款的规定。
权利要求2-7从属于权利要求1、权利要求9-14从属于权利要求8、权利要求16-17从属于权利要求15，在其引用的权利要求相对于对比文件1、2及本领域的公知常识的结合均具备创造性的前提下，从属权利要求2-7、9-14、16-17均具备专利法第22条第3款规定的创造性。
综上所述，本申请权利要求1-17相对于对比文件1、2及本领域的公知常识的结合具备创造性。
三、针对驳回决定和前置理由
复审请求人在2019年04月08日对权利要求进行了修改，在权利要求1中加入“应用于基于真实场景的游戏系统”，权利要求1、8、15中加入“所述虚拟角色图像为游戏中用户所控制的角色，包括代表玩家身份的人物角色或者物件，所述虚拟物体图像是游戏中除虚拟角色以外的物体，所述虚拟角色根据所述游戏系统的陀螺仪组件所采集的所述用户自身旋转的数据与所述用户的真实旋转同步”。修改后的权利要求明确了在游戏系统中，基于背景图像实时生成游戏中的虚拟场景，并根据背景图像实时调整，同时利用陀螺仪实现用户自身旋转同步，以此来增加游戏真实感，实现沉浸式游戏感受。因此，修改后的权利要求相对于对比文件1、2和公知常识的结合具备创造性。
本复审决定仅针对驳回理由进行审查，至于申请文件中是否存在其它不符合专利法及专利法实施细则的缺陷，留待后续程序审查。
基于上述理由，合议组依法作出如下决定。
四、决定
撤销国家知识产权局于2018年07月24日对本申请作出的驳回决定。由国家知识产权局原审查部门在复审请求人于2019年04月08日提交的权利要求第1-17项、申请日2016年10月26日提交的说明书第1-144段、说明书附图图1-10、说明书摘要和摘要附图的基础上对本申请继续进行审查。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
