使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图-复审决定


发明创造名称:使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图
外观设计名称:
决定号:199148
决定日:2020-01-02
委内编号:1F266986
优先权日:2011-11-02;2012-05-23
申请(专利)号:201280065525.2
申请日:2012-11-02
复审请求人:谷歌有限责任公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:郭姝梅
合议组组长:李圆
参审员:王艳
国际分类号:G06T7/00;H04N13/00;H04N13/02
外观设计分类号:
法律依据:专利法第22条第3款
决定要点
:当一项权利要求要保护的方案与最接近的现有技术相比存在区别技术特征,然而上述区别技术特征属于本领域技术人员容易想到的惯用手段或公知常识,那么本领域技术人员可从该惯用手段或公知常识中获得技术启示,使得其有动机对最接近的现有技术进行改进从而获得与权利要求要保护的方案相同的技术方案,则该权利要求要保护的方案相对于现有技术不具有突出的实质性特点和显著的进步,不具备创造性。
全文:
本复审请求涉及申请号为201280065525.2,名称为“使用与示例相似图像相关联的示例近似深度映射图对输入图像生成深度映射图”的发明专利申请(下称本申请)。申请人为谷歌有限责任公司。本申请的申请日为2012年11月02日,最早优先权日为2011年11月02日,公开日为2015年12月09日,进入国家阶段的日期为2014年06月30日。
经实质审查,国家知识产权局原审查部门于2018年08月08日以权利要求第1-20项不具备专利法第22条第3款规定的创造性为由发出驳回决定,驳回了本申请。驳回决定引用的对比文件如下:
对比文件1:CN1466737A,公开日为2004年01月07日。
驳回决定的主要理由为:权利要求1与对比文件1相比,区别技术特征在于:在数据存储中识别第二三维图像,权利要求1实际解决的技术问题在于:如何获取第二三维图像,然而该区别技术特征对本领域技术人员来说是容易想到的,因而,权利要求1不具备创造性。权利要求2、3、6的附加技术特征被对比文件1公开;权利要求4的附加技术特征部分被对比文件1公开,其余技术特征“对所述多个合并块中的每一个确定深度值;以及对所述多个合并块中的每一个确定权重值”是本领域技术人员在本领域常用 K-平均值聚类算法的基础上容易想到的;权利要求5的附加技术特征部分被对比文件1公开,其余特征“其中计算所述多个像素中的每一个的深度值包括计算所述二维图像的所述多个像素中的深度值的n线性插值”是本领域的常用技术手段;权利要求7的附加技术特征在对比文件1公开的基础上本领域技术人员有动机选择的本领域常用的基于亮度、色度的颜色空间;因此权利要求2-7不也不具备创造性。权利要求8与对比文件1的区别技术特征是:(1)耦合至所述处理设备的存储器;图像转换器由所述处理设备从所述存储器执行;(2)在存储器中识别第二三维图像,权利要求8实际解决的技术问题是:如何构造系统结构以及如何获取第二三维图像,其中区别技术特征(1)是本领域的公知常识;区别技术特征(2)是本领域技术人员容易想到的,因而,权利要求8也不具备创造性。从属权利要求9-14的评述方式与权利要求2-7对应相同,因而,权利要求9-14也不具备创造性。权利要求15与对比文件1的区别技术特征是:(1)一种存储指令的非瞬时机器可读存储介质,所述指令在被执 行时使得处理设备执行操作;(2)在数据存储中识别第二三维图像。根据上述区别技术特征,权利要求15实际解决的技术问题是:如何实现操作以及如何获取第二三维图像。其中区别技术特征(1)是本领域的常用技术手段;区别技术特征(2)是本领域技术人员容易想到的。因而,权利要求15也不具备创造性。从属权利要求16-20的评述方式与权利要求2-6对应相同,因而,权利要求16-20也不具备创造性。
驳回决定所依据的文本为:2014年06月30日进入中国国家阶段日提交的说明书第1-69段,说明书附图图图1-9、说明书摘要、摘要附图;2017年11月07日提交的权利要求第1-20项。
驳回决定所针对的权利要求书如下:
“1. 一种方法,包括:
接收要转换为第一三维图像的二维图像;
在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像,其中所述第二三维图像是先前从另一二维图像的转换创建的或者初始地被捕捉为三维图像;
由处理设备通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数;
将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
2. 根据权利要求1所述的方法,其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联。
3. 根据权利要求1所述的方法,进一步包括:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
4. 根据权利要求1所述的方法,其中计算所述特征至深度映射函数包括:
识别所述第二三维图像;
识别特征空间内的多个合并块;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值。
5. 根据权利要求1所述的方法,其中应用所述特征至深度映射函数包括:
识别所述二维图像的所述多个像素中的每一个的特征;
计算所述二维图像的所述多个像素中的每一个的深度值;以及
计算所述二维图像的所述多个像素的深度值的n线性插值。
6. 根据权利要求1所述的方法,其中所述特征至深度映射函数基于颜色空间。
7. 根据权利要求6所述的方法,其中所述颜色空间是Y-Cb-Cr。
8. 一种系统,包括:
处理设备;和
耦合至所述处理设备的存储器;以及
图像转换器,其由所述处理设备从所述存储器执行以:
接收要转换为第一三维图像的二维图像;
在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像,其中所述第二三维图像是先前从另一二维图像的转换创建的或者初始地被捕捉为三维图像;
通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数;
将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
9. 根据权利要求8所述的系统,其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联。
10. 根据权利要求8所述的系统,所述图像转换器进一步:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
11. 根据权利要求8所述的系统,其中在计算所述特征至深度映射函数时,所述图像转换器:
识别所述第二三维图像;
识别特征空间内的多个合并块;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值。
12. 根据权利要求8所述的系统,其中在应用所述特征至深度映射函数时,所述图像转换器:
识别所述二维图像的所述多个像素中的每一个的特征;以及
计算所述二维图像的所述多个像素中的每一个的深度值;以及
计算所述二维图像的所述多个像素的深度值的n线性插值。
13. 根据权利要求8所述的系统,其中所述特征至深度映射函数基于颜色空间。
14. 根据权利要求13所述的系统,其中所述颜色空间是Y-Cb-Cr。
15. 一种存储指令的非瞬时机器可读存储介质,所述指令在被执 行时使得处理设备执行操作,所述操作包括:
接收要转换为第一三维图像的二维图像;
在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像,其中所述第二三维图像是先前从另一二维图像的转换创建的或者初始地被捕捉为三维图像;
由所述处理设备通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数;
将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
16. 根据权利要求15所述的非瞬时机器可读存储介质,其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联。
17. 根据权利要求15所述的非瞬时机器可读存储介质,所述操作进一步包括:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
18. 根据权利要求15所述的非瞬时机器可读存储介质,其中计算所述特征至深度映射函数包括:
识别所述第二三维图像;
识别特征空间内的多个合并块;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值。
19. 根据权利要求15所述的非瞬时机器可读存储介质,其中应用所述特征至深度映射函数包括:
识别所述二维图像的所述多个像素中的每一个的特征;以及
计算所述二维图像的所述多个像素中的每一个的深度值;以及
计算所述二维图像的所述多个像素的深度值的n线性插值。
20. 根据权利要求15所述的非瞬时机器可读存储介质,其中所述特征至深度映射函数基于颜色空间。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年11月23日向国家知识产权局提出了复审请求,同时修改了权利要求书,其中:删除了从属权利要求2、9、16;在独立权利要求1、8、15中对应补入从属权利要求2、9、16的特征,并且从说明书补入部分特征;以及,适应性修改了各项权利要求的编号,从而形成新的权利要求1-17项。在复审请求书中,复审请求人认为:(1)对比文件1没有公开修改后补入的特征 “其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联”和“其中所述特征至深度映射函数基于所述二维图像的所述多个像素中的每个像素的对应颜色值为所述二维图像的所述多个像素中的每个像素分配所述深度值”。(2)对比文件1没有公开“视频序列中关键帧与要转换的未得到深度图的2D图像在视觉上是相似的”。因此,对比文件1没有公开“在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像”和“由处理设备通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数”。因此,本申请具备创造性。
复审请求时新修改的权利要求书如下:
“1. 一种方法,包括:
接收要转换为第一三维图像的二维图像;
在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像,其中所述第二三维图像是先前从另一二维图像的转换创建的或者初始地被捕捉为三维图像;
由处理设备通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数,其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联;
将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值,其中所述特征至深度映射函数基于所述二维图像的所述多个像素中的每个像素的对应颜色值为所述二维图像的所述多个像素中的每个像素分配所述深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
2. 根据权利要求1所述的方法,进一步包括:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
3. 根据权利要求1所述的方法,其中计算所述特征至深度映射函数包括:
识别所述第二三维图像;
识别特征空间内的多个合并块;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值。
4. 根据权利要求1所述的方法,其中应用所述特征至深度映射函数包括:
识别所述二维图像的所述多个像素中的每一个的特征;
计算所述二维图像的所述多个像素中的每一个的深度值;以及
计算所述二维图像的所述多个像素的深度值的n线性插值。
5. 根据权利要求1所述的方法,其中所述特征至深度映射函数基于颜色空间。
6. 根据权利要求5所述的方法,其中所述颜色空间是Y-Cb-Cr。
7. 一种系统,包括:
处理设备;和
耦合至所述处理设备的存储器;以及
图像转换器,其由所述处理设备从所述存储器执行以:
接收要转换为第一三维图像的二维图像;
在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像,其中所述第二三维图像是先前从另一二维图像的转换创建的或者初始地被捕捉为三维图像;
通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数,其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联;
将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值,其中所述特征至深度映射函数基于所述二维图像的所述多个像素中的每个像素的对应颜色值为 所述二维图像的所述多个像素中的每个像素分配所述深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
8. 根据权利要求7所述的系统,所述图像转换器进一步:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
9. 根据权利要求7所述的系统,其中在计算所述特征至深度映射函数时,所述图像转换器:
识别所述第二三维图像;
识别特征空间内的多个合并块;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值。
10. 根据权利要求7所述的系统,其中在应用所述特征至深度映射函数时,所述图像转换器:
识别所述二维图像的所述多个像素中的每一个的特征;以及
计算所述二维图像的所述多个像素中的每一个的深度值;以及
计算所述二维图像的所述多个像素的深度值的n线性插值。
11. 根据权利要求7所述的系统,其中所述特征至深度映射函数基于颜色空间。
12. 根据权利要求11所述的系统,其中所述颜色空间是Y-Cb-Cr。
13. 一种存储指令的非瞬时机器可读存储介质,所述指令在被执 行时使得处理设备执行操作,所述操作包括:
接收要转换为第一三维图像的二维图像;
在数据存储中识别与立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像,其中所述第二三维图像是先前从另一二维图像的转换创建的或者初始地被捕捉为三维图像;
由所述处理设备通过对来自与先前创建的与所述立体图像对相对应并且与要转换的二维图像视觉上类似的第二三维图像相关联的近似深度映射图的多个像素中的至少一部分像素的深度值求平均来计算所述第一三维图像的特征至深度映射函数,其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联;
将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值,其中所述特征至深度映射函数基于所述二维图像的所述多个像素中的每个像素的对应颜色值为所述二维图像的所述多个像素中的每个像素分配所述深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
14. 根据权利要求13所述的非瞬时机器可读存储介质,所述操作进一步包括:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
15. 根据权利要求13所述的非瞬时机器可读存储介质,其中计算所述特征至深度映射函数包括:
识别所述第二三维图像;
识别特征空间内的多个合并块;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值。
16. 根据权利要求13所述的非瞬时机器可读存储介质,其中应用所述特征至深度映射函数包括:
识别所述二维图像的所述多个像素中的每一个的特征;以及
计算所述二维图像的所述多个像素中的每一个的深度值;以及
计算所述二维图像的所述多个像素的深度值的n线性插值。
17. 根据权利要求13所述的非瞬时机器可读存储介质,其中所述特征至深度映射函数基于颜色空间。”
经形式审查合格,国家知识产权局于2018年12月03日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为,(1)根据对比文件1中的记载(参见对比文件1说明书第11-12页创建映射函数),其公开了“其中所述特征至深度映射函数将所述第二三维图像中具有第一颜色值的多个像素与深度值相关联”。同时,对比文件1还公开了如下技术特征(参见对比文件1说明书第12-13页应用映射函数):接着将采用该映射函数并在还未得到深度图的2D图像组上应用它,对于该组中给定的2D图像,用在学习过程中提供给映射函数的相似方式来确定映射函数的输入。如果采用像素颜色值作为输入来进行的学习,那么在应用过程中,基于二维图像的像素的颜色值来确定二维图像中每个像素所对应的深度值,这对本领域技术人员来说是显而易见的。(2)对比文件1公开了如下技术特征(参见对比文件1说明书第13页第2段):“对于2D图像序列,具有深度图的关键帧可以任何任一方式在序列上间隔开。在较佳实施例中,映射函数将提供一组关键帧以及它们所对应的跨过具有某些共同点的2D图像组的深度图”,由此可知,关键帧和利用该关键帧的未得到深度图的2D图像具有某些共同点,而在获取视频时,如果摄像头是静止不动的,那么每帧图像的背景是相同的,跨过的共同点就是相同的背景点,此时关键帧和未得到深度图的2D图像必然是视觉上相似的;如果摄像头是运动的,连续图像帧中的场景是连续的,跨过共同点就意味着关键帧与未得到的深度图的2D图像具有部分相同的景,这是可直接、毫无疑义确定的,也就是说关键帧与未得到深度图的2D图像是视觉上相似的,因此,对比文件1隐含公开了“视频序列中关键帧与要转换的未得到深度图的2D图像在视觉上是相似的”。因而坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年08月08日向复审请求人发出复审通知书,指出权利要求1-17不具备专利法第22条第3款规定的创造性。复审通知书中引用的对比文件与驳回决定的对比文件相同,为:
对比文件1: CN1466737A,公开日为2004年01月07日。
合议组在复审通知书中指出:权利要求1与对比文件1相比,区别技术特征在于:要在数据存储中识别出所述第二三维图像。该区别是本领域技术人员在对比文件1的基础上容易想到的,因而,权利要求1不具备创造性。权利要求2、5的附加技术特征被对比文件1公开;权利要求3的附加技术特征部分被对比文件1公开,“对每个合并块确定权重值”是本领域技术人员容易想到的;权利要求4的附加技术特征部分被对比文件1公开,并且,在图像处理领域通过多个像素的特定值进行线性差值的方式对图像数据进行滤波处理从而优化图像数据,是本领域常用技术手段;权利要求6的附加技术特征是本领域技术人员在对比文件1的基础上的常用选择。因此,从属权利要求2-6不具备创造性。权利要求7与对比文件1相比,区别技术特征在于:要在数据存储中识别出所述第二三维图像;具备处理设备和耦合至所述处理设备的存储器 ,以及图像转换器,其由所述处理设备从所述存储设备执行。然而,存储已有信息以便后续的比对和查询是本领域的公知常识,其他区别特征是本领域技术人员在对比文件1的基础上容易想到的,因而,权利要求7不具备创造性。权利要求8-12的的附加技术特征与权利要求2-6的附加技术特征完全相同,参考与评述权利要求2-6相同的证据及评述理由,权利要求8-12也不具备创造性。权利要求13请求保护一种存储指令的非瞬时机器可读存储介质,参考评述权利要求1所使用的证据及评述理由,并且结合在本领域中将用于实现某一方法步骤的指令存储在非瞬时机器可读存储介质中、并由处理器执行相关指令是本领域的公知常识这一技术事实,权利要求13也不具备创造性。权利要求14-17的附加技术特征与权利要求2-5的附加技术特征内容完全相同,参考与评述权利要求2-5相同的证据及评述理由,权利要求14-17也不具备创造性。
复审请求人于2019年09月23日提交了意见陈述书及修改后的权利要求书。修改情况如下:复审请求人在复审请求时提交的权利要求书的基础上,删除了从属权利要求5、11、17,删除了从属权利要求3、9、15;在独立权利要求1、7、13中对应补入从属权利要求3、9、15的特征,并且从说明书中补入特征“其中每个合并块的权重值是该合并块内的占用比率和任意合并块的平均占用的函数;并且其中,所述权重值用于通过对至少一个合并块的深度值重新分配该至少一个合并块的相邻合并块的加权平均值来平滑所述映射函数;通过基于所述二维图像的特征来关联所述多个像素中的每个像素的深度值”;以及,适应性修改了各项权利要求的编号。从而形成新的权利要求第1-11项。修改后的权利要求书如下:
“1. 一种方法,包括:
接收要转换为第一三维图像的二维图像;
基于第二三维图像视觉上类似于要转换的二维图像来从多个三维图像中识别所述第二三维图像,并且其中所述第二三维图像是先前从另一二维图像的转换创建的;
由处理设备基于与所述第二三维图像相关联的近似深度映射图来计算特征至深度映射函数,其中特征包括所述第二三维图像的像素的颜色值,并且其中计算所述特征至深度映射函数包括:
识别颜色空间内的多个合并块,以降低映射函数考虑的颜色的数目;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值,其中每个合并块的权重值是该合并块内的占用比率和任意合并块的平均占用的函数;并且其中,所述权重值用于通过对至少一个合并块的深度值重新分配该至少一个合并块的相邻合并块的加权平均值来平滑所述映射函数;
通过基于所述二维图像的特征来关联所述多个像素中的每个像素的深度值,将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
2. 根据权利要求1所述的方法,进一步包括:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
3. 根据权利要求1所述的方法,其中应用所述特征至深度映射函数包括:
识别所述二维图像的所述多个像素中的每一个的特征;
计算所述二维图像的所述多个像素中的每一个的深度值,其中,计算所述多个像素中的每一个的深度值包括计算所述二维图像的所述多个像素的深度值的n线性插值。
4. 根据权利要求1所述的方法,其中所述颜色空间是Y-Cb-Cr。
5. 一种系统,包括:
处理设备;和
耦合至所述处理设备的存储器;以及
图像转换器,其由所述处理设备从所述存储器执行以:
接收要转换为第一三维图像的二维图像;
基于第二三维图像视觉上类似于要转换的二维图像来从多个三维图像中识别所述第二三维图像,并且其中所述第二三维图像是先前从另一二维图像的转换创建的;
基于与所述第二三维图像相关联的近似深度映射图来识别特征至深度映射函数,其中特征包括所述第二三维图像的像素的颜色值,并且其中,在识别所述特征至深度映射函数时,所述图像转换器:
识别颜色空间内的多个合并块,以降低映射函数考虑的颜色的数目;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值,其中每个合并块的权重值是该合并块内的占用比率和任意合并块的平均占用的函数;并且其中,所述权重值用于通过对至少一个合并块的深度值重新分配该至少一个合并块的相邻合并块的加权平均值来平滑所述映射函数;
通过基于所述二维图像的特征来关联所述多个像素中的每个 像素的深度值,将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
6. 根据权利要求5所述的系统,所述图像转换器进一步:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
7. 根据权利要求5所述的系统,其中在应用所述特征至深度映射函数时,所述图像转换器:
识别所述二维图像的所述多个像素中的每一个的特征;以及
计算所述二维图像的所述多个像素中的每一个的深度值,其中计算所述多个像素中的每一个的深度值包括计算所述二维图像的所述多个像素的深度值的n线性插值。
8. 根据权利要求5所述的系统,其中所述颜色空间是Y-Cb-Cr。
9. 一种存储指令的非瞬时机器可读存储介质,所述指令在被执行时使得处理设备执行操作,所述操作包括:
接收要转换为第一三维图像的二维图像;
基于第二三维图像视觉上类似于要转换的二维图像来从多个三维图像中识别所述第二三维图像,并且其中所述第二三维图像是先前从另一二维图像的转换创建的;
由处理设备基于与所述第二三维图像相关联的近似深度映射图来计算特征至深度映射函数,其中特征包括所述第二三维图像的像素的颜色值,并且其中计算所述特征至深度映射函数包括:
识别颜色空间内的多个合并块,以降低映射函数考虑的颜色 的数目;
将所述第二三维图像的多个像素与所述多个合并块相关联;
对所述多个合并块中的每一个确定深度值;以及
对所述多个合并块中的每一个确定权重值,其中每个合并块的权重值是该合并块内的占用比率和任意合并块的平均占用的函数;并且其中,所述权重值用于通过对至少一个合并块的深度值重新分配该至少一个合并块的相邻合并块的加权平均值来平滑所述映射函数;
通过基于所述二维图像的特征来关联所述多个像素中的每个像素的深度值,将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及
基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。
10. 根据权利要求9所述的非瞬时机器可读存储介质,所述操作进一步包括:
在逻辑上将所述第二三维图像划分为多个分区;以及
计算与所述第二三维图像相关联的多个特征至深度映射函数,其中所述多个特征至深度映射函数中的每一个与所述第二三维图像的所述多个分区中的不同分区相关联。
11. 根据权利要求9所述的非瞬时机器可读存储介质,其中应用所述特征至深度映射函数包括:
识别所述二维图像的所述多个像素中的每一个的特征;以及
计算所述二维图像的所述多个像素中的每一个的深度值,其中,计算所述多个像素中的每一个的深度值包括计算所述二维图像的所述多个像素的深度值的n线性插值。”
在意见陈述书中,复审请求人认为:(1)复审通知书中没有引用与“合并块”相关的任何内容,对比文件1中的K均值集群算法不同于识别特征空间内的多个合并块以及将所述第二三维图像的多个像素与所述多个合并块相关联,只是通过图形数据(颜色、位置和深度信息)来识别,也就是说,集群算法确定近似相关的数据的集群,因此通过图像数据来定义。权利要求1的方法与对比文件1的方法操作上完全不同。(2)对比文件1没有公开“基于第二三维图像视觉上类似于要转换的二维图像来从多个三维图像中识别所述第二三维图像”。对比文件1涉及确定视频帧的深度信息,假定已经知道视频帧可能视觉相似,没有理由确定与视频的其它帧视觉相似的特定关键帧。
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在2019年09月23日答复复审通知书时提交了权利要求书的修改替换页,经合议组审查认定,所做出的修改符合专利法第33条及专利法实施细则第61条第1款的规定。
因此,本复审决定针对的审查文本为:2014年06月30日进入中国国家阶段日提交的说明书第1-69段,说明书附图图图1-9、说明书摘要、摘要附图;2019年09月23日提交的权利要求第1-11项。
2、专利法第22条第3款
专利法第22条第3款规定:“创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。”
当一项权利要求要保护的方案与最接近的现有技术相比存在区别技术特征,然而上述区别技术特征属于本领域技术人员容易想到的惯用手段或公知常识,那么本领域技术人员可从该惯用手段或公知常识中获得技术启示,使得其有动机对最接近的现有技术进行改进从而获得与权利要求要保护的方案相同的技术方案,则该权利要求要保护的方案相对于现有技术不具有突出的实质性特点和显著的进步,不具备创造性。
本复审决定引用的对比文件与驳回决定及复审通知书中引用的对比文件相同,即:
对比文件1: CN1466737A,公开日为2004年01月07日。
2-1、权利要求1不具备专利法第22条第3款规定的创造性。
对比文件1中公开了一种图像转换和编码技术,并且具体公开了以下技术特征(参见说明书第1页第24-29行,第6页第1行-第8页第16行、第9页第31行-第10页第16行、第12页第24行-第14页第29行):采用映射函数并将其应用于2D图像序列的整个帧上(相当于隐含公开了:接收要转换成三维图像的二维图像);第一阶段在单个的图像上操作;2D图像1可呈现给用户;用户可随后为图像2中不同的像素分配深度;系统随后使2D图像1与用户提供的深度数据2互相关联,并使用训练算法3来协助映射函数4的创建,该算法能够解答图像中每个像素深度的函数;第二阶段在图像序列上进行操作,其中至少将一个帧确定为关键帧,对于每个关键帧接收3D立体数据,通常以深度图的形式。该深度图可归因于任何处理,诸如人工规定、第一阶段的输出,从立体图像确定的深度或使用范围寻找系统直接获得深度;另外,3D立体信息可采用除深度图之外的其它形式,比如从包含立体象对的关键帧获得的差别信息;该映射函数可以是将任何2D图像的给定测量值作为输入的过程或函数,并且将该图像的深度图作为输出提供。该映射通过捕捉关键帧图像数据和这些图像的深度图数据之间的关系得以学习,其中图像数据例如可以是图像颜色特征,在一学习过程中,为训练算法提供来自2D关键帧图像的信息,该信息可以以像素为单位呈现在像素上,其中提供了诸如红、绿、蓝色值之类的像素测量,或者诸如亮度、色度、对比度之类的其他测量,以及诸如图像中水平和垂直位置之类的空间测量,也可以以较高水平图像特征的形式来呈现信息,诸如较大像素组,并在像素组上进行诸如平均值和方差或界限值、角落值等之类的测量,接着,向训练算法呈现对应的深度图,从而可获得其所需的映射,如果正在使用较高水平的图像特征,诸如较大像素组或段,则该深度图可以是该像素组的深度测量值,如平均值和方差(相当于公开了“由处理设备基于与所述第二三维图像相关联的近似深度映射图来计算特征至深度映射函数,其中特征包括所述第二三维图像的像素的颜色值”);一旦系统提供关键帧以及它们对应的深度图后,该系统就分析关键帧和对应的最初得到的深度图,从而创建了映射函数;对于2D图像序列,具有深度图的关键帧可以任何任一的方式在序列上间隔开,在较佳实施例中,两个由一个或多个插入帧分开的关键帧被定义为该处理中第二阶段的输入,该阶段的目的是向这些插入帧中的每一个分配深度图,对插入帧分配深度图的较佳顺序是在时间上最接近关键帧的处理帧为第一个,已被处理过的帧随后成为深度图下一帧的关键帧(结合对比文件1中发明背景部分提及的“需要对一系列图像绘制其深度,例如对电影或视频”,对于电影或视频这类连续的视频帧图像序列来说,时间上接近的两个视频帧通常是相似图像,即时间上最接近关键帧的处理帧与该关键帧通常是相似图像,因此,对比文件1相当于公开了“基于第二三维图像视觉上类似于要转换的二维图像来从多个三维图像中识别所述第二三维图像,并且其中所述第二三维图像是先前从另一二维图像的转换创建的;”)
对于给定的像素,映射函数的输入以与在学习过程中得到映射函数相似的方式确定。例如,如果该映射函数通过将单个像素的测量值作为输入来获得,则映射函数将需要这些作为输入的相同测量值;接着将采用该映射函数并在未得到深度图的2D图像组上应用它,得到2D图像的深度图,从而实现2D图像到3D图像的转换;信息可以以像素为单位呈现在像素上,其中提供了诸如红、绿和蓝色值之类的像素测量,或诸如亮度、色度、对比度之类的其它测量。另外,可以较高水平图像特征的形式来呈现信息,诸如较大像素组。通过这些特征学习输入数据和所需输出数据之间的关系,即关键帧图像和深度图之间的映射函数;采用学习算法计算2D图像序列帧中每个像素的以下关系:zn=ka.xn kb.yn kc.Rn kd.Gn ke.Bn,其中n是关键帧图像中的第n个像素,zn是分配给xn,yn处像素的深度值,ka到ke是常数且由算法决定, Rn是在xn,yn处像素的红色分量值,Gn是在xn,yn处像素的绿色分量值,Bn是在xn,yn处像素的蓝色分量值。(结合对比文件1公开的映射函数是基于关键帧的像素及其对应的深度值而生成的情况下,对比文件1相当于公开了“通过基于所述二维图像的特征来关联所述多个像素中的每个像素的深度值,将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。”)
对比文件1中还公开了(参见说明书第6页第1、2段):一旦为该系统提供图像和一些像素深度,则该系统随后用所确定的深度分析像素,从而创建了映射函数,该映射函数可以是一过程或一将任何来自图像的一个像素或一组像素(该一组像素相当于权利要求1中所述的合并块)的测量值作为输入,并将该像素或该组像素的深度值作为输出提供的函数(相当于识别颜色空间内的合并块,以降低映射函数考虑的颜色的数目,将第二三维图像的多个像素与所述合并块相关联,对所述多个合并块中的每一个确定深度值)。另外,可以较高水平图像特征的形式来呈现信息,诸如较大像素组,基于较大像素组进行特征测量,较大像素组可比如表示图像中的段,它们是形成同性质区域的连接像素组。向训练算法呈现对应的深度图,从而可获得其所需的映射。通常向训练算法呈现各个像素。但是如果正在使用较高水平的图像特性,诸如较大像素组或段,则该深度图可以是该像素组的深度测量值,诸如平均值或方差。
权利要求1与对比文件1相比,区别技术特征在于:(1)要在数据存储中识别出所述第二三维图像;(2)对所述多个合并块的每一个确定权重值,其中每个合并块的权重值是该合并块内的占用比率和任意合并块的平均占用的函数,并且其中所述权重值用于通过对至少一个合并块的深度值重新分配该至少一个合并块的相邻合并块的加权平均值来平滑所述映射函数。基于该区别技术特征,权利要求1实际要解决的问题是:从何处找到与要转换的图像相似的已有三维图像以及如何实现三维图像深度的平滑处理。
对于区别技术特征(1),将已有数据信息存储起来,以便于后续进行相关信息的比对及查询在本领域中已经是公知常识。因而,在对比文件1中已经公开了在处理整个图像序列之前,需要基于该图像序列的一些关键帧及其三维图像而创建2D至3D映射函数、并且图像序列中的其他帧要基于上述关键帧来选择相应的映射函数的基础上,为了保存上述关键帧以便于考虑其他图像帧与各个关键帧之间的关系,而可将上述关键帧及其三维图像、映射函数等保存于本地或网络存储空间中,以备后续查询及比对之用,这对于本领域技术人员来说是很容易想到的。
对于区别技术特征(2),对比文件1中进一步公开了(参见说明书第14页第1-20行):对于要绘制深度的帧中的每个像素,使用目标像素的图像特性来确定与所述像素相关的深度。在较佳的实施例中,重新得到两个深度估算值,每个关键帧得到一个。在图7中示出了该过程,在图像序列中的当前帧之前和之后目标像素是怎样同最接近的源关键帧进行比较。每个关键帧产生一目标像素深度的估计值,我们将其定义为D1和D2。为了确定与目标像素相关的最终深度,D1和D2必须结合。在较佳实施例中,使用关键帧的位置作为加权参数来计算这些值的加权平均值。如果从当前帧到第一关键帧的距离是T1,从当前帧到第二关键帧的距离是T2,则目标像素的深度由下式给出: ,  , ,其中D1和D2分别是从关键帧1和关键帧2计算所得的深度。由此可见,对比文件1实质上公开了,在确定相邻关键帧之间的像素的深度值时,可以通过加权平均来使其深度值得到平滑过渡。
基于对比文件1的上述公开,本领域技术人员很容易想到,当需要在多个不同的像素组(即合并块)之间平滑其深度值时,也可以通过相邻合并块进行加权平均来使其深度映射函数实现平滑,从而提升三维图像的深度显示效果。并且,虽然对比文件1是采用到相邻关键帧的距离来计算其相应的权重,而本申请是采用每个合并块的占用比率与平均占用之间的函数来计算权重,但是对于不同面积的区域进行权重赋值时,以其占用比例为基础来计算其权重值是本领域技术人员容易想到惯用技术手段。
因此,本领域技术人员可以从上述公知常识或惯用技术手段中获得技术启示,并将其与对比文件1所公开的技术内容相结合,从而能够容易地得到权利要求1请求保护的技术方案。在此基础上,权利要求1不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-2、权利要求2不具备专利法第22条第3款规定的创造性。
权利要求2引用权利要求1。对比文件1进一步公开了:"该信息可以以像素为单位呈现在像素上,其中提供了诸如红、绿和蓝色值之类的像素测量,或诸如亮度、色度、对比度之类的其它测量。另外,可以较高水平图像特征的形式来呈现信息,诸如较大像素组(相当于分区),基于较大像素组进行特征测量,较大像素组可比如表示图像中的段,它们是形成同性质区域的连接像素组。通过这些特征学习输入数据和所需输出数据之间的关系,即关键帧图像和深度图之间的映射函数。相当于公开了权利要求2的附加技术特征。
因此,在其引用的权利要求不具备创造性的基础上,权利要求2不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-3、权利要求3不具备专利法第22条第3款规定的创造性。
权利要求3引用权利要求1。对比文件1公开了如下技术特征(参见对比文件1说明书第12页最后一段):接着将采用该映射函数并在还未得到深度图的2D图像组上应用它。对于该组中给定的2D图像,用在学习过程中提供给映射函数的相似方式来确定映射函数的输入。例如,如果通过将单个像素的测量作为输入来学习映射函数,则映射函数对于新图像中的像素来说都将需要这些相同的测量。利用这些输入,该映射函数完成了其所学习的任务并输出一深度测量值(相当于其中应用所述特征至深度映射函数包括:识别所述二维图像的所述多个像素中的每一个的特征; 以及计算所述二维图像的所述多个像素中的每一个的深度值)。
对于技术特征“其中计算所述多个像素中的每一个的深度值包括计算所述二维图像的所述多个像素中的深度值的n线性插值”,然而,在图像处理领域中,通过多个像素的特定值进行线性差值的方式,对图像数据进行滤波处理,从而优化图像数据,这是本领域常用技术手段。
因此,在其引用的权利要求不具备创造性的基础上,权利要求3不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-4、权利要求4不具备专利法第22条第3款规定的创造性。
对比文件1公开了上述附加技术特征(参见对比文件1说明书第11页第18-25行):该信息可以以像素为单位呈现在像素上,其中提供了诸如红、绿和蓝色值之类的像素测量,或诸如亮度、色度、对比度之类的其它测量;也就是说,对比文件1给出了多种颜色空间的选择,而Y-Cb-Cr是本领域常用基于亮度、色度的颜色空间,本领域技术人员有动机选择Y-Cb-Cr作为颜色特征。
因此,在其引用的权利要求不具备创造性的基础上,权利要求4不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-5、权利要求5不具备专利法第22条第3款规定的创造性。
权利要求5请求保护一种系统,其具备处理设备和耦合至所述处理设备的存储器 ,以及图像转换器,其由所述处理设备从所述存储设备执行,从而实现与权利要求1相同的方法步骤。
对比文件1中公开了一种图像转换和编码技术,并且具体公开了以下技术特征(参见说明书第1页第24-29行,第6页第1行-第8页第16行、第9页第31行-第10页第16行、第12页第24行-第14页第29行):采用映射函数并将其应用于2D图像序列的整个帧上(相当于隐含公开了:接收要转换成三维图像的二维图像);第一阶段在单个的图像上操作;2D图像1可呈现给用户;用户可随后为图像2中不同的像素分配深度;系统随后使2D图像1与用户提供的深度数据2互相关联,并使用训练算法3来协助映射函数4的创建,该算法能够解答图像中每个像素深度的函数;第二阶段在图像序列上进行操作,其中至少将一个帧确定为关键帧,对于每个关键帧接收3D立体数据,通常以深度图的形式。该深度图可归因于任何处理,诸如人工规定、第一阶段的输出,从立体图像确定的深度或使用范围寻找系统直接获得深度;另外,3D立体信息可采用除深度图之外的其它形式,比如从包含立体象对的关键帧获得的差别信息;该映射函数可以是将任何2D图像的给定测量值作为输入的过程或函数,并且将该图像的深度图作为输出提供。该映射通过捕捉关键帧图像数据和这些图像的深度图数据之间的关系得以学习,其中图像数据例如可以是图像颜色特征,在一学习过程中,为训练算法提供来自2D关键帧图像的信息,该信息可以以像素为单位呈现在像素上,其中提供了诸如红、绿、蓝色值之类的像素测量,或者诸如亮度、色度、对比度之类的其他测量,以及诸如图像中水平和垂直位置之类的空间测量,也可以以较高水平图像特征的形式来呈现信息,诸如较大像素组,并在像素组上进行诸如平均值和方差或界限值、角落值等之类的测量,接着,向训练算法呈现对应的深度图,从而可获得其所需的映射,如果正在使用较高水平的图像特征,诸如较大像素组或段,则该深度图可以是该像素组的深度测量值,如平均值和方差(相当于公开了“由处理设备基于与所述第二三维图像相关联的近似深度映射图来计算特征至深度映射函数,其中特征包括所述第二三维图像的像素的颜色值”);一旦系统提供关键帧以及它们对应的深度图后,该系统就分析关键帧和对应的最初得到的深度图,从而创建了映射函数;对于2D图像序列,具有深度图的关键帧可以任何任一的方式在序列上间隔开,在较佳实施例中,两个由一个或多个插入帧分开的关键帧被定义为该处理中第二阶段的输入,该阶段的目的是向这些插入帧中的每一个分配深度图,对插入帧分配深度图的较佳顺序是在时间上最接近关键帧的处理帧为第一个,已被处理过的帧随后成为深度图下一帧的关键帧(结合对比文件1中发明背景部分提及的“需要对一系列图像绘制其深度,例如对电影或视频”,对于电影或视频这类连续的视频帧图像序列来说,时间上接近的两个视频帧通常是相似图像,即时间上最接近关键帧的处理帧与该关键帧通常是相似图像,因此,对比文件1相当于公开了“基于第二三维图像视觉上类似于要转换的二维图像来从多个三维图像中识别所述第二三维图像,并且其中所述第二三维图像是先前从另一二维图像的转换创建的;”)
对于给定的像素,映射函数的输入以与在学习过程中得到映射函数相似的方式确定。例如,如果该映射函数通过将单个像素的测量值作为输入来获得,则映射函数将需要这些作为输入的相同测量值;接着将采用该映射函数并在未得到深度图的2D图像组上应用它,得到2D图像的深度图,从而实现2D图像到3D图像的转换;信息可以以像素为单位呈现在像素上,其中提供了诸如红、绿和蓝色值之类的像素测量,或诸如亮度、色度、对比度之类的其它测量。另外,可以较高水平图像特征的形式来呈现信息,诸如较大像素组。通过这些特征学习输入数据和所需输出数据之间的关系,即关键帧图像和深度图之间的映射函数;采用学习算法计算2D图像序列帧中每个像素的以下关系:zn=ka.xn kb.yn kc.Rn kd.Gn ke.Bn,其中n是关键帧图像中的第n个像素,zn是分配给xn,yn处像素的深度值,ka到ke是常数且由算法决定, Rn是在xn,yn处像素的红色分量值,Gn是在xn,yn处像素的绿色分量值,Bn是在xn,yn处像素的蓝色分量值。(结合对比文件1公开的映射函数是基于关键帧的像素及其对应的深度值而生成的情况下,对比文件1相当于公开了“通过基于所述二维图像的特征来关联所述多个像素中的每个像素的深度值,将所述特征至深度映射函数应用于所述二维图像的多个像素以对所述多个像素中的每一个确定深度值;以及基于所述二维图像的所述多个像素的深度值生成所述第一三维图像。”)
对比文件1中还公开了(参见说明书第6页第1、2段):一旦为该系统提供图像和一些像素深度,则该系统随后用所确定的深度分析像素,从而创建了映射函数,该映射函数可以是一过程或一将任何来自图像的一个像素或一组像素(该一组像素相当于权利要求5中所述的合并块)的测量值作为输入,并将该像素或该组像素的深度值作为输出提供的函数(相当于识别颜色空间内的合并块,以降低映射函数考虑的颜色的数目,将第二三维图像的多个像素与所述合并块相关联,对所述多个合并块中的每一个确定深度值)。另外,该映射函数可操作诸如较大像素组之类的较高水平图像特征,较大像素组可比如表示图像中的段,它们是形成同性质区域的连接像素组。向训练算法呈现对应的深度图,从而可获得其所需的映射。通常向训练算法呈现各个像素。但是如果正在使用较高水平的图像特性,诸如较大像素组或段,则该深度图可以是该像素组的深度测量值,诸如平均值或方差。
权利要求5与对比文件1相比,区别技术特征在于:(1)要在数据存储中识别出所述第二三维图像;(2)对所述多个合并块的每一个确定权重值,其中每个合并块的权重值是该合并块内的占用比率和任意合并块的平均占用的函数,并且其中所述权重值用于通过对至少一个合并块的深度值重新分配该至少一个合并块的相邻合并块的加权平均值来平滑所述映射函数。基于该区别技术特征,权利要求5实际要解决的问题是:从何处找到与要转换的图像相似的已有三维图像以及如何实现三维图像深度的平滑处理。
对于区别技术特征(1),将已有数据信息存储起来,以便于后续进行相关信息的比对及查询在本领域中已经是公知常识。因而,在对比文件1中已经公开了在处理整个图像序列之前,需要基于该图像序列的一些关键帧及其三维图像而创建2D至3D映射函数、并且图像序列中的其他帧要基于上述关键帧来选择相应的映射函数的基础上,为了保存上述关键帧以便于考虑其他图像帧与各个关键帧之间的关系,而可将上述关键帧及其三维图像、映射函数等保存于本地或网络存储空间中,以备后续查询及比对之用,这对于本领域技术人员来说是很容易想到的。
对于区别技术特征(2),对比文件1中进一步公开了(参见说明书第14页第1-20行):对于要绘制深度的帧中的每个像素,使用目标像素的图像特性来确定与所述像素相关的深度。在较佳的实施例中,重新得到两个深度估算值,每个关键帧得到一个。在图7中示出了该过程,在图像序列中的当前帧之前和之后目标像素是怎样同最接近的源关键帧进行比较。每个关键帧产生一目标像素深度的估计值,我们将其定义为D1和D2。为了确定与目标像素相关的最终深度,D1和D2必须结合。在较佳实施例中,使用关键帧的位置作为加权参数来计算这些值的加权平均值。如果从当前帧到第一关键帧的距离是T1,从当前帧到第二关键帧的距离是T2,则目标像素的深度由下式给出: ,  , ,其中D1和D2分别是从关键帧1和关键帧2计算所得的深度。由此可见,对比文件1实质上公开了,在确定相邻关键帧之间的像素的深度值时,可以通过加权平均来使其深度值得到平滑过渡。
基于对比文件1的上述公开,本领域技术人员很容易想到,当需要在多个不同的像素组(即合并块)之间平滑其深度值时,也可以通过相邻合并块进行加权平均来使其深度映射函数实现平滑,从而提升三维图像的深度显示效果。并且,虽然对比文件1是采用到相邻关键帧的距离来计算其相应的权重,而本申请是采用每个合并块的占用比率与平均占用之间的函数来计算权重,但是对于不同面积的区域进行权重赋值时,以其占用比例为基础来计算其权重值是本领域技术人员容易想到惯用技术手段。
此外,由处理器、存储器构成并由处理器执行各类程序的计算机系统结构是公知常识。
因此,本领域技术人员可以从上述公知常识中获得技术启示,并将其与对比文件1所公开的技术内容相结合,从而能够容易地得到权利要求5请求保护的技术方案。在此基础上,权利要求5不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-6、权利要求6-8不具备专利法第22条第3款规定的创造性。
权利要求6-8的附加技术特征与权利要求2-4的附加技术特征完全相同,在其分别引用的权利要求5和权利要求1均不具备创造性的基础上,参考与评述权利要求2-4相同的证据及评述理由,权利要求6-8同样不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-7、权利要求9不具备专利法第22条第3款规定的创造性。
权利要求9请求保护一种存储指令的非瞬时机器可读存储介质,所述指令在被执行时使得处理设备执行操作,所述操作为与权利要求1相同的方法步骤。
参考评述权利要求1所使用的证据及评述理由,并且结合在本领域中将用于实现某一方法步骤的指令存储在非瞬时机器可读存储介质中、并由处理器执行相关指令是本领域的公知常识这一技术事实,本领域技术人员能够通过将对比文件1与本领域公知常识相结合,从而获得权利要求9请求保护的技术方案。因此,权利要求9不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2-8、权利要求10-11不具备专利法第22条第3款规定的创造性。
权利要求10-11的附加技术特征与权利要求2-3的附加技术特征内容完全相同,在其分别引用的权利要求9和权利要求1均不具备创造性的基础上,参考与评述权利要求2-3相同的证据及评述理由,权利要求10-11同样不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
3、对复审请求人相关意见的评述
对于复审请求人在答复复审通知书时提出的陈述意见(参见案由部分),合议组回应如下:
如以上在评述权利要求1时具体指出的,对比文件1中公开了(参见说明书第6页第1、2段):该映射函数可以是一过程或一将任何来自图像的一个像素或一组像素的测量值作为输入,并将该像素或该组像素的深度值作为输出提供的函数,较大像素组可比如表示图像中的段,它们是形成同性质区域的连接像素组。向训练算法呈现对应的深度图,从而可获得其所需的映射。通常向训练算法呈现各个像素。但是如果正在使用较高水平的图像特性,诸如较大像素组或段,则该深度图可以是该像素组的深度测量值,诸如平均值或方差。由此可见,对比文件1中所述的较大像素组是同性质区域的连接像素组、并且可以作为一个整体输入到映射函数,从而得到像素组整体的深度值,因此,该像素组即相当于本申请的合并块。
此外,对比文件1中公开了(参见说明书第14页第1-20行):每个关键帧产生一目标像素深度的估计值,我们将其定义为D1和D2。为了确定与目标像素相关的最终深度,D1和D2必须结合。在较佳实施例中,使用关键帧的位置作为加权参数来计算这些值的加权平均值。如果从当前帧到第一关键帧的距离是T1,从当前帧到第二关键帧的距离是T2,则目标像素的深度由下式给出: ,  , ,其中D1和D2分别是从关键帧1和关键帧2计算所得的深度。由此可见,对比文件1实质上公开了,在确定相邻关键帧之间的像素的深度值时,可以通过加权平均来使其深度值得到平滑过渡。由此可见,对比文件1中能够对两个关键帧之间的像素,在通过映射函数获得其深度值后、再通过加权平均的方式来最终确定深度值,其所获得的效果同样是使得深度值能够平滑过渡。这与本申请中采用权重值以便使两个相邻合并块之间平滑映射函数的效果是相同的,最终都是使得图像中各像素的深度值可以平滑过渡。因此,本领域技术人员能够在对比文件1的基础上容易想到通过相邻合并块进行加权平均来使其深度映射函数实现平滑,从而提升三维图像的深度显示效果。
综上所述,合议组认为,本申请仍然不具备创造性。
三、决定
维持国家知识产权局于2018年08月08日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。


郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

留言与评论(共有 0 条评论)
   
验证码: