发明创造名称:信息处理装置
外观设计名称:
决定号:197726
决定日:2019-12-18
委内编号:1F263576
优先权日:2012-11-06
申请(专利)号:201380057981.7
申请日:2013-10-24
复审请求人:索尼电脑娱乐公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:周江
合议组组长:商纪楠
参审员:钟翊
国际分类号:G06F3/0346
外观设计分类号:
法律依据:专利法第二十二条第二款、第三款
决定要点:如果一项权利要求的全部技术特征实质上已经被对比文件所公开,两者技术方案实质上相同,且属于相同的领域,能解决相同的技术问题并能获得相同的技术效果,则该权利要求所要求保护的技术方案相对于该对比文件不具备专利法第二十二条第二款规定的新颖性。
全文:
本复审请求案涉及申请号为201380057981.7,名称为“信息处理装置”的发明专利申请(下称本申请),申请人为索尼电脑娱乐公司,申请日为2013年10月24日,进入中国国家阶段日为2015年05月06日,优先权日为2012年11月06日,公开日为2015年07月15日。
经实质审查,国家知识产权局原审查部门于2018年07月05日发出驳回决定,驳回了本申请,其理由如下:权利要求1-3、6、8、9相对于对比文件3(CN102012778A,公开日为2011年04月13日)和本领域常用技术手段的结合不具备专利法第二十二条第三款规定的创造性;权利要求4、5、7相对于对比文件3、对比文件2(US2010/0141578A1,公开日为2010年06月10日)和本领域常用技术手段的结合不具备专利法第二十二条第三款规定的创造性。
驳回决定所依据的文本为:进入中国国家阶段日2015年05月06日提交的说明书第1-79段、说明书附图图1-13B、摘要和摘要附图;以及2017年10月26日提交的权利要求第1-9项。驳回决定针对的权利要求书如下:
“1. 一种信息处理器,包括:
拍摄图像获取部分,配置为获取包括用户的面部的拍摄图像;
面部位置识别部分,配置为识别所述拍摄图像中包括的用户的面部的位置;
操作区域设置部分,配置为在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域;以及
操作接收部分,配置为从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,
其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率。
2. 如权利要求1所述的信息处理器,其中所述操作接收部分从所述操作区域内检测所述用户的手作为检测目标。
3. 如权利要求2所述的信息处理器,其中所述拍摄图像获取部分获取立体摄像机所拍摄的两个图像,并且基于两个拍摄图像生成表示从所述立体摄像机到被摄体的距离分布的距离分布数据,并且
所述操作接收部分检测所述操作区域内最接近所述立体摄像机的被摄体的位置,作为所述用户的手的位置。
4. 如权利要求1所述的信息处理器,其中所述操作接收部分从所述操作区域内检测所述用户在其手中持握的控制器作为所述检测目标。
5. 如权利要求4所述的信息处理器,其中所述控制器具有发光部分,并且所述操作接收部分从所述操作区域内检测从所述发光部分发出的光的位置作为所述控制器的位置。
6. 如权利要求1所述的信息处理器,其中所述拍摄图像包括第一和第二 用户的两个面部,
所述面部位置识别部分识别所述第一和第二用户的各自面部的位置,
所述操作区域设置部分根据所述第一用户的面部的位置在所述拍摄图像上设置第一操作区域,并根据所述第二用户的面部的位置在所述拍摄图像上设置第二操作区域,并且所述操作接收部分接收所述屏幕上与所述第一操作区域内检测的检测目标的相对位置对应的位置作为由所述第一用户指向的位置,并接收所述屏幕上与所述第二操作区域内检测的检测目标的相对位置对应的位置作为由所述第二用户指向的位置。
7. 如权利要求1所述的信息处理器,还包括:
显示图像生成部分,配置为通过在所述拍摄图像内布置对象而生成显示图像,并在显示设备的屏幕上显示所述显示图像,其中
所述显示图像生成部分根据从所述拍摄图像内检测的所述用户在其手中持握的控制器的位置,确定布置所述对象的位置。
8. 一种用于控制信息处理器执行匹配来自用户的操作输入的处理的控制方法,所述控制方法包括步骤:
获取包括用户的面部的拍摄图像;
识别所述拍摄图像中包括的用户的面部的位置;
在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域;以及
从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,
其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率。
9. 一种计算机可读信息存储介质,其上存储计算机可执行程序,在所述计算机可执行程序由所述计算机执行时,执行包括以下步骤的方法:
获取包括用户的面部的拍摄图像;
识别所述拍摄图像中包括的用户的面部的位置;
在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域;以及
从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,
其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年10月22日向国家知识产权局提出了复审请求,未修改申请文件。复审请求人认为:对比文件3至少没有公开本申请权利要求1中的“操作区域设置部分,配置为在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域”(区别技术特征1)和“在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率”(区别技术特征2)。对于区别技术特征1,对比文件3实际上仅仅公开了“CPU 111确定操作员的手容易到达的范围”,但是“CPU 111确定操作员的手容易到达的范围”显然是不相当于“在所述拍摄图像上的根据所识别的面部位置确定的位置设置的操作区域”。对于区别技术特征2,其明确地限定了“用户所指向的位置操作区域之间的关系”。因为对比文件3根本不涉及“操作区域”,对比文件3无法公开或者教导“用户所指向的位置操作区域之间的关系”。
经形式审查合格,国家知识产权局于2018年10月25日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
在前置审查意见书中,原审查部门认为:对比文件3通过拍摄图像中人面部位置确定手操作范围,并且将手的坐标通过比率转换为屏幕上指向区域的坐标。其解决了用户难以指向屏幕位置的技术问题。其达到了操作者不需要移动身体,只要在手运动范围内移动手就可以移动屏幕上的指针的技术效果。其与本申请解决了相同的技术问题,采用了相同的技术手段,达到了相同的技术效果。对比文件3记载的内容也是通过识别出的面部位置最终来设置操作区域,操作区域与识别的面部位置直接相关。也即对比文件3公开了本申请“操作区域设置部分,配置为在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域”的技术特征。对比文件3检测操作区域内手的位置并且转换为屏幕上指针的位置,也即对比文件3公开了“在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置”的技术特征。对比文件3公开了通过设置缩放比率(屏幕范围与操作区域范围的比值)将手的位置转换到屏幕指针位置以使得操作员在操作范围内移动手即可以将指针在屏幕上相应的移动,在此基础上,本领域技术人员容易想到,可以根据需要采用合适的屏幕范围/操作范围的比率作为缩放比率来将检测目标位置转换为指向位置,这是本领域的常用技术手段。因此本申请所请求保护的技术方案不具备创造性,坚持驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月26日向复审请求人发出复审通知书,指出:权利要求1、2、6、8相对于对比文件3不具备专利法第二十二条第二款规定的新颖性;权利要求3-5、7、9相对于对比文件3和本领域常用技术手段的结合不具备专利法第二十二条第三款规定的创造性。
合议组认为:对比文件3公开了(参见说明书第[0041]-[0043]段、第[0116]段、第[0124]段、第[0125]段):识别单元2可以根据摄像机图像识别操作员的面部,确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸。确定单元5基于识别单元识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的范围并把该范围视为操作装置的操作范围。此外,CPU 111以预定比率对从操作员坐标系统的原点看的操作员A的手的位置(h′x,h′y)执行缩放,随后把该位置转换成图像坐标系统的位置,即屏幕坐标系统的Xd-Yd平面中的位置。CPU 111把由此获取的位置视为指针Po的位置(px,py)。缩放比率sx和sy表明针对操作员的手在向上、向下、向右、或向左方向上的运动,指针Po要在GUI屏幕上在向上、向下、向右、或向左方向上移动多少。实际上,在TV接收机101中,设置缩放比率以使得操作员可以仅通过完全在手运动范围内移动他/她的手将指针Po在GUI屏幕130上到处移动。即,CPU 111确定操作员的手容易到达的范围(也称为操作范围)。可见,对比文件3已经明确公开了“操作区域设置部分,配置为在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域”、“在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置”。另外,指针Po的位置(px,py)距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率(即px/2 1/2或者1/2-px/2)等于操作员的手的位置(即(h′x,h′y))距操作范围的相应垂直边缘的水平距离与所述操作范围的水平边缘的比率(即(px/sx 1/sx)/(2/sx)=px/2 1/2或者(1/sx-px/sx)/(2/sx)=1/2-px/2),并且指针Po的位置(px,py)距屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率(即py/2 1/2或者1/2-py/2)等于操作员的手的位置(即(h′x,h′y))距操作范围的相应水平边缘的垂直距离与所述操作范围的垂直边缘的比率(即(py/sy 1/sy)/(2/sy)=py/2 1/2或者(1/sy-py/sy)/(2/sy)=1/2-py/2)。可见对比文件3已经明确公开了“所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率”。因此合议组对复审请求人的意见不予支持。
复审请求人于2019年08月12日提交了意见陈述书,同时提交了权利要求书的全文替换页,包含权利要求第1-9项。复审请求人在权利要求1中增加技术特征“其中,所述操作接收部分确定所述操作区域的尺寸,使得所述所识别的面部越大或者到所识别的面部的距离越短,所述操作区域的尺寸越大”;在权利要求8、9中增加技术特征“其中,确定所述操作区域的尺寸,使得所述所识别的面部越大或者到所识别的面部的距离越短,所述操作区域的尺寸越大”。修改后的权利要求书如下:
“1.一种信息处理器,包括:
拍摄图像获取部分,配置为获取包括用户的面部的拍摄图像;
面部位置识别部分,配置为识别所述拍摄图像中包括的用户的面部的位置;
操作区域设置部分,配置为在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域;以及
操作接收部分,配置为从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,
其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率,
其中,所述操作接收部分确定所述操作区域的尺寸,使得所述所识别的面部越大或者到所识别的面部的距离越短,所述操作区域的尺寸越大。
2.如权利要求1所述的信息处理器,其中所述操作接收部分从所述操作区域内检测所述用户的手作为检测目标。
3.如权利要求2所述的信息处理器,其中所述拍摄图像获取部分获取立体摄像机所拍摄的两个图像,并且基于两个拍摄图像生成表示从所述立体摄像机到被摄体的距离分布的距离分布数据,并且
所述操作接收部分检测所述操作区域内最接近所述立体摄像机的被摄体的位置,作为所述用户的手的位置。
4.如权利要求1所述的信息处理器,其中所述操作接收部分从所述操作区域内检测所述用户在其手中持握的控制器作为所述检测目标。
5.如权利要求4所述的信息处理器,其中所述控制器具有发光部分,并且所述操作接收部分从所述操作区域内检测从所述发光部分发出的光的位置作为所述控制器的位置。
6.如权利要求1所述的信息处理器,其中所述拍摄图像包括第一和第二用户的两个面部,
所述面部位置识别部分识别所述第一和第二用户的各自面部的位置,
所述操作区域设置部分根据所述第一用户的面部的位置在所述拍摄图像上设置第一操作区域,并根据所述第二用户的面部的位置在所述拍摄图像上设置第二操作区域,并且所述操作接收部分接收所述屏幕上与所述第一操作区域内检测的检测目标的相对位置对应的位置作为由所述第一用户指向的位置,并接收所述屏幕上与所述第二操作区域内检测的检测目标的相对位置对应的位置作为由所述第二用户指向的位置。
7.如权利要求1所述的信息处理器,还包括:
显示图像生成部分,配置为通过在所述拍摄图像内布置对象而生成显示图像,并在显示设备的屏幕上显示所述显示图像,其中
所述显示图像生成部分根据从所述拍摄图像内检测的所述用户在其手中持握的控制器的位置,确定布置所述对象的位置。
8.一种用于控制信息处理器执行匹配来自用户的操作输入的处理的控制方法,所述控制方法包括步骤:
获取包括用户的面部的拍摄图像;
识别所述拍摄图像中包括的用户的面部的位置;
在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域;以及
从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,
其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率,
其中,确定所述操作区域的尺寸,使得所述所识别的面部越大或者到所识别的面部的距离越短,所述操作区域的尺寸越大。
9.一种计算机可读信息存储介质,其上存储计算机可执行程序,在所述计算机可执行程序由所述计算机执行时,执行包括以下步骤的方法:
获取包括用户的面部的拍摄图像;
识别所述拍摄图像中包括的用户的面部的位置;
在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域;以及
从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,
其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置,所述用户所指向的位置距所述屏幕的垂直边缘的水平距离与屏幕的水平边缘的比率等于检测目标的位置距所述操作区域的相应垂直边缘的水平距离与所述操作区域的水平边缘的比率,并且所述用户所指向的位置距所述屏幕的水平边缘的垂直距离与屏幕的垂直边缘的比率等于检测目标的位置距所述操作区域的相应水平边缘的垂直距离与所述操作区域的垂直边缘的比率,
其中,确定所述操作区域的尺寸,使得所述所识别的面部越大或者到所识别的面部的距离越短,所述操作区域的尺寸越大。”
复审请求人认为:对比文件3至少没有公开修改后的权利要求1中的“所述操作接收部分确定所述操作区域的尺寸,使得所述所识别的面部越大或者到所识别的面部的距离越短,所述操作区域的尺寸越大”(区别技术特征)。对比文件3虽然也涉及通过立体方法获取从立体摄像机102到操作员A的面部的距离bz,但是对比文件3中获取的这种深度距离信息仅仅是用于设置缩放比率sz,以便用户在深度方向上到处移动指针Po,而与操作区域的尺寸并没有直接关系。
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
(一)审查文本的认定
复审请求人于2019年08月12日答复复审通知书时提交了权利要求书的全文替换页,包含权利要求第1-9项。经审查,上述修改符合专利法第三十三条和专利法实施细则第六十一条第一款的规定。本复审决定所依据的审查文本为:进入中国国家阶段日2015年05月06日提交的说明书第1-79段、说明书附图图1-13B、摘要和摘要附图;以及2019年08月12日提交的权利要求第1-9项。
(二)关于专利法第二十二条第二款、第三款
专利法第二十二条第二款规定:新颖性,是指该发明或者实用新型不属于现有技术;也没有任何单位或者个人就同样的发明或者实用新型在申请日以前向国务院专利行政部门提出过申请,并记载在申请日以后公布的专利申请文件或者公告的专利文件中。
专利法第二十二条第三款规定:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
如果一项权利要求的全部技术特征实质上已经被对比文件所公开,两者技术方案实质上相同,且属于相同的领域,能解决相同的技术问题并能获得相同的技术效果,则该权利要求所要求保护的技术方案相对于该对比文件不具备专利法第二十二条第二款规定的新颖性。
如果一项权利要求所要求保护的技术方案相对于作为最接近现有技术的对比文件存在区别技术特征,但上述区别技术特征被其他对比文件所公开,并且其中所起的作用和上述区别技术特征在该权利要求中为解决其技术问题起到的作用相同;或者属于本领域常用技术手段,因此在最接近的现有技术的基础上结合其他对比文件或者在最接近的现有技术的基础上结合本领域常用技术手段得到该权利要求所要求保护的技术方案对本领域的技术人员来说是显而易见的,则该权利要求所要求保护的技术方案不具有突出的实质性特点和显著的进步,不具备专利法第二十二条第三款规定的创造性。
本复审决定引用的对比文件与复审通知书和驳回决定中引用的对比文件相同,即:
对比文件2:US2010/0141578A1,公开日为2010年06月10日;
对比文件3:CN102012778A,公开日为2011年04月13日。
其中,对比文件3作为最接近的现有技术。
2.1权利要求1不具备专利法第二十二条第二款规定的新颖性
权利要求1请求保护一种信息处理器,对比文件3公开了一种显示控制设备,并且具体公开了(参见说明书第[0036]-[0046]段、第[0094]段、第[0112]-[0142]段、第[0220]段,及其附图1-5、8-12):
识别单元2可以根据摄像机图像识别操作员的面部(相当于拍摄图像获取部分,配置为获取包括用户的面部的拍摄图像),确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸, 确定单元5基于识别单元识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的范围并把该范围视为操作装置的操作范围,CPU 111确定操作员的手容易到达的范围(也称为操作范围),具体地,如图11中所示,CPU 111基于根据镜面反转摄像机图像获取的操作员A面部区域的尺寸获取操作员A从肘部到指尖的长度W2和肩部宽度W1,基于操作员A的面部在水平方向上的中心位置fx获取水平方向上的中心位置bx ,CPU 111把范围“肩部宽度W1 长度W2×2”视为操作员A在水平方向上的操作范围lx,其中操作员A身体水平方向上的中心位置bx为中心,CPU 111把从操作员A面部的下端到上臂指向下方的情况下他/她肘部位置的范围视为操作员A在竖直方向上的操作范围ly,操作员A的身体在竖直方向上的中心位置by正是操作范围ly的中点,CPU 111把水平方向上的操作范围lx和竖直方向上的操作范围ly定义的范围确定为操作员A的操作范围(相当于面部位置识别部分,配置为识别所述拍摄图像中包括的用户的面部的位置;操作区域设置部分,配置为在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域);在GUI屏幕130上,操作员A可以仅通过完全在手的运动范围内移动他/她的手而不从他/她存在的地点移动就可以在GUI屏幕130上到处移动指针Po,即在向上、向下、向右、向左以及深度方向上移动(相当于操作接收部,从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置);
CPU 111把操作员A的手在图像坐标系统中的位置(hx,hy)转换成从操作员坐标系统的原点(bx,by)看的位置。此处,如图11中所示,假设从操作员坐标系统的原点看的操作员A的手的位置用坐标(h′x,h′y)表示。继而,坐标h′x用下式(1)表示。坐标h′y用下式(2)表示。
h′x=hx-bx…(1)
h′y=hy-by…(2)
此外,CPU 111以预定比率对从操作员坐标系统的原点看的操作员A的手的位置(h′x,h′y)执行缩放,随后把该位置转换成图像坐标系统的位置,即屏幕坐标系统的Xd-Yd平面中的位置。CPU 111把由此获取的位置视为指针Po的位置(px,py)(相当于屏幕上的用户所指向的位置)。
此处,假设针对h′x的缩放比率用sx表示并且针对h′y的缩放比率用sy表示。继而,代表指针Po位置的坐标px用下式(3)表示。坐标py用下式(4)表示。
px=sxh′x bx…(3)
py=syh′y by…(4)
px和py中的每一个是屏幕坐标系统的坐标,从而基于如下条件表达式(5)和(6),当它小于-1时舍入为-1,当它大于1时舍入为1。
px=-1(px<-1),px=px(-1≤px≤1),px=1(px>1)…(5)
py=-1(py<-1),py=py(-1≤py≤1),py=1(py>1)…(6)
以此方式,CPU 111计算指针Po在GUI屏幕130的Xd-Yd平面中的位置(px,py)。
缩放比率sx和sy表明针对操作员的手在向上、向下、向右、或向左方向上的运动,指针Po要在GUI屏幕上在向上、向下、向右、或向左方向上移动多少,设置缩放比率以使得操作员可以仅通过完全在手运动范围内移动他/她的手将指针Po在GUI屏幕130上到处移动。
在上述实施例的具体示例中,针对操作员的手在操作员坐标系统中位置的缩放比率sx、sy在操作范围中恒定(即缩放比率sx、sy为常数)。
根据以上公开内容,可以直接、毫无疑义地得出:px的数值范围为[-1,1],则根据表达式(3),h′x=(px-bx)/sx的数值范围为[(-1/sx-bx/sx),(1/sx-bx/sx)],指针Po的位置(px,py)距所述屏幕的垂直边缘的水平距离(即px 1或者1-px)与屏幕的水平边缘(即px的数值范围的长度1-(-1)=2)的比率(即px/2 1/2或者1/2-px/2)等于操作员的手的位置(即(h′x,h′y))距操作范围的相应垂直边缘的水平距离(即h′x-(-1/sx-bx/sx)=(px-bx)/sx-(-1/sx-bx/sx)=px/sx-bx/sx 1/sx bx/sx= px/sx 1/sx或者(1/sx-bx/sx)-h′x=(1/sx-bx/sx)-(px-bx)/sx=1/sx-bx/sx-px/sx bx/sx=1/sx-px/sx)与所述操作范围的水平边缘(即h′x的数值范围的长度(1/sx-bx/sx)-(-1/sx-bx/sx)=2/sx)的比率(即(px/sx 1/sx)/(2/sx)=px/2 1/2或者(1/sx-px/sx)/(2/sx)=1/2-px/2),并且
根据以上公开内容,可以直接、毫无疑义地得出:py的数值范围为[-1,1],则根据表达式(4),h′y=(py-by)/sy的数值范围为[(-1/sy-by/sy),(1/sy-by/sy)],指针Po的位置(px,py)距屏幕的水平边缘的垂直距离(即py 1或者1-py)与屏幕的垂直边缘(即py的数值范围的长度1-(-1)=2)的比率(即py/2 1/2或者1/2-py/2)等于操作员的手的位置(即(h′x,h′y))距操作范围的相应水平边缘的垂直距离(即h′y-(-1/sy-by/sy)=(py-by)/sy-(-1/sy-by/sy)=py/sy-by/sy 1/sy by/sy= py/sy 1/sy或者(1/sy-by/sy)-h′y=(1/sy-by/sy)-(py-by)/sy=1/sy-by/sy-py/sy by/sy=1/sy-py/sy)与所述操作范围的垂直边缘(即h′y的数值范围的长度(1/sy-by/sy)-(-1/sy-by/sy)=2/sy)的比率(即(py/sy 1/sy)/(2/sy)=py/2 1/2或者(1/sy-py/sy)/(2/sy)=1/2-py/2)。
确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸(由此可以直接、毫无疑义地得出:面部的尺寸越大,身体尺寸也越大,从而确定的操作装置的操作范围也越大)。此外,当屏幕坐标系统为除了水平和竖直方向以外还具有深度方向的三维坐标系统时,除了操作员的位置、操作员身体的尺寸以及操作装置的位置以外,识别单元2还根据摄像机图像识别从操作员的位置到操作装置的距离(相当于所识别的面部的距离)。此外,确定单元5基于识别单元2识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的水平和竖直方向上的范围以及深度方向上的范围,并把这些范围确定为操作装置的操作范围(由此可以直接、毫无疑义地得出:所识别的面部的距离越短,身体尺寸也越大,从而确定的操作装置的操作范围也越大)。
由此可见,对比文件3已经公开了该权利要求的全部技术特征,技术方案实质相同,且对比文件3所公开的技术方案与该权利要求所要求保护的技术方案属于相同的人机交互技术领域,解决了相同的技术问题,产生了相同的技术效果,因此该权利要求所要求保护的技术方案不具备专利法第二十二条第二款所规定的新颖性。
2.2权利要求2不具备专利法第二十二条第二款所规定的新颖性
从属权利要求2对权利要求1作了进一步的限定,其附加技术特征同样已被对比文件3公开(参见说明书第[0094]段):在GUI屏幕130上,操作员A可以仅通过完全在手的运动范围内移动他/她的手而不从他/她存在的地点移动就可以在GUI屏幕130上到处移动指针Po,即在向上、向下、向右、向左以及深度方向上移动(相当于所述操作接收部分从所述操作区域内检测所述用户的手作为检测目标)。因此当其引用的权利要求不具备新颖性时,该从属权利要求所要求保护的技术方案也不具备专利法第二十二条第二款所规定的新颖性。
2.3权利要求6不具备专利法第二十二条第二款所规定的新颖性
从属权利要求6对权利要求1作了进一步的限定,其附加技术特征同样已被对比文件3公开(参见说明书第[0069]-[0080]段、第[0125]-[0135]段、第[0166]-[0169]段,及其附图14):
CPU 111对从立体摄像机102传送的摄像机图像数据中包括的摄像机121A拍摄的摄像机图像数据执行人员检测处理,在人员检测处理中,CPU 111例如检测操作员A和B的面部和手,CPU 111通过使用这种算法根据摄像机图像检测面部的区域(也称为面部区域)并获取各个检测到的面部区域的坐标(例如,各个面部区域的中心的坐标)(相当于所述拍摄图像包括第一和第二用户的两个面部,所述面部位置识别部分识别所述第一和第二用户的各自面部的位置);
CPU 111基于根据镜面反转摄像机图像获取的操作员A面部区域的尺寸获取操作员A从肘部到指尖的长度W2和肩部宽度W1,基于操作员A的面部在水平方向上的中心位置fx获取水平方向上的中心位置bx ,CPU 111把范围“肩部宽度W1 长度W2×2”视为操作员A在水平方向上的操作范围lx,其中操作员A身体水平方向上的中心位置bx为中心,CPU 111把从操作员A面部的下端到上臂指向下方的情况下他/她肘部位置的范围视为操作员A在竖直方向上的操作范围ly,操作员A的身体在竖直方向上的中心位置by正是操作范围ly的中点,CPU 111把水平方向上的操作范围lx和竖直方向上的操作范围ly定义的范围确定为操作员A的操作范围。在GUI屏幕130上,操作员A可以仅通过完全在手运动范围内在向上、向下、向右、向左、以及深度方向上移动他/她的手在GUI屏幕130上在向上、向下、向右、向左、以及深度方向上到处移动指针Po;
此外,当存在多个操作员时,CPU111以上述方式计算各个操作员的指针Po的位置。假设在TV接收机101前方存在两个操作员A和B,在此情形中,在GUI屏幕130上显示围绕与操作员A的身体中心位置对应的位置移动的指针PoA和围绕与操作员B的身体中心位置对应的位置移动的指针PoB;此时,假设各个操作员A和B的手靠近他们身体的中心位置。随后,如图14中所示,在GUI屏幕130上接近操作员A处显示指针PoA而在接近操作员B处显示指针PoB(相当于所述操作区域设置部分根据所述第一用户的面部的位置在所述拍摄图像上设置第一操作区域,并根据所述第二用户的面部的位置在所述拍摄图像上设置第二操作区域,并且所述操作接收部分接收所述屏幕上与所述第一操作区域内检测的检测目标的相对位置对应的位置作为由所述第一用户指向的位置,并接收所述屏幕上与所述第二操作区域内检测的检测目标的相对位置对应的位置作为由所述第二用户指向的位置)。
因此当其引用的权利要求不具备新颖性时,该从属权利要求所要求保护的技术方案也不具备专利法第二十二条第二款所规定的新颖性。
2.4权利要求8不具备专利法第二十二条第二款规定的新颖性
权利要求8请求保护一种用于控制信息处理器执行匹配来自用户的操作输入的处理的控制方法,对比文件3公开了一种显示控制方法,并且具体公开了(参见说明书第[0036]-[0046]段、第[0094]段、第[0112]-[0142]段、第[0220]段,及其附图1-5、8-12):
识别单元2可以根据摄像机图像识别操作员的面部(相当于获取包括用户的面部的拍摄图像),确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸, 确定单元5基于识别单元识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的范围并把该范围视为操作装置的操作范围,CPU 111确定操作员的手容易到达的范围(也称为操作范围),具体地,如图11中所示,CPU 111基于根据镜面反转摄像机图像获取的操作员A面部区域的尺寸获取操作员A从肘部到指尖的长度W2和肩部宽度W1,基于操作员A的面部在水平方向上的中心位置fx获取水平方向上的中心位置bx ,CPU 111把范围“肩部宽度W1 长度W2×2”视为操作员A在水平方向上的操作范围lx,其中操作员A身体水平方向上的中心位置bx为中心,CPU 111把从操作员A面部的下端到上臂指向下方的情况下他/她肘部位置的范围视为操作员A在竖直方向上的操作范围ly,操作员A的身体在竖直方向上的中心位置by正是操作范围ly的中点,CPU 111把水平方向上的操作范围lx和竖直方向上的操作范围ly定义的范围确定为操作员A的操作范围(相当于识别所述拍摄图像中包括的用户的面部的位置;在所述拍摄图像上的根据所识别的面部位置确定的位置设置操作区域);在GUI屏幕130上,操作员A可以仅通过完全在手的运动范围内移动他/她的手而不从他/她存在的地点移动就可以在GUI屏幕130上到处移动指针Po,即在向上、向下、向右、向左以及深度方向上移动(相当于从所述操作区域内检测检测目标,并且接收屏幕上与所述操作区域内所检测的检测目标的相对位置对应的位置,作为用户所指向的位置,其中,在所述操作区域内检测到的检测目标的位置对应地转换为所述屏幕上的用户所指向的位置);
CPU 111把操作员A的手在图像坐标系统中的位置(hx,hy)转换成从操作员坐标系统的原点(bx,by)看的位置。此处,如图11中所示,假设从操作员坐标系统的原点看的操作员A的手的位置用坐标(h′x,h′y)表示。继而,坐标h′x用下式(1)表示。坐标h′y用下式(2)表示。
h′x=hx-bx…(1)
h′y=hy-by…(2)
此外,CPU 111以预定比率对从操作员坐标系统的原点看的操作员A的手的位置(h′x,h′y)执行缩放,随后把该位置转换成图像坐标系统的位置,即屏幕坐标系统的Xd-Yd平面中的位置。CPU 111把由此获取的位置视为指针Po的位置(px,py)(相当于屏幕上的用户所指向的位置)。
此处,假设针对h′x的缩放比率用sx表示并且针对h′y的缩放比率用sy表示。继而,代表指针Po位置的坐标px用下式(3)表示。坐标py用下式(4)表示。
px=sxh′x bx…(3)
py=syh′y by…(4)
px和py中的每一个是屏幕坐标系统的坐标,从而基于如下条件表达式(5)和(6),当它小于-1时舍入为-1,当它大于1时舍入为1。
px=-1(px<-1),px=px(-1≤px≤1),px=1(px>1)…(5)
py=-1(py<-1),py=py(-1≤py≤1),py=1(py>1)…(6)
以此方式,CPU 111计算指针Po在GUI屏幕130的Xd-Yd平面中的位置(px,py)。
缩放比率sx和sy表明针对操作员的手在向上、向下、向右、或向左方向上的运动,指针Po要在GUI屏幕上在向上、向下、向右、或向左方向上移动多少,设置缩放比率以使得操作员可以仅通过完全在手运动范围内移动他/她的手将指针Po在GUI屏幕130上到处移动。
在上述实施例的具体示例中,针对操作员的手在操作员坐标系统中位置的缩放比率sx、sy在操作范围中恒定(即缩放比率sx、sy为常数)。
根据以上公开内容,可以直接得出:px的数值范围为[-1,1],则根据表达式(3),h′x=(px-bx)/sx的数值范围为[(-1/sx-bx/sx),(1/sx-bx/sx)],指针Po的位置(px,py)距所述屏幕的垂直边缘的水平距离(即px 1或者1-px)与屏幕的水平边缘(即px的数值范围的长度1-(-1)=2)的比率(即px/2 1/2或者1/2-px/2)等于操作员的手的位置(即(h′x,h′y))距操作范围的相应垂直边缘的水平距离(即h′x-(-1/sx-bx/sx)=(px-bx)/sx-(-1/sx-bx/sx)=px/sx-bx/sx 1/sx bx/sx= px/sx 1/sx或者(1/sx-bx/sx)-h′x=(1/sx-bx/sx)-(px-bx)/sx=1/sx-bx/sx-px/sx bx/sx=1/sx-px/sx)与所述操作范围的水平边缘(即h′x的数值范围的长度(1/sx-bx/sx)-(-1/sx-bx/sx)=2/sx)的比率(即(px/sx 1/sx)/(2/sx)=px/2 1/2或者(1/sx-px/sx)/(2/sx)=1/2-px/2),并且
根据以上公开内容,可以直接得出:py的数值范围为[-1,1],则根据表达式(4),h′y=(py-by)/sy的数值范围为[(-1/sy-by/sy),(1/sy-by/sy)],指针Po的位置(px,py)距屏幕的水平边缘的垂直距离(即py 1或者1-py)与屏幕的垂直边缘(即py的数值范围的长度1-(-1)=2)的比率(即py/2 1/2或者1/2-py/2)等于操作员的手的位置(即(h′x,h′y))距操作范围的相应水平边缘的垂直距离(即h′y-(-1/sy-by/sy)=(py-by)/sy-(-1/sy-by/sy)=py/sy-by/sy 1/sy by/sy= py/sy 1/sy或者(1/sy-by/sy)-h′y=(1/sy-by/sy)-(py-by)/sy=1/sy-by/sy-py/sy by/sy=1/sy-py/sy)与所述操作范围的垂直边缘(即h′y的数值范围的长度(1/sy-by/sy)-(-1/sy-by/sy)=2/sy)的比率(即(py/sy 1/sy)/(2/sy)=py/2 1/2或者(1/sy-py/sy)/(2/sy)=1/2-py/2)。
确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸(由此可以直接、毫无疑义地得出:面部的尺寸越大,身体尺寸也越大,从而确定的操作装置的操作范围也越大)。此外,当屏幕坐标系统为除了水平和竖直方向以外还具有深度方向的三维坐标系统时,除了操作员的位置、操作员身体的尺寸以及操作装置的位置以外,识别单元2还根据摄像机图像识别从操作员的位置到操作装置的距离(相当于所识别的面部的距离)。此外,确定单元5基于识别单元2识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的水平和竖直方向上的范围以及深度方向上的范围,并把这些范围确定为操作装置的操作范围(由此可以直接、毫无疑义地得出:所识别的面部的距离越短,身体尺寸也越大,从而确定的操作装置的操作范围也越大)。
由此可见,对比文件3已经公开了该权利要求的全部技术特征,技术方案实质相同,且对比文件3所公开的技术方案与该权利要求所要求保护的技术方案属于相同的人机交互技术领域,解决了相同的技术问题,产生了相同的技术效果,因此该权利要求所要求保护的技术方案不具备专利法第二十二条第二款所规定的新颖性。
2.5权利要求3不具备专利法第二十二条第三款规定的创造性
从属权利要求3引用了权利要求2,对比文件3公开了(参见说明书第[0069]-[0080]段):图像拍摄单元121包括并排布置的两个摄像机121A和121B,并能够使用两个摄像机121A和121B以三维(3D)方式拍摄前方空间的图像(相当于拍摄图像获取部分获取立体摄像机所拍摄的两个图像),CPU 111基于摄像机121A拍摄的摄像机图像数据和摄像机121B拍摄的摄像机图像数据通过使用立体方法计算从立体摄像机102到两个面部和四只手的距离,所计算的距离的单位例如为cm(相当于基于两个拍摄图像生成表示从所述立体摄像机到被摄体的距离分布的距离分布数据)。其与对比文件3的进一步区别技术特征是:操作接收部分检测所述操作区域内最接近所述立体摄像机的被摄体的位置,作为所述用户的手的位置。基于上述区别技术特征,可以确定权利要求3请求保护的技术方案实际解决的技术问题是:如何确定手的位置。
而基于立体摄像机到被摄体的距离分布数据,本领域技术人员容易想到,在进行手势动作时,人手在空间上更靠近摄像机,则操作区域内最接近立体摄像机的被摄体的位置,可以作为手的位置,这是本领域常用的技术手段。
因此,在对比文件3基础上结合本领域常用技术手段得到权利要求3请求保护的技术方案对本领域技术人员来说是显而易见的,在其引用的权利要求不具备创造性的基础上,权利要求3不具备突出的实质性特点和显著进步,不符合专利法第二十二条第三款规定的创造性。
2.6权利要求4不具备专利法第二十二条第三款规定的创造性
从属权利要求4引用了权利要求1,其附加技术特征构成其与对比文件3的区别技术特征,基于此区别技术特征,权利要求4请求保护的技术方案实际解决的技术问题是:还可以将何种部件作为检测目标。
对比文件2公开了一种图像显示控制装置,并且具体公开了(参见说明书第[0085]段):操作者S手持的遥控器200发出的红外光被相机110捕获并且识别为红外图像,捕获的信号被输入遥控器位置识别单元155(相当于操作接收部分从所述操作区域内检测所述用户在其手中持握的控制器作为所述检测目标)。可见对比文件2公开了上述区别技术特征,其在对比文件2中所起作用与其在本申请为解决技术问题所起作用相同,都是将用户手中的控制器作为检测目标,对比文件2给出了将上述区别技术特征应用于对比文件3的技术方案以解决其技术问题的启示。
在对比文件3基础上结合对比文件2得到权利要求4请求保护的技术方案对本领域技术人员来说是显而易见的,权利要求4不具备突出的实质性特点和显著进步,不符合专利法第二十二条第三款规定的创造性。
2.7权利要求5不具备专利法第二十二条第三款规定的创造性
从属权利要求5引用了权利要求4,对比文件2公开了(参见说明书第[0085]段):操作者S手持的遥控器200发出的红外光被相机110捕获并且识别为红外图像,遥控器位置识别单元155通过相机110的红外滤波器获取的红外图像识别遥控器200的位置(相当于所述控制器具有发光部分,并且所述操作接收部分从所述操作区域内检测从所述发光部分发出的光的位置作为所述控制器的位置)。可见权利要求5的附加技术特征被对比文件2全部公开。
因此,在其引用的权利要求不具备创造性的基础上,该权利要求不具备突出的实质性特点和显著进步,不符合专利法第二十二条第三款规定的创造性。
2.8权利要求7不具备专利法第二十二条第三款规定的创造性
从属权利要求7引用了权利要求1,其附加技术特征构成其与对比文件3的区别技术特征,基于此区别技术特征,权利要求7请求保护的技术方案实际解决的技术问题的是:如何生成显示图像。
对比文件2公开了一种图像显示控制装置,并且具体公开了(参见说明书第[0082]-[0086]段,附图4-6):操作者S手持遥控器200并且操作者出现的房间被显示在屏幕上作为背景,操作者S手持的遥控器200发出的红外光被相机110捕获并且识别为红外图像,捕获的信号被输入遥控器位置识别单元155,被遥控器位置识别单元155识别的遥控器的位置信息输入到遥控器位置符号产生单元156,在液晶显示单元3上显示遥控器200的位置显示信号被产生,此信号被输入到视频合成单元130(相当于显示图像生产部分),因此叠加和显示一个预设的位置显示MA例如图6的箭头符号在或者靠近遥控器在显示单元3的位置(相当于显示图像生成部分,配置为通过在所述拍摄图像内布置对象而生成显示图像,并在显示设备的屏幕上显示所述显示图像,其中所述显示图像生成部分根据从所述拍摄图像内检测的所述用户在其手中持握的控制器的位置,确定布置所述对象的位置)。可见对比文件2公开了上述区别技术特征,其在对比文件2中所起作用与其在本申请为解决技术问题所起作用相同,都是在拍摄图像内布置对象生成显示图像,并且根据用户手中遥控器位置确定对象的位置,对比文件2给出了将上述区别技术特征应用于对比文件3的技术方案以解决技术问题的启示。
因此,在对比文件3基础上结合对比文件2得到权利要求7请求保护的技术方案对本领域技术人员来说是显而易见的,权利要求7不具备突出的实质性特点和显著进步,不符合专利法第二十二条第三款规定的创造性。
2.9权利要求9不具备专利法第二十二条第三款规定的创造性
权利要求9请求保护一种计算机可读信息存储介质,其上存储计算机可执行程序,在所述计算机可执行程序由所述计算机执行时,执行包括权利要求8的方法步骤,由于权利要求8不具备新颖性,并且使用计算机可读信息存储介质来存储实现一定方法步骤的计算机可执行程序是本领域常用的技术手段,因此,在对比文件3基础上结合本领域常用技术手段得到权利要求9请求保护的技术方案对本领域技术人员来说是显而易见的,权利要求9不具备突出的实质性特点和显著进步,不符合专利法第二十二条第三款规定的创造性。
(三)关于复审请求人的意见陈述
针对复审请求人的意见陈述,合议组认为:对比文件1已经公开了(参见说明书第[0042]-[0046]段):确定单元5可以基于识别单元2识别出的操作员的面部估算操作员的年龄并基于年龄使用面部的尺寸估算身体的尺寸(由此可以直接、毫无疑义地得出:面部的尺寸越大,身体尺寸也越大,从而确定的操作装置的操作范围也越大)。此外,当屏幕坐标系统为除了水平和竖直方向以外还具有深度方向的三维坐标系统时,除了操作员的位置、操作员身体的尺寸以及操作装置的位置以外,识别单元2还根据摄像机图像识别从操作员的位置到操作装置的距离(相当于所识别的面部的距离)。此外,确定单元5基于识别单元2识别出的操作员身体的尺寸根据操作员的位置估算操作员的手到达的水平和竖直方向上的范围以及深度方向上的范围,并把这些范围确定为操作装置的操作范围(由此可以直接、毫无疑义地得出:所识别的面部的距离越短,身体尺寸也越大,从而确定的操作装置的操作范围也越大)。综上,合议组对复审请求人的意见陈述不予支持。
基于以上事实和理由,本案合议组依法作出如下决定。
三、决定
维持国家知识产权局于2018年07月05日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第四十一条第二款的规定,复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。