发明创造名称:基于移动机器人的人脸实时跟踪方法和跟踪系统
外观设计名称:
决定号:185224
决定日:2019-07-24
委内编号:1F265768
优先权日:
申请(专利)号:201510690644.2
申请日:2015-10-22
复审请求人:深圳创想未来机器人有限公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:刘慧敏
合议组组长:许彦
参审员:孙洁君
国际分类号:G05D1/02,G06K9/00
外观设计分类号:
法律依据:专利法第22条第3款
决定要点:如果一项权利要求与一份对比文件相比存在区别技术特征,但这些区别技术特征部分在其他对比文件中公开,部分属于本领域的公知常识,且上述区别技术特征的应用也未给该权利要求带来预料不到的技术效果,则该权利要求相对于该些对比文件与公知常识的结合不具备创造性。
全文:
本复审请求涉及申请号为201510690644.2,名称为“基于移动机器人的人脸实时跟踪方法和跟踪系统”的发明专利申请(下称本申请)。本申请的申请人为深圳创想未来机器人有限公司。本申请的申请日为2015年10月22日,公开日为2015年12月23日。
经实质审查,国家知识产权局专利实质审查部门于2018年07月19日发出驳回决定,驳回了本申请,其理由是:权利要求1-5不具备专利法第22条第3款规定的创造性。驳回决定中引用了如下对比文件:
对比文件1:CN102411368A,公开日为2012年04月11日;
对比文件2:CN103514438A,公开日为2014年01月15日;
对比文件3:“人脸识别机器人的设计与实现”,类红乐 等,电脑知识与技术,第7卷第31期,第7756-7758页,公开日为2011年11月30日。
驳回决定所依据的文本为申请日提交的说明书摘要、说明书第1-61段、摘要附图、说明书附图1-4,及2018年04月08日提交的权利要求第1-5项。驳回决定所针对的权利要求书如下:
“1. 一种基于移动机器人的人脸实时跟踪方法,包括以下步骤:
向机器人发出指令,要求机器人与身份信息库中一预定人脸进行交互,所述身份信息库为通过拍照采集人脸特征信息进行存储和记录的信息;
寻找目标,利用深度摄像头拍照采集目标的脸部图像信息、距离信息;同时利用红外温度传感器采集目标的体温信息,提取的脸部图像信息包括人脸图像特征,所述人脸图像特征包括几何特征、代数特征;
将脸部图像信息、距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为人脸以及是否为活动生命体,当被检测目标为非人脸或非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标;当被检测目标为活的人脸时,继续执行后续动作;
经过人脸检测模块检测后,将活的人脸信息传送到特征提取模块,提取特征信息;
将所提取的特征信息传送到特征对比识别模块,使其与身份信息库中的信息进行对比,从而识别目标是否为所述身份信息库中的预定人脸,当确认不是预定人脸时,启动驱动跟踪模块进行移动机器人,以避开被测目标;当确认是预定人脸时,进行交互活动;
将目标被确认是预定人脸后,将目标的距离信息传送至驱动跟踪模块,利用驱动跟踪模块调整机器人的移动,使得深度摄像头和红外温度传感器和目标的距离保持在合适的距离范围,确保机器人与目标的交互过程正常进行。
2. 如权利要1所述的方法,其特征在于,所述人脸检测模块的检测过程包括以下步骤:
调整深度摄像头拍照角度,使得目标人脸显示在深度摄像头所获取的视频图像的中心位置,D代表深度摄像头获取的处于图像中心的目标的距离;
在所述深度摄像头拍照的同时,利用红外温度传感器获取目标的温度,T代表红外温度传感器测量的温度;
T_d代表经距离修正的人脸表面温度,当T_d,T以及D满足表达式T_d=f(T,D),Tmin,Tmax分别为最小和最大温度值,当Tmin<><>
3. 如权利要1所述的方法,其特征在于,所述机器人与目标进行交互活动过程中,利用一位置反馈模块实时反馈目标的位置信息至所述控制驱动模块,该控制驱动模块精确实时控制所述机械运动模块移动机器人,对目标进行实时跟踪,确保目标始终处于所述深度摄像头的视频图像的中心位置,且处于所述红外温度传感器的检测范围。
4. 一种基于移动机器人的人脸实时跟踪系统,包括:信息采集模块、人脸检测模块、特征提取模块、身份信息库、特征对比识别模块、控制驱动模块以及机械运动模块,所述信息采集模块包括深度摄像头和红外温度传感器,所述深度摄像头采集目标的脸部图像信息、目标的位置信息,所述红外温度传感器采集目标的体温信息,所述信息采集模块将所述脸部图像信息、位置信息、体温信息传送至所述人脸检测模块,所述人脸检测模块判断被测目标是否为活的人脸,当检测结果非活的人脸时,将该结果信息传送至控制驱动模块,控制所述机械运动模块移动机器人避开当前目标,当检测结果为活的人脸时, 将该结果信息传送至所述特征提取模块,所述特征提取模块提取目标的特征信息并将所述特征信息传送至所述特征对比识别模块,所述特征对比识别模块将目标的特征信息与所述身份信息库中的特征信息进行对比识别,当识别结果为身份信息库中预定的目标人脸时,机器人进行人机交互,当识别结果非份信息库中预定的目标人脸时,将该结果信息传送至控制驱动模块,控制所述机械运动模块移动机器人避开当前目标,还包括一位置反馈模块,用于实时反馈目标的位置信息至所述控制驱动模块。
5. 如权利要求4所述的基于移动机器人的人脸实时跟踪系统,其特征在于,所述机械运动模块包括底盘驱动轮和头部旋转件,所述底盘驱动轮驱动机器人底盘移动,所述头部旋转件驱动机器人头部旋转,从而调整所述深度摄像头的拍摄范围,所述头部旋转件包括第一头部旋转件和第二头部旋转件,所述第一头部旋转件驱动机器人的头部在竖直方向的空间内旋转,所述第二头部旋转件驱动机器人的头部在水平方向的空间内内旋转。”
驳回决定主要认为:1、独立权利要求1与对比文件1的区别在于:(1)、摄像头采用深度摄像头,距离信息通过深度摄像头采集,同时利用红外温度传感器采集目标的体温信息,还将距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为活动生命体,当被检测目标为非人脸或非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标,当被检测目标为活的人脸时,继续执行后续动作;(2)、启动时,向机器人发出指令,要求机器人与身份信息库中一预定人脸进行交互,所述身份信息库为通过拍照采集人脸特征信息进行存储和记录的信息,经过人脸检测模块检测后,将活的人脸信息传送到特征提取模块,提取特征信息,所提取的特征信息传送到特征对比识别模块,使其与身份信息库中的信息进行对比,从而识别目标是否为所述身份信息库中的预定人脸,当确认不是预定人脸时,启动驱动跟踪模块进行移动机器人,以避开被测目标,当确认是预定人脸时,进行交互活动,调整机器人的移动使得红外温度传感器和目标的距离也保持在合适的距离范围;(3)、人脸图像特征包括几何特征、代数特征。上述区别特征(1)是在对比文件2的基础上容易想到的,区别特征(2)是在对比文件3的基础上容易想到的,区别特征(3)属于本领域公知常识,因此权利要求1不具备专利法第22条第3款规定的创造性。2、从属权利要求2-3的附加技术特征部分在对比文件1、2公开,部分属于本领域公知常识,因此其均不具备专利法第22条第3款规定的创造性。3、独立权利要求4与对比文件1的区别在于:(1)、信息采集模块还包括红外温度传感器,摄像头采用深度摄像头,距离信息通过深度摄像头采集,红外温度传感器采集目标的体温信息,信息采集模块还将位置信息、体温信息传送至人脸检测模块,人脸检测模块判断被检测目标是否为活的人脸,当被检测目标为非活的人脸时,见该结果信息传送至控制驱动跟踪模块,控制所述机械运动模块移动机器人避开当前目标;(2)、系统还包括、特征提取模块、身份信息库、特征对比识别模块,当被检测目标为活的人脸时,将该结果信息传送至所述特征提取模块,特征提取模块提取目标的特征信息并将所述特征信息传送至所述特征对比识别模块,所述特征对比识别模块将目标的特征信息与所述身份信息库中的特征信息进行对比识别,当识别结果为身份信息库中预定的目标人脸时,机器人进行人机交互,当识别结果非身份信息库中预定的目标人脸时,将该结果信息传送至控制驱动模块,控制所述机械运动模块移动机器人避开当前目标。上述区别特征(1)是在对比文件2的基础上容易想到的,区别特征(2)是在对比文件3的基础上容易想到的,因此权利要求4不具备专利法第22条第3款规定的创造性。4、从属权利要求5的附加技术特征部分在对比文件1公开,部分属于本领域公知常识,因此其也不具备专利法第22条第3款规定的创造性。
申请人(下称复审请求人)对上述驳回决定不服,于2018年11月02日向国家知识产权局提出了复审请求,同时提交了权利要求1-5的全文修改替换页,主要修改包括:在驳回决定针对权利要求书的基础上,将权利要求4的主题名称修改为“一种利用基于移动机器人的人脸实时跟踪方法的系统”,相应修改了从属权利要求5引用的主题名称。复审请求时新修改的权利要求4和5内容如下:
“4. 一种利用基于移动机器人的人脸实时跟踪方法的系统,包括:信息采集模块、人脸检测模块、特征提取模块、身份信息库、特征对比识别模块、控制驱动模块以及机械运动模块,所述信息采集模块包括深度摄像头和红外温度传感器,所述深度摄像头采集目标的脸部图像信息、目标的位置信息,所述红外温度传感器采集目标的体温信息,所述信息采集模块将所述脸部图像信息、位置信息、体温信息传送至所述人脸检测模块,所述人脸检测模块判断被测目标是否为活的人脸,当检测结果非活的人脸时,将该结果信息传送至控制驱动模块,控制所述机械运动模块移动机器人避开当前目标,当检测结果为活的人脸时,将该结果信息传送至所述特征提取模块,所述特征提取模块提取目标的特征信息并将所述特征信息传送至所述特征对比识别模块,所 述特征对比识别模块将目标的特征信息与所述身份信息库中的特征信息进行对比识别,当识别结果为身份信息库中预定的目标人脸时,机器人进行人机交互,当识别结果非份信息库中预定的目标人脸时,将该结果信息传送至控制驱动模块,控制所述机械运动模块移动机器人避开当前目标,还包括一位置反馈模块,用于实时反馈目标的位置信息至所述控制驱动模块。
5. 如权利要求4所述的利用基于移动机器人的人脸实时跟踪方法的系统,其特征在于,所述机械运动模块包括底盘驱动轮和头部旋转件,所述底盘驱动轮驱动机器人底盘移动,所述头部旋转件驱动机器人头部旋转,从而调整所述深度摄像头的拍摄范围,所述头部旋转件包括第一头部旋转件和第二头部旋转件,所述第一头部旋转件驱动机器人的头部在竖直方向的空间内旋转,所述第二头部旋转件驱动机器人的头部在水平方向的空间内内旋转。”
复审请求人主要认为:(1)对比文件2为一种人脸判断系统以及方法,其解决的技术问题是进行活的人脸判断,未涉及将该技术运用到移动机器人中,因此在没有相应的技术启示的情况下,本领域技术人员难以想到在对比文件1的机器人上结合活的人脸检测技术的处理方案。(2)对比文件1和2都没有提及距离信息采集、更没有距离信息与上述图像信息、温度信息的结合后应用方案,活体必然是活动的、活动的距离、快慢均有可能会影响到温度信息的判断,距离信息的采集、与温度信息、图像信息的综合判断得到人脸确认更加准确,且对比文件1和2都未公开从属权利要求2中经距离修正的人脸表面温度的相关特征,该方案也不属于本领域的常用技术手段。(3)对比文件1和2未公开权利要求1中“当被检测目标为非人脸或非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标”,通过先避开当前检测目标、再搜索下一头像,能够真正地显示出该机器人的智能效果,并且大大提高机器人的搜索效率。机器人不会再盲目地休眠、或者盲目地不断检测错误的非人脸活动体,重复计算降低辨别效率。因此本申请权利要求都具备创造性。
经形式审查合格,国家知识产权局于2018年11月23日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月18日发出复审通知书,指出:1、权利要求1与对比文件1的区别在于:(1)、摄像头为深度摄像头,深度摄像头采集脸部图像信息和距离信息,同时利用红外温度传感器采集目标的体温信息,还将距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为活动生命体,当被检测目标为非人脸或非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标,当被检测目标为活的人脸时,继续执行后续动作;(2)、启动时,向机器人发出指令,要求机器人与身份信息库中一预定人脸进行交互,所述身份信息库为通过拍照采集人脸特征信息进行存储和记录的信息,经过人脸检测模块检测后,将活的人脸信息传送到特征提取模块,提取特征信息,所提取的特征信息传送到特征对比识别模块,使其与身份信息库中的信息进行对比,从而识别目标是否为所述身份信息库中的预定人脸,当确认不是预定人脸时,启动驱动跟踪模块进行移动机器人,以避开被测目标,当确认是预定人脸时,进行交互活动,调整机器人的移动使得红外温度传感器和目标的距离保持在合适的距离范围。(3)、人脸图像特征包括几何特征、代数特征;上述区别特征(1)是在对比文件2的基础上容易想到的,区别特征(2)是在对比文件3的基础上容易想到的,区别特征(3)属于本领域的公知常识,因此权利要求1不具备专利法第22条第3款规定的创造性。2、从属权利要求2-3的附加技术特征部分在对比文件1或2公开,部分属于本领域的公知常识,因此其均不具备专利法第22条第3款规定的创造性。权利要求4与对比文件1的区别在于:(1)、信息采集模块包括深度摄像头和红外温度传感器,深度摄像头采集脸部图像信息和距离信息,红外温度传感器采集目标的体温信息,还将距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为活动生命体,当被检测目标为非人脸或非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标;(2)、该系统还包括特征提取模块、身份信息库和特征对比识别模块,当检测结果为活的人脸时,将结果信息传送到特征提取模块,提取特征模块提取目标的特征信息,并将所述特征信息传送到特征对比识别模块,所述特征对比识别模块将目标的特征信息与身份信息库中的特征信息进行对比,当识别结果为身份信息库中的预定的目标人脸时,机器人进行交互活动,当识别结果非身份信息库中预定的目标人脸时,将结果传送至控制驱动模块,控制机械运动模块移动机器人避开当前目标;该区别特征(1)和(2)与权利要求1与对比文件1的区别特征(1)和(2)实质上相同,因此基于与权利要求1相同的理由,该独立权利要求4也不具备专利法第22条第3款规定的创造性。4、从属权利要求5的附加技术特征部分在对比文件1公开,部分属于本领域公知常识,因此其也不具备专利法第22条第3款规定的创造性。
复审请求人于2019年05月31日提交了意见陈述书,并提交了权利要求1-5的全文修改替换页,主要修改包括:在第一次复审意见通知书的基础上,将权利要求1的特征“当被检测目标为非人脸或非活的生命体时”修改为“当被检测目标为非人脸和非活的生命体时”,修改后权利要求1的内容如下:
“1. 一种基于移动机器人的人脸实时跟踪方法,包括以下步骤:
向机器人发出指令,要求机器人与身份信息库中一预定人脸进行交互,所述身份信息库为通过拍照采集人脸特征信息进行存储和记录的信息;
寻找目标,利用深度摄像头拍照采集目标的脸部图像信息、距离信息;同时利用红外温度传感器采集目标的体温信息,提取的脸部图像信息包括人脸图像特征,所述人脸图像特征包括几何特征、代数特征;
将脸部图像信息、距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为人脸以及是否为活动生命体,当被检测目标为非人脸和非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标;当被检测目标为活的人脸时,继续执行后续动作;
经过人脸检测模块检测后,将活的人脸信息传送到特征提取模块,提取特征信息;将所提取的特征信息传送到特征对比识别模块,使其与身份信息库中的信息进行对比,从而识别目标是否为所述身份信息库中的预定人脸,当确认不是预定人脸时,启动驱动跟踪模块进行移动机器人,以避开被测目标;当确认是预定人脸时,进行交互活动;
将目标被确认是预定人脸后,将目标的距离信息传送至驱动跟踪模块,利用驱动跟踪模块调整机器人的移动,使得深度摄像头和红外温度传感器和目标的距离保持在合适的距离范围,确保机器人与目标的交互过程正常进行。”
复审请求人主要认为:(1)对比文件1中仅公开了检测目标为非人脸时,移动机器人避开被测目标;对比文件2中只公开了,判定对应温度感测区域的对应区块中所检测到的该人脸不为活体人脸时,产生一提示信号,以提示该温度感测区域的位置,用于避免进行辨识时,使用者未将其脸部置于正确的温度感测区域,对比文件1和对比文件2结合后的方案无法实现在检测判断目标为非人脸和非活体时,机器人会避开被测目标,即对比文件1和2结合无法得到本案的“判断被检测目标是否为人脸以及是否为活动生命体,当被检测目标为非人脸和非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标”;对比文件2只提及检查到目标温度落入活动生命体体温范围时,执行判断指令;对比文件3公开了当确定不是人脸时,放弃交互活动,继续搜索下一头像,由此可知,对比文件2和3并没有公开若检测到的目标温度不在活的生命体温范围内、或不是预定人脸时机器人将如何具体工作,在现有技术中,当机器人检测不到目标指令,可以休眠、可以继续搜索,但并没有公开先避开当前检测目标、再搜索下一头像,并且通过该特征,可以大大提高机器人的搜索效率,避免重复计算降低辨别效率。(2)对比文件1公开的测距传感器进行检测距离信息,并没有提及到任何检测体温信息的技术特征,对比文件2所公开的红外温度传感器只提及采集检测目标的图像信息、温度信息,并没有提及距离信息采集,更没有距离信息与上述图像信息、温度信息的结合后的应用方案,本申请将检测人体距离信息与检测人体体温信息结合,实现更加精确的检测,以获得准确的人脸图像信息。因此本申请独立权利要求1相对于对比文件1-3具备创造性;对比文件1和2完全未涉及从属权利要求2的附加技术特征,且利用经距离修正的人脸表面温度,可以使检测目标为或活的人脸的数据更精确,因此权利要求2具备创造性。
在上述程序的基础上,合议组认为本案事实已经清楚,依法作出审查决定。
二、决定的理由
审查文本的认定
在复审程序中,复审请求人分别在2018年11月02日和2019年05月31日提交了权利要求1-5的全文修改替换页,经审查,上述修改符合专利法第33条的规定。因此本决定以申请日提交的说明书摘要、说明书第1-61段、摘要附图、说明书附图1-4,及2019年05月31日提交的权利要求第1-5项为基础作出。
权利要求1-5不具备专利法第22条第3款规定的创造性
创造性,专利法第22条第3款规定:创造性是指同现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
如果一项权利要求与一份对比文件相比存在区别技术特征,但这些区别技术特征部分在其他对比文件中公开,部分属于本领域的公知常识,且上述区别技术特征的应用也未给该权利要求带来预料不到的技术效果,则该权利要求相对于该些对比文件与公知常识的结合不具备创造性。
独立权利要求1请求保护一种基于移动机器人的人脸实时跟踪方法,对比文件1公开了一种机器人的主动视觉人脸跟踪方法和跟踪系统,具体公开了:该系统包括主动摄像机、图像跟踪模块、运动跟踪模块、层级缓冲模块和状态反馈模块等,主动摄像机获取含有人脸目标的图像;图像跟踪模块对人脸目标进行跟踪;层级缓冲模块确定主动摄像机和机器人移动的范围;运动跟踪模块根据层级缓冲模块确定的主动摄像机和机器人移动的范围控制主动摄像机和机器人的移动;状态反馈模块分别连接图像跟踪模块和运动跟踪模块,向图像跟踪模块和运动跟踪模块反馈人脸目标区域的图像位置信息、主动摄像机的水平垂直角度信息和移动机器人的位姿信息。所述跟踪系统还包括运动规划控制模块,该模块根据人脸目标位置,控制机器人向人脸目标位置移动。运动规划控制模块包括测距传感器,栅格地图模块、路径搜索模块、模糊逻辑控制模块和机器人控制模块,测距传感器获取机器人与障碍物的距离,栅格地图模块根据所述距离生成动态栅格地图;机器人控制模块根据最优路径和机器人移动速度控制机器人向人脸目标位置移动。参考图2,人脸图像跟踪流程的步骤如下:(1)利用主动摄像机获取图像信息;(2)通过AdaBoost人脸检测算法从图像中获取人脸区域;(3)对人脸目标图像计算颜色概率图;(4)通过窗口自适应的CamShift核密度估计算法对人脸目标进行跟踪;(5)在跟踪过程中,如果失效(即检测不到人脸),则进入第二步重新检测人脸,否则进行图像显示(说明书第0004-0084段及其附图1-4)。
将对比文件1与权利要求1相比较可知,对比文件1公开了利用主动摄像头获取人脸图像、检测人脸并对人脸目标进行跟踪的方法,因此对比文件1中利用主动摄像头获取人脸图像的过程相当于权利要求1中寻找目标,且对比文件1检测人脸的过程中必然有人脸检测模块,脸部图像信息也必然包括人脸图像特征,对比文件1中公开的根据人脸目标位置,控制机器人向人脸目标位置移动相当于权利要求1中确定目标后,驱动跟踪模块调整机器人的移动,使得摄像头和目标的距离保持在合适的距离范围,确保机器人与目标的交互过程正常进行。因此权利要求1与对比文件1的区别在于:(1)、摄像头为深度摄像头,深度摄像头采集脸部图像信息和距离信息,同时利用红外温度传感器采集目标的体温信息,还将距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为活动生命体,当被检测目标为非人脸和非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标,当被检测目标为活的人脸时,继续执行后续动作;(2)、启动时,向机器人发出指令,要求机器人与身份信息库中一预定人脸进行交互,所述身份信息库为通过拍照采集人脸特征信息进行存储和记录的信息,经过人脸检测模块检测后,将活的人脸信息传送到特征提取模块,提取特征信息,所提取的特征信息传送到特征对比识别模块,使其与身份信息库中的信息进行对比,从而识别目标是否为所述身份信息库中的预定人脸,当确认不是预定人脸时,启动驱动跟踪模块进行移动机器人,以避开被测目标,当确认是预定人脸时,进行交互活动,调整机器人的移动使得红外温度传感器和目标的距离保持在合适的距离范围;(3)、人脸图像特征包括几何特征、代数特征。对于上述区别特征,本申请权利要求1请求保护的技术方案实际解决的技术问题是如何确定目标为活体;如何进行人脸身份识别并与之交互。
对于上述区别特征(1),对比文件2公开了一种人脸判断系统以及方法,具体公开了:该人脸判断系统包括一可见光摄像机、一红外摄像机、一非接触式温度感测装置以及一处理元件。非接触式温度感测装置可为红外线温度计。可见光摄像机和红外摄像机分别拍摄可见光照片和红外光照片,非接触式温度感测装置对一温度感测区域感测一当前目标温度,处理元件包含一人脸检测模块以及一体温判断模块,在人脸检测模块判定对应区块存在人脸时,体温判断模块判断当前目标温度是否落入一人类体温范围内,在体温判断模块判定当前目标温度落于人类体温范围内时,处理元件判定对应区块中所检测到的人脸为活体人脸。处理元件更可包含一指令执行模块,判定对应区块中所检测到的人脸为活体人脸时,指令执行模块可开始执行一预定指令(说明书第0005-0051段及其附图1-4)。由此可知,对比文件2公开了利用红外温度计检测目标体温,以及利用目标脸部图像和体温信息进行判断人脸是否为活的生命体的技术方案,即对比文件2给出了在人脸识别时,利用体温信息判断检测目标是否为活体的技术启示,因此在对比文件1公开了机器人进行人脸跟踪的基础上,为了进一步提高人脸检测的准确性,本领域技术人员有动机选择对比文件2公开的通用的人脸识别方法,将其结合到对比文件1从而得到本申请;另外本领域技术人员都知道,距离远近会影响测量的体温信息,因此在人脸识别过程中,为了提高温度检测的精度以精确判断所述图像是否为活体,本领域技术人员容易想到根据人脸的图像信息、距离信息和体温信息一起来检测人脸是否为活体,且深度摄像头也属于常见的测量图像和距离信息的摄像头;进一步,对比文件1公开了机器人在跟踪过程中,如果失效(即检测不到人脸),则进入第二步重新检测人脸,即对比文件1给出了检测不到预定目标时,放弃当前目标以寻找下一个目标的技术启示,另外在机器人目标跟踪领域,当检测到非目标时,如非人脸和非活的生命体时,为了继续寻找下一个目标,而使机器人首先避开当前目标也属于本领域公知的;
对于上述区别特征(2),对比文件3公开了一种人脸识别机器人的设计与实现,具体公开了:一个完整的人脸识别系统一般包含人脸图像的获取、人脸检测与定位、人脸特征提取和特征对比(必然有对比识别模块)四个主要环节。其硬件系统包括机器人载体和机械运动,系统的软件部分由人脸识别模块、语音识别模块等组成,其中人脸识别模块通过安装在机器人主体头部的摄像头采集视频流信息,系统进行实时人脸检测并与特征库中的人脸特征文件进行对比,若匹配成功,触发语音模块和机械动作模块,与此人握手、问候、语音对话等互动(相当于权利要求1中的识别目标是否为所述身份信息库中的预定人脸,当确认是预定人脸时,进行交互运动)。结合图7,系统识别出头像后,需要判断是否为注册图像,若是,则进行身份确认,并与其交互,若不是,则继续循环识别(第7756-7758页及其附图7)。另外,在经确认是预定人脸以与其进行交互前,将机器人与目标的距离保持在合适的范围,以确保交互过程正常进行,以及当该系统用于机器人人脸实时跟踪时,对于当确认不是预定人脸时,启动驱动跟踪模块使其避开当前目标也属于本领域技术人员容易想到的,不需要付出创造性劳动;
对于上述区别特征(3),对比文件1和3都公开了基于人脸图像特征对人脸识别,而本领域技术人员熟知几何特征、代数特征均为人脸识别领域中常规方法(参见“自动识别技术概论”,刘平等,第208-216页,清华大学出版社,2013年8月。其中第210页公开了人脸特征,采用某种方法表示出数据库中的一种人脸和检测出的人脸,通常的方法有几何特征、代数特征、特征脸、固定特征模板等),因此,具体提取的人脸图像特征包括几何特征、代数特征,用于人脸识别,这属于本领域的常规人脸识别方法。
综上所述,在对比文件1的基础上结合对比文件2、3和本领域公知常识,得到权利要求1的技术方案是显而易见的,因此权利要求不具备创造性,不符合专利法第22条第3款的规定。
从属权利要求2对人脸检测模块的检测过程作出了进一步限定,对比文件1公开了:检测到人脸后,机器人对人脸目标进行跟踪,并通过主动摄像机和机器人的移动将人脸目标保持在摄像机获取图像的中心,也即摄像机的视角中心(说明书第0008段),对比文件2公开了:可将摄影机、红外光摄影机以及非接触式温度感测装置进行同步,使得进行拍摄以及感测的时间相同,在人脸检测模块判断对应区块存在人脸时,体温判断模块判断当前目标温度是否落入一人类体温范围(必然有最小和最大温度值)内,在体温判断模块判定当前目标温度落于人类体温范围内时,处理元件判定对应区块中所检测到的人脸为活体人脸(说明书第0031-0033段)。另外本领域技术人员也都知道,与人体距离不同,红外温度传感器感测的温度必然不同,因此为了提高温度检测的精度,本领域技术人员容易想到将检测的温度进行距离修正,因此,在其引用的权利要求不具备创造性的情况下,该从属权利要求2也不具备创造性,不符合专利法第22条第3款的规定。
从属权利要求3的附加技术特征对位置反馈模块作出了进一步限定,对比文件1公开了:状态反馈模块贯穿于整个跟踪系统,为图像跟踪模块和运动跟踪模块提供重要的反馈信息,因此状态反馈模块包括跟踪目标区域的图像位置信息(相当于公开了权利要求3的位置反馈模块)、主动摄像机的水平垂直角度信息和移动机器人的位姿信息,另外通过两层的缓冲机制,保证了跟踪的连续性,使得跟踪区域始终在图像中移动,最终保持在图像中心,当人脸目标要离开矩形限制区域时,启动移动机器人旋转(必然是机械运动模块是机器人旋转)(说明书第0064-0069段)。由此可知,对比文件1公开了,在进行人脸跟踪过程中,利用位置反馈模块反馈目标位置,并精确实时控制机器人的机械运动模块移动机器人,使跟踪区域保持在图像中心;另外若机器人安装有红外温度传感器,而使机器人的红外温度传感器实质处于检测范围也属于本领域技术人员容易想到的,因此,在其引用的权利要求不具备创造性的情况下,该从属权利要求3也不具备创造性,不符合专利法第22条第3款的规定。
独立权利要求4请求保护一种利用基于移动机器人的人脸实时跟踪方法的系统,对比文件1公开的内容如上所述,将对比文件1与权利要求4相比较可知,对比文件1公开了利用主动摄像头获取人脸图像、检测人脸并对人脸目标进行跟踪的方法,因此对比文件1中的主动摄像头相当于该权利要求的信息采集模块,其检测人脸的过程中必然有人脸检测模块,对比文件1中公开的根据人脸目标位置,控制机器人向人脸目标位置移动,因此对比文件1中必然具有控制驱动模块和控制机器人移动的机械运动模块;对比文件1的可以跟踪目标去预定图像位置信息和机器人位姿信息的状态反馈模块相当于该权利要求4中实时反馈目标位置至控制驱动模块的位置反馈模块。因此权利要求4与对比文件1的区别在于:(1)、信息采集模块包括深度摄像头和红外温度传感器,深度摄像头采集脸部图像信息和距离信息,红外温度传感器采集目标的体温信息,还将距离信息以及体温信息传送至人脸检测模块,判断被检测目标是否为活动生命体,当被检测目标为非人脸或非活的生命体时,启动驱动跟踪模块进行移动机器人,以避开被测目标;(2)、该系统还包括特征提取模块、身份信息库和特征对比识别模块,当检测结果为活的人脸时,将结果信息传送到特征提取模块,提取特征模块提取目标的特征信息,并将所述特征信息传送到特征对比识别模块,所述特征对比识别模块将目标的特征信息与身份信息库中的特征信息进行对比,当识别结果为身份信息库中的预定的目标人脸时,机器人进行交互活动,当识别结果非身份信息库中预定的目标人脸时,将结果传送至控制驱动模块,控制机械运动模块移动机器人避开当前目标。对于上述区别特征,本申请权利要求1请求保护的技术方案实际解决的技术问题是如何确定目标为活体;如何进行人脸身份识别并与之交互。
由此可知,该区别特征(1)和(2)与权利要求1与对比文件1的区别特征(1)和(2)实质上相同,因此基于与权利要求1相同的理由,该独立权利要求4也不具备创造性,不符合专利法第22条第3款的规定。
从属权利要求5的附加技术特征对机械运动模块作出了进一步限定,对比文件1公开了:移动机器人随着人的走动,通过主动摄像机水平垂直方向的运动和机器人的旋转运动实时跟踪人脸目标,如果主动摄像机的移动无法使得人脸目标保持在矩形限制区域内,机器人旋转运动来补偿,所述机器人旋转运动的范围为360°(说明书第0017-0020段),即对比文件1公开了机器人可以进行旋转运动并且还可以控制主动摄像机水平和垂直方向运动来调整摄像头的拍摄范围,而本领域技术人员都知道底盘驱动轮是机器人常见的旋转结构,另外通过利用机器人的头部旋转件来驱动机器人以调整在水平和竖直方向运动也属于控制机器人运动过程中的常用技术手段,因此,在其引用的权利要求不具备创造性的情况下,该从属权利要求5也不具备创造性,不符合专利法第22条第3款的规定。
对于复审请求人的上述意见,合议组认为:正如前面审查意见所述,(1)首先,对比文件2公开的用于提示非接触式温度感测装置可感测的温度感测区域位置的提示模块,是为了提高检测的效率,且该步骤是在已经确定为人脸以后进一步确定是否为活体时执行的,和本申请中已经确定检测目标为非人脸和非活的生命体后的步骤不同;其次,对比文件1公开了机器人在跟踪过程中,如果失效(即检测不到人脸),则进入第二步重新检测人脸,即对比文件1给出了检测不到预定目标时,放弃当前目标以寻找下一个目标的技术启示;对比文件3公开了当确定不是人脸时,继续搜索下一头像,即也给出了当检测到不是预定目标时,继续寻找其他目标的技术启示;另外在机器人目标跟踪领域,当检测到非目标时,如非人脸和非活的生命体时,为了继续寻找下一个目标,而使机器人首先避开当前目标也属于本领域公知的;(2)红外测量人体温度已经属于比较成熟的技术,且本领域技术人员都知道,距离会对红外测量温度值产生一定的影响,距离越大,所测温度与实际温度偏差越大,因此对温度进行距离补偿属于红外测温领域为了提高测温精度经常采用的方法,因此在人脸识别过程中,利用红外检测人体温度来判断是否或活的人体时,为了提高检测精度,本领域技术人员容易想到根据人脸的图像信息、距离信息和体温信息一起来检测人脸是否为活体,并根据距离对温度进行修正。因此,复审请求人的上述意见陈述并不能使本申请具备创造性。
基于上述事实和理由,合议组做出如下决定。
三、决定
维持国家知识产权局于2018年07月19日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。