发明创造名称:一种能够识别手势的无人机及其识别方法
外观设计名称:
决定号:183375
决定日:2019-07-08
委内编号:1F262728
优先权日:
申请(专利)号:201510257015.0
申请日:2015-05-20
复审请求人:成都通甲优博科技有限责任公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:马良
合议组组长:钟翊
参审员:戴丽娟
国际分类号:G06F3/01
外观设计分类号:
法律依据:专利法第22条第3款
决定要点:如果一项权利要求请求保护的技术方案与作为最接近的现有技术的对比文件所公开的内容相比存在多个区别技术特征,其中一部分区别技术特征被另外的对比文件公开,并且其在另外的对比文件中所起的作用和上述一部分区别技术特征在该权利要求中为解决其技术问题起到的作用相同;同时其它的区别技术特征属于本领域的公知常识,则将上述对比文件及上述本领域的公知常识结合从而得到该权利要求请求保护的技术方案是显而易见的,该权利要求不具备创造性。
全文:
本复审请求涉及申请号为201510257015.0,名称为“一种能够识别手势的无人机及其识别方法”的发明专利申请(下称本申请)。申请人为成都通甲优博科技有限责任公司。本申请的申请日为2015年05月20日,公开日为2015年07月29日。
经实质审查,国家知识产权局原审查部门审查员于2018年08月13日发出驳回决定,以权利要求1-7不符合专利法第22条第3款规定的创造性为由驳回了本申请,采用了如下两篇对比文件:
对比文件1:CN103365294A,公开日2013年10月23日;
对比文件2:CN101853071A,公开日2010年10月06日。
其理由是:权利要求1和5与对比文件1相比的区别技术特征为:(1)该权利要求限定了一种能够识别手势的无人机,通过设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器协同工作完成手势的识别操作;(2)该权利要求限定了对输入图像进行处理,进而识别手势的具体过程。基于上述区别技术特征,权利要求1实际要解决的技术问题是采用何种模块完成用户通过手势控制无人机的功能、如何根据输入图像进行手势识别。针对区别技术特征(1),在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,进一步设置图像获取装置获取视角范围内的图像,图像处理模块根据获取图像判断图像中是否存在人,当图像中存在人时,启动手势识别模块,手势识别模块根据图像中人的手势及事先建立的人的手势运动模型,识别出图像中人的手势,手势翻译器将图像中人的手势翻译为无人机的控制命令,并发送给无人机,并且将实现对应功能的图像获取装置、图像处理模块、手势识别模块和手势翻译器设置在无人机上,构成一个能够识别手势的无人机,这是本领域技术人员的常规选择,属于本领域的公知常识。针对区别技术特征(2),对比文件2公开了以下内容(参见说明书第4-70段及附图1-4):参见说明书第7-15段,基于视觉的手势识别方法包括:(1)手势图像采集:通过手势图像采集装置获取用户手势图像数据,作为待识别手势;(2)图像数据录入;(3)手势图像识别:处理手势图像数据、提取特征并与特征库中的模板匹配得出识别结果,所述手势图像识别包括:(31)图像二值化:判断图像中是否有手势,有手势进行所述手势分割,否则重新采集图像数据并录入;(32)手势分割:从经所述手势图像二值化之后的图像中分割出完整的手势图像;(33)特征提取:根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量;(34)特征匹配:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果。可见,对比文件2公开了通过对采集的用户图像进行相应的处理,如手势分割、特征提取、特征匹配,进而识别用户的手势,并且该技术特征在对比文件2中所起的作用与在本申请中相同。因此,当本领域技术人员面对如何根据输入图像进行手势识别的技术问题时,对比文件2给出了对采集的输入图像进行手势分割、特征提取、特征匹配等处理,进而识别用户手势的技术启示。在该技术启示下,进一步设置图像处理模块包括预处理模块和特征提取模块,预处理模块用于对输入的图像进行分割、边缘检测和角点检测,然后将结果送入特征提取模块;特征提取模块首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标,然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别,例如采用常用的非线性分类器对待检测图像进行手势识别,利用离线训练好的手势运动模型对输入图像进行手势识别,然后将手势识别的结果发送给手势翻译器,这是本领域的常规选择,属于本领域的公知常识。因此,在对比文件1的基础上结合对比文件2及本领域公知常识得到该权利要求请求保护的技术方案对本领域技术人员来说是显而易见的,该权利要求不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。从属权利要求2-4、6-7或被对比文件1公开或是本领域的公知常识,因而也不具备创造性。
驳回决定所依据的文本为申请日2015年05月20日提交的说明书摘要、说明书第1-31段、摘要附图、说明书附图图1-图2;2018年2月12日提交的权利要求第1-7项。
驳回决定所针对的权利要求书如下:
“1. 一种能够识别手势的无人机,其特征在于具体包括设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器;所述图像获取装置用于获取视角范围内的图像;所述图像处理模块根据获取到的图像判断图像中是否存在人,当图像中存在人的时候,启动手势识别模块;所述手势识别模块根据图像中人的手势以及事先建立的人的手势运动模型,识别出图像中人的手势;所述手势翻译器将图像中的人的手势翻译为无人机的控制命令,并发送给无人机;
所述图像处理模块包括预处理模块和特征提取模块,所述预处理模块用于对输入的图像进行分割、边缘检测和角点检测,然后将结果送入特征提取模块;所述特征提取模块首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标,然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别;
采用非线性分类器对待检测图像进行手势识别,利用离线训练好的手势运动模型对输入图像进行手势识别,然后将手势识别的结果发送给手势翻译器。
2. 如权利要求1所述的能够识别手势的无人机,其特征在于所述手势翻译器用于建立手势与控制命令之间的映射关系,从而将手势翻译成无人机的控制命令,其首先建立手势字典,该字典定义了手势与控制命令间的对应关系,当有新的手势识别结果输入时,手势翻译器随即查找手势字典,并将查找结果输出到无人机,完成手势遥控行为。
3. 如权利要求1或者2所述的能够识别手势的无人机,其特征在于所述图像获取装置通过云台安装在无人机上,所述云台带动图像获取装置向任意角度旋转,以获取到用户的手势。
4. 如权利要求1所述的能够识别手势的无人机,其特征在于所述无人机还包括切换开关,所述切换开关用于切换无人机当前的被控制方式,所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。
5. 一种能够识别手势的无人机的识别方法,其具体包括以下的步骤:步骤一、根据人的手势建立人的手势运动识别模型,并训练该手势运动识别模型;步骤二、设置在无人机上的图像获取装置获取视角范围内的图像,并判断该图像中是否存在人,是则启动手势识别的步骤,否则继续获取视角范围内的图像;步骤三、根据步骤二获取到的图像中人的手势以及事先建立的手势运动识别模型,识别出图像中人的手势;步骤四、将图像中的人的手势翻译为无人机的控制命令,并发送给无人机;
其中图像处理包括预处理和特征提取,所述预处理用于对输入的图像进行分割、边缘检测和角点检测操作,然后将结果送入特征提取,所述特征提取首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标;然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别;
所述图像获取装置通过云台安装在无人机上,所述云台带动图像获取装置向任意角度旋转,以获取到用户的手势。
6. 如权利要求5所述的能够识别手势的无人机的识别方法,其特征在于当图像获取装置获取到人的手势后,根据人在图像中的位置变化,调整云台的旋转角度,以控制该图像获取装置的视角始终面向控制该无人机的人。
7. 如权利要求6所述的能够识别手势的无人机的识别方法,其特征在于无人机还包括切换开关,所述切换开关用于切换无人机当前的被控制方式,所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年10月15日向国家知识产权局提出了复审请求,但没有对权利要求书作出修改。复审请求人认为:(1)本申请与对比文件1相比的技术方案不同、控制无人机的目标量不同:对比文件1中“使用者双手向左/向右摆动的姿势”属于身体的姿势,双手向左/向右属于身体上肢的运动。而本申请中的手势姿势是指手指的姿势,而非手臂的姿势。对比文件1采用人体 的身体姿势、动作信息,而本文采用人的手势信息,其目标量不同,会导致使用的算法不同;针对手势姿势和手臂的姿势识别算法不同,不能简单的直接使用;并且,对比文件1中使用身体姿势控制无人飞行载具,有一些局限,首先其要求身体没有缺陷,尤其是四肢,否则的话,无法很好的操控无人飞行载具。其次,针对人多的场合,不方便采用身体姿势来操控无人飞行载具(公众场合频繁挥手踢腿或扭动腰肢感觉不是很合适)。本文采用的手势识别控制无人机,克服了上述缺陷。(2)本申请与对比文件1相比,处理的图像类型不同、获取姿势的方案不同、样本数据的类型不同、姿势识别的方法不同:对比文件1采用的深度摄像机,采集的图像为深度图像,而本文采集的是普通的RGB图像;不同的图像来源会导致截然不同的识别方法。对比文件1采用的是3D立体人型样本,通过收集大量的身体姿势、动作的样本数据,然后将当前的人体姿势与样本数据库直接进行比较分析得出姿势信息;本文采用普通的RGB图像,利用离线训练模型-在线识别的方法判别手势姿势。
经形式审查合格,国家知识产权局于2018年10月23日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为:(1)发明专利权的保护范围以其权利要求的内容为准。本申请目前的权利要求及说明书中均没有记载“本文的手势是指手指的姿势,而非手臂的姿势”,并且本领域技术人员根据本申请文件记载的内容也不能直接、毫无疑义地确定上述手势是指手指的姿势,因此,对比文件1公开的“使用者双手向左/向右摆动、双手向下/向上移动时,控制无人飞行载具向左/向右转弯、向下俯/向上仰”,相当于本申请的“通过手势控制无人机”,并且对比文件1公开了通过摄像机捕获用户图像,识别手势进而控制无人机,因此,对比文件1同样也公开了本申请中的手势、手势识别、手势翻译等技术特征,同样也达到与本申请相同的技术效果。(2)本申请的权利要求书及说明书中均没有记载“本申请采用普通的RGB图像”,因此本领域技术人员可以直接、毫无疑义地确定,对比文件1公开的“影像侦测模块102利用深度摄影机11持续针对前方包含使用者的场景进行拍摄,取得前方场景影像”,相当于本申请中的“图像获取装置用于获取视角范围内的图像”。另外,虽然,对比文件1中识别姿势的方法与本申请中不同,但审查员在驳回通知书中引用的对比文件2公开了一种手势识别的方法,并且通过对采集的输入图像进行手势分割、特征提取、特征匹配等处理,进而识别出用户的手势,虽然该对比文件2所述的手势识别方法没有提到其用于无人机控制,但是对于手势识别的方法而言,识别手势的方法在各个技术领域中是通用的。因此,结合对比文件2公开的手势识别方法,为了通过对比文件1所述的手势实现对无人机的控制,在无人机上设置对应的模块完成该手势识别的功能,并采用合适的用于识别手势的技术手段,例如,通过分类器利用离线训练模型-在线识别的方式判断手势类型(参见教科书《融创传播研究的探索》,胡舒立主编,第363、365页,中山大学出版社,2014年7月),这是本领域技术人员的常规选择,属于本领域公知常识。因此,在对比文件1的基础上结合对比文件2及公知常识得到本申请要求保护的技术方案对本领域技术人员是显而易见,权利要求1及与其对应的方法权利要求5不具有创造性,因而坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年03月07日向复审请求人发出复审通知书,指出:权利要求1-7相对于对比文件1、对比文件2及本领域公知常识的结合对本领域技术人员来说是显而易见的,该权利要求不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
复审请求人于2019年03月21日提交了意见陈述书和经过修改权利要求书(包括权利要求第1-4项),将原权利要求4的技术特征加入权利要求1.将原权利要求6-7的技术特征加入权利要求5.复审请求人认为:(1)对比文件1手臂的姿态不能相当于本申请手指的姿势;(2)新修改的权利要求1在不增加无人机硬件成本的基础上辅助现有的遥控方法,实现多重控制,对比文件1是直接替换现有的控制方法,两者不能等同;(3)对比文件2的手势识别算法不能用于无人机手势识别;(4)技术特征“判断图像中是否存在人,当存在时启动手势识别模块”没有被对比文件公开。
复审请求人答复复审通知书时提交的权利要求书如下:
“1. 一种能够识别手势的无人机,其特征在于具体包括设置在无人机上的图像获取装置、图像处理模块、手势识别模块、手势翻译器和切换开关;所述图像获取装置用于获取视角范围内的图像;所述图像处理模块根据获取到的图像判断图像中是否存在人,当图像中存在人的时候,启动手势识别模块;所述手势识别模块根据图像中人的手势以及事先建立的人的手势运动模型,识别出图像中人的手势;所述手势翻译器将图像中的人的手势翻译为无人机的控制命令,并发送给无人机;所述切换开关用于切换无人机当前的被控制方式,所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制;
所述图像处理模块包括预处理模块和特征提取模块,所述预处理模块用于对输入的图像进行分割、边缘检测和角点检测,然后将结果送入特征提取模块;所述特征提取模块首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标,然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别;
采用非线性分类器对待检测图像进行手势识别,利用离线训练好的手势运动模型对输入图像进行手势识别,然后将手势识别的结果发送给手势翻译器。
2. 如权利要求1述的能够识别手势的无人机,其特征在于所述手势翻译器用于建立手势与控制命令之间的映射关系,从而将手势翻译成无人机的控制命令,其首先建立手势字典,该字典定义了手势与控制命令间的对应关系,当有新的手势识别结果输入时,手势翻译器随即查找手势字典,并将查找结果输出到无人机,完成手势遥控行为。
3. 如权利要求1或者2述的能够识别手势的无人机,其特征在于所述图像获取装置通过云台安装在无人机上,所述云台带动图像获取装置向任意角度旋转,以获取到用户的手势。
4. 一种能够识别手势的无人机的识别方法,其具体包括以下的步骤:步骤一、根据人的手势建立人的手势运动识别模型,并训练该手势运动识别模型;步骤二、设置在无人机上的图像获取装置获取视角范围内的图像,并判断该图像中是否存在人,是则启动手势识别的步骤,否则继续获取视角范围内的图像;步骤三、根据步骤二获取到的图像中人的手势以及事先建立的手势运动识别模型,识别出图像中人的手势;步骤四、将图像中的人的手势翻译为无人机的控制命令,并发送给无人机;
其中图像处理包括预处理模块和特征提取模块,所述预处理用于对输入的图像进行分割、边缘检测和角点检测操作,然后将结果送入特征提取;所述特征提取首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标,然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别;
所述图像获取装置通过云台安装在无人机上,所述云台带动图像获取装置向任意角度旋转,以获取到用户的手势;
当图像获取装置获取到人的手势后,根据人在图像中的位置变化,调整云台的旋转角度,以控制该图像获取装置的视角始终面向控制该无人机的人;
无人机还包括切换开关,所述切换开关用于切换无人机当前的被控制方式,所述被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制。”
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人于2019年03月21日提交了权利要求书全文的修改替换页,包括权利要求第1-4项,经审查,上述修改符合专利法第33条和专利法实施细则第61条第1款的规定。
本复审决定依据的文本为:申请日2015年05月20日提交的说明书摘要、说明书第1-31段、摘要附图、说明书附图图1-图2;2019年03月21日提交的权利要求第1-4项。
关于专利法第22条第3款
专利法第22条第3款规定:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步。
如果一项权利要求请求保护的技术方案与作为最接近的现有技术的对比文件所公开的内容相比存在多个区别技术特征,其中一部分区别技术特征被另外的对比文件公开,并且其在另外的对比文件中所起的作用和上述一部分区别技术特征在该权利要求中为解决其技术问题起到的作用相同;同时其它的区别技术特征属于本领域的公知常识,则将上述对比文件及上述本领域的公知常识结合从而得到该权利要求请求保护的技术方案是显而易见的,该权利要求不具备创造性。
在本复审决定中引用原审查部门在驳回决定中所引用的对比文件1-2作为现有技术,即:
对比文件1:CN103365294A,公开日2013年10月23日;
对比文件2:CN101853071A,公开日2010年10月06日。
1)、权利要求1请求保护一种能够识别手势的无人机。对比文件1公开了一种无人飞行载具控制系统及方法,并公开了以下内容(参见说明书第2-35段及附图1-5):参见说明书第24-25、35段,图1所示的无人飞行载具控制系统10安装并运行于主机1中,通过使用者以身体姿势、动作来操控无人飞行载具2的飞行状态,例如控制无人飞行载具2向左转弯、向右转弯、向下俯或向上仰,调整飞行速度、飞行侧滑角度及偏航速率和航向等,图3和5所示,使用者双手向左/向右摆动的姿势时,则控制操控无人飞行载具2向左/向右转弯,使用者双手向下/向上移动时,则控制无人飞行载具2向下俯/向上仰(本领域技术人员可以直接、毫无疑义地确定,使用者做出的用于控制无人飞行载具2执行命令的上述姿势可以理解成一种用户手势,因此,通过手势控制无人飞行载具2的飞行状态,相当于“一种能够识别手势的”装置);参见说明书第27-34段,步骤S22-影像侦测模块102利用深度摄影机11持续针对前方包含使用者的场景进行拍摄,取得前方场景影像(相当于“图像获取装置用于获取视角范围内的图像”),步骤S23-影像侦测模块102利用3D人型侦测技术从摄得的场景影像中侦测使用者的3D立体人型影像,步骤S24-影像侦测模块102将侦测的3D立体人型影像与存储的3D立体人型样本数据库进行比较分析出使用者的身体姿势、动作信息,步骤S25-飞行控制模块103将使用者的身体姿势、动作信息转换为对应的无人飞行载具2的操控指令,并通过无线通信网络3传送至无人飞行载具2中(当通过使用者手势产生操控指令并传送至无人飞行载具2中时,相当于“识别出图像中人的手势;手势翻译器将图像中的人的手势翻译为无人机的控制命令,并发送给无人机”)。
可见,对比文件1公开了通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态,从而克服现有技术中使用遥控器控制无人机的缺陷。也就是说,对比文件1公开了本申请的发明构思,权利要求1与对比文件1相比的区别技术特征为:(1)该权利要求限定了一种能够识别手势的无人机,通过设置在无人机上的图像获取装置、图像处理模块、手势识别模块和手势翻译器协同工作完成手势的识别操作;(2)该权利要求限定了对输入图像进行处理,进而识别手势的具体过程;(3)切换开关,用于切换当前的被控制方式,包括遥控器或者移动终端或者手势控制。基于上述区别技术特征,权利要求1实际要解决的技术问题是采用何种模块完成用户通过手势控制无人机的功能、如何根据输入图像进行手势识别以及如何对无人机实施多重控制。
针对区别技术特征(1),在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,进一步设置图像获取装置获取视角范围内的图像,图像处理模块根据获取图像判断图像中是否存在人,当图像中存在人时,启动手势识别模块,手势识别模块根据图像中人的手势及事先建立的人的手势运动模型,识别出图像中人的手势,手势翻译器将图像中人的手势翻译为无人机的控制命令,并发送给无人机,并且将实现对应功能的图像获取装置、图像处理模块、手势识别模块和手势翻译器设置在无人机上,构成一个能够识别手势的无人机,这是本领域技术人员的常规选择,属于本领域的公知常识。
针对区别技术特征(2),对比文件2公开了以下内容(参见说明书第4-70段及附图1-4):参见说明书第7-15段,基于视觉的手势识别方法包括:(1)手势图像采集:通过手势图像采集装置获取用户手势图像数据,作为待识别手势;(2)图像数据录入;(3)手势图像识别:处理手势图像数据、提取特征并与特征库中的模板匹配得出识别结果,所述手势图像识别包括:(31)图像二值化:判断图像中是否有手势,有手势进行所述手势分割,否则重新采集图像数据并录入;(32)手势分割:从经所述手势图像二值化之后的图像中分割出完整的手势图像;(33)特征提取:根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量;(34)特征匹配:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果。可见,对比文件2公开了通过对采集的用户图像进行相应的处理,如手势分割、特征提取、特征匹配,进而识别用户的手势,并且该技术特征在对比文件2中所起的作用与在本申请中相同。因此,当本领域技术人员面对如何根据输入图像进行手势识别的技术问题时,对比文件2给出了对采集的输入图像进行手势分割、特征提取、特征匹配等处理,进而识别用户手势的技术启示。在该技术启示下,进一步设置图像处理模块包括预处理模块和特征提取模块,预处理模块用于对输入的图像进行分割、边缘检测和角点检测,然后将结果送入特征提取模块;特征提取模块首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标,然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别,例如采用常用的非线性分类器对待检测图像进行手势识别,利用离线训练好的手势运动模型对输入图像进行手势识别,然后将手势识别的结果发送给手势翻译器,这是本领域的常规选择,属于本领域的公知常识。
针对区别技术特征(3),对比文件1公开了(参见说明书第2段):传统的无人飞行载具控制系统能提供使用者以实体控制器的操纵杆、按键等方式,进行无人飞行载具飞行指令的操控作业。此外,在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,本领域技术人员设置无人机还包括切换开关用于切换无人机当前的被控制方式,被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制,这是本领域的常规选择,属于本领域的公知常识。
因此,在对比文件1的基础上结合对比文件2及本领域公知常识得到该权利要求请求保护的技术方案对本领域技术人员来说是显而易见的,该权利要求不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2)、权利要求2对权利要求1作了进一步限定。在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,本领域技术人员设置手势翻译器用于建立手势与控制命令之间的映射关系,从而将手势翻译成无人机的控制命令,其首先建立手势字典,该字典定义了手势与控制命令间的对应关系,当有新的手势识别结果输入时,手势翻译器随即查找手势字典,并将查找结果输出到无人机,完成手势遥控行为,这是本领域的常规选择,属于本领域的公知常识。因此,当其引用的权利要求不具备创造性时,该权利要求也不具备专利法第22条第3款规定的创造性。
3)、权利要求3对权利要求1或2作了进一步限定。为了捕获到用户在各个方位上的手势信息,设置无人机上的图像获取装置通过云台安装在无人机上,进而使云台带动图像获取装置向任意角度旋转,以获取到用户的手势,这是本领域技术人员的常规技术手段,属于本领域的公知常识。因此,当其引用的权利要求不具备创造性时,该权利要求也不具备专利法第22条第3款规定的创造性。
4)、权利要求4请求保护一种能够识别手势的无人机的识别方法。对比文件1公开了一种无人飞行载具控制系统及方法,并公开了以下内容(参见说明书第2-35段及附图1-5):参见说明书第24-25、35段,图1所示的无人飞行载具控制系统10安装并运行于主机1中,通过使用者以身体姿势、动作来操控无人飞行载具2的飞行状态,例如控制无人飞行载具2向左转弯、向右转弯、向下俯或向上仰,调整飞行速度、飞行侧滑角度及偏航速率和航向等,图3和5所示,使用者双手向左/向右摆动的姿势时,则控制操控无人飞行载具2向左/向右转弯,使用者双手向下/向上移动时,则控制无人飞行载具2向下俯/向上仰(本领域技术人员可以直接、毫无疑义地确定,使用者做出的用于控制无人飞行载具2执行命令的上述姿势可以理解成一种用户手势,因此,通过手势控制无人飞行载具2的飞行状态,相当于“一种能够识别手势的识别方法”);参见说明书第27-34段,步骤S22-影像侦测模块102利用深度摄影机11持续针对前方包含使用者的场景进行拍摄,取得前方场景影像(相当于“步骤二、图像获取装置获取视角范围内的图像”),步骤S23-影像侦测模块102利用3D人型侦测技术从摄得的场景影像中侦测使用者的3D立体人型影像,步骤S24-影像侦测模块102将侦测的3D立体人型影像与存储的3D立体人型样本数据库进行比较分析出使用者的身体姿势、动作信息,步骤S25-飞行控制模块103将使用者的身体姿势、动作信息转换为对应的无人飞行载具2的操控指令,并传送至无人飞行载具2(当通过使用者手势产生操控指令并传送至无人飞行载具2中时,相当于“步骤三、识别出图像中人的手势;步骤四、将图像中的人的手势翻译为无人机的控制命令,并发送给无人机”)。
可见,对比文件1公开了通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态,从而克服现有技术中使用遥控器控制无人机的缺陷。也就是说,对比文件1公开了本申请的发明构思,权利要求5与对比文件1相比的区别技术特征为:(1)该权利要求通过步骤一、二、三及设置在无人机上的图像获取装置完成手势的识别操作;(2)该权利要求限定了对输入图像进行处理,进而识别手势的具体过程;(3)图像获取装置通过云台安装在无人机上,所述云台带动图像获取装置根据人在图像中的变化调整云台的旋转角度,使得视角始终面向用户以获取到用户的手势;(4)切换开关,用于切换当前的被控制方式,包括遥控器或者移动终端或者手势控制。基于上述区别技术特征,权利要求4实际要解决的技术问题是如何完成用户通过手势控制无人机的操作、如何根据输入图像进行手势识别、如何通过图像获取装置捕获到用户全方位的手势信息以及如何对无人机实施多重控制。
针对区别技术特征(1),在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,进一步设置:步骤一、根据人的手势建立人的手势运动识别模型,并训练该手势运动识别模型;步骤二:通过图像获取装置获取视角范围内的图像,并判断该图像中是否存在人,是则启动手势识别的步骤,否则继续获取视角范围内的图像,步骤三、根据步骤二获取到的图像中人的手势以及事先建立的手势运动识别模型,识别出图像中人的手势;步骤四、将图像中的人的手势翻译为无人机的控制命令,并发送给无人机,并且将实现对应功能的图像获取装置设置在无人机上,构成一个能够识别手势的无人机的识别方法,这是本领域技术人员的常规技术手段,属于本领域的公知常识。
针对区别技术特征(2),对比文件2公开了以下内容(参见说明书第4-70段及附图1-4):参见说明书第7-15段,基于视觉的手势识别方法包括:(1)手势图像采集:通过手势图像采集装置获取用户手势图像数据,作为待识别手势;(2)图像数据录入;(3)手势图像识别:处理手势图像数据、提取特征并与特征库中的模板匹配得出识别结果,所述手势图像识别包括:(31)图像二值化:判断图像中是否有手势,有手势进行所述手势分割,否则重新采集图像数据并录入;(32)手势分割:从经所述手势图像二值化之后的图像中分割出完整的手势图像;(33)特征提取:根据经所述手势分割后的手势图像得出手指个数、手指长度及指尖距离、图像几何矩和图像转动惯量作为手势特征向量;(34)特征匹配:将待识别手势特征与特征库中模板的特征进行匹配,得出识别结果。可见,对比文件2公开了通过对采集的用户图像进行处理,如手势分割、特征提取、特征匹配,进而识别用户的手势,并且该技术特征在对比文件2中所起的作用与在本申请中相同。因此,当本领域技术人员面对如何根据输入图像进行手势识别的技术问题时,对比文件2给出了对采集的输入图像进行手势分割、特征提取、特征匹配等处理,进而识别用户手势的技术启示。在该技术启示下,进一步设置图像处理模块包括预处理模块和特征提取模块,预处理模块用于对输入的图像进行分割、边缘检测和角点检测,然后将结果送入特征提取,特征提取首先对预处理后的图像中的人脸进行特征提取,确定人脸位置后进一步确定头肩的坐标,然后以头肩坐标为参考,提取上肢特征,并利用训练好的手势运动模型对输入图像进行手势识别,这是本领域技术人员的常规技术手段,属于本领域的公知常识。
针对区别技术特征(3),为了捕获到用户在各个方位上的手势信息,设置图像获取装置通过云台安装在无人机上,设置当图像获取装置获取到人的手势后,根据人在图像中的位置变化,调整云台的旋转角度,以控制该图像获取装置的视角始终面向控制该无人机的人,以获取到用户的手势,这是本领域技术人员的常规技术手段,属于本领域的公知常识。
针对区别技术特征(4),对比文件1公开了(参见说明书第2段):传统的无人飞行载具控制系统能提供使用者以实体控制器的操纵杆、按键等方式,进行无人飞行载具飞行指令的操控作业。此外,在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,本领域技术人员设置无人机还包括切换开关用于切换无人机当前的被控制方式,被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制,这是本领域的常规选择,属于本领域的公知常识。
因此,在对比文件1的基础上结合对比文件2及本领域公知常识得到该权利要求请求保护的技术方案对本领域技术人员来说是显而易见的,该权利要求不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
对复审请求人相关意见的评述
针对复审请求人的意见陈述,合议组认为:(1) 对比文件1通过使用者以身体姿势、动作来操控无人飞行载具2的飞行状态,手臂或者手指的姿势都是身体动作的一种,对于本领域技术人员来说是容易想到的; (2) 对比文件1公开了:传统的无人飞行载具控制系统能提供使用者以实体控制器的操纵杆、按键等方式,进行无人飞行载具飞行指令的操控作业。此外,在对比文件1公开的“通过摄像机捕获用户图像,识别用户手势进而控制无人机的飞行状态”基础上,本领域技术人员设置无人机还包括切换开关用于切换无人机当前的被控制方式,被控制方式包括遥控器遥控控制和/或者移动终端遥控控制和/或者手势遥控控制,这并不需要付出创造性劳动;(3)对比文件2公开的算法仅仅是众多手势识别算法其中的一种,虽然与本申请的算法存在细微差异,但是手势识别方法在各个领域是通用的,对比文件2公开的内容和细节给出了将其应用到权利要求1的技术启示;(4)对比文件1说明书第27-34段,步骤S22-影像侦测模块102利用深度摄影机11持续针对前方包含使用者的场景进行拍摄,取得前方场景影像,步骤S23-影像侦测模块102利用3D人型侦测技术从摄得的场景影像中侦测使用者的3D立体人型影像(相当于判断图像中是否存在人),步骤S24-影像侦测模块102将侦测的3D立体人型影像与存储的3D立体人型样本数据库进行比较分析出使用者的身体姿势、动作信息,步骤S25-飞行控制模块103将使用者的身体姿势、动作信息转换为对应的无人飞行载具2的操控指令,并通过无线通信网络3传送至无人飞行载具2中(相当于当图像中存在人时,启动手势识别模块)。
综上,对于复审请求人的意见合议组不予支持。
三、决定
维持国家知识产权局于2018年08月13日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。