发明创造名称:基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法
外观设计名称:
决定号:192788
决定日:2019-10-17
委内编号:1F266774
优先权日:
申请(专利)号:201510075277.5
申请日:2015-02-12
复审请求人:武汉科技大学
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:孙洁君
合议组组长:张潇
参审员:孙大林
国际分类号:G05D3/12
外观设计分类号:
法律依据:专利法第22条第3款
决定要点
:如果一项权利要求与最接近的现有技术相比存在区别特征,而该区别特征或属于本领域的公知常识,或为本领域技术人员在其他对比文件公开的基础上容易想到的,则该权利要求不具备创造性。
全文:
本复审请求涉及申请号为201510075277.5、名称为“基于智能手机与双目视觉的四旋翼运动目标追踪系统和方法”的发明专利申请(下称本申请),本申请的申请日为2015年02月12日,公开日为2015年08月05日,申请人为武汉科技大学。
经实质审查,国家知识产权局原审查部门于2018年08月24日发出驳回决定,驳回了本申请,其理由是:权利要求1-6不具备专利法第22条第3款规定的创造性。驳回决定引用如下对比文件:
对比文件1:CN103324203A,公开日期为2013年09月25日;
对比文件2:CN103235599A,公开日期为2013年08月07日。
驳回决定所依据的文本为申请日2015年02月12日提交的说明书1-123段,说明书附图1-3,说明书摘要,摘要附图,以及2018年05月16日提交的权利要求1-6项。驳回决定所针对的权利要求书如下:
“1. 一种基于智能手机与双目视觉的四旋翼运动目标追踪系统,其特征在于:包含两个智能手机,其中,一个航拍智能手机安装在四旋翼机架上,另一个地面控制智能手机留给地面操控人员进行远程控制;所述航拍智能手机还配置有气压计;两个智能手机之间能够通过公共基站无线网络互通:其中,地面控制智能手机用于选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机;航拍智能手机用于接收目标数据并完成目标追踪算法产生目标控制命令,然后将目标控制命令发送给四旋翼的智能手机接入模块驱动四旋翼开始对目标进行追踪,航拍智能手机还实时接收来自双目摄像头所捕获的视频信息并将该视频信息通过无线网络传输至地面控制智能手机中;智能手机具有高速多核的CPU处理器、GPU图像处理器和无线网络通信模块;智能手机均为Android操作系统;
所述四旋翼的机架上配置双目摄像头、智能手机接入模块、驱动模块、动力模块、能源模块;动力模块包括四旋翼的螺旋桨与各旋翼电机,各旋翼的螺旋桨均由一个独立的旋翼电机驱动;智能手机接入模块为四旋翼与航拍智能手机之间的接口,用以无线接收航拍智能手机的目标控制命令并计算四旋翼电机的控制量,然后将计算出来的四旋翼电机的控制量发送给驱动模块,同时还无线下传双目摄像头的航拍视频数据到地面控制智能手机上;
所述驱动模块由单片机与电子调速器组成,接收航拍智能手机接入模块输出的控制量,并通过电子调速器输出给旋翼电机;
能源模块为四旋翼飞行器的电力供应设备,主要包括锂电池;上述各模块采用统一接口并能组合或拆卸。
2. 根据权利要求1所述的基于智能手机与双目视觉的四旋翼运动目标追踪系统,其特征在于:无线网络为3G或4G网络。
3. 根据权利要求1所述的基于智能手机与双目视觉的四旋翼运动目标追踪系统,其特征在于:地面控制智能手机通过触摸屏幕操作选取需要跟踪的运动目标。
4. 一种采用上述权利要求1-3之一所述运动目标追踪系统的四旋翼运动目标追踪方法,其特征在于主要包括如下步骤:地面控制智能手机首先选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机;航拍智能手机接收目标数据并完成目标追踪算法产生目标控制命令,然后将目标控制命令发送给四旋翼的智能手机接入模块驱动四旋翼开始对目标进行追踪;在对目标进行追踪过程中,双目摄像头将捕获的视频信息实时发送给航拍智能手机,航拍智能手机实时接收来自双目摄像头所捕获的视频信息并将该视频信息通过无线网络传输至地面控制智能手机中。
5. 根据权利要求4所述的四旋翼运动目标追踪方法,其特征在于具体包括如下步骤:
步骤S1:使用四旋翼上的气压计,设定四旋翼的飞行高度;
步骤S2:获取四旋翼上双目摄像头中的双目图像信息;
步骤S3:应用基于Camshift算法与强跟踪Kalman滤波的目标跟踪算法对双目摄像头的左目与右目的图像进行目标跟踪,并对下一帧图像中目标出现的位置进行预测;
步骤S4:判断目标是否同时出现在左目和右目中,若目标同时出现在左目和右目中,则进行下一步算法操作,否则对四旋翼的位置进行调整;若四旋翼位置调整失败,目标无法同时出现在左目和右目中则跳转至步骤S1顺序执行;
步骤S5:将所获取的双目摄像头左目和右目所跟踪到的运动目标的中心点位置坐标作为追踪目标,应用双目测距原理计算出当前四旋翼与该目标之间的距离;
步骤S6:根据所设定的四旋翼与目标之间的距离阈值,调节四旋翼与目标之间的距离使四旋翼始终保持在所设定的距离阈值范围内;之后跳转至步骤S1循环顺序执行,直至航拍智能手机收到追踪停止命令。
6. 根据权利要求5所述的四旋翼运动目标追踪方法,其特征在于步骤S6具体包含如下三种情况:
步骤S61:若根据计算得出追踪目标与四旋翼之间的距离大于所设定的阈值范围时,调整四旋翼的位置,使四旋翼往靠近追踪目标的方向直线飞行,使四旋翼与追踪目标之间的距离处于所设定的阈值范围内;
步骤S62:若根据计算得出追踪目标与四旋翼之间的距离小于所设定的阈值范围时,调整四旋翼的位置,使四旋翼往远离追踪目标的方向直线飞行,使四旋翼与追踪目标之间的距离处于所设定的阈值范围内;
步骤S63:无论是步骤S61还是步骤S62:在调节之后均跳转至步骤S1循环执行,从而实现对目标的追踪,直至航拍智能手机收到追踪停止命令。”
驳回决定认为:1.权利要求1与对比文件1的区别特征在于:(1)无人机类型为具有螺旋桨和各旋翼电机的四旋翼形式;摄像头为双目且位于机架上;系统用于对摄像头捕获的目标进行跟踪。(2)地面控制智能手机用于选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机;航拍智能手机用于接收目标数据并完成目标追踪算法产生目标控制命令。(3)智能手机具有高速多核的CPU处理器、GPU图像处理器。上述区别特征或被对比文件2公开,或为本领域的常用技术手段,因此,权利要求1不具备专利法第22条第3款规定的创造性。2.从属权利要求2-3的附加技术特征均已被对比文件1公开,因此,上述权利要求也不具备专利法第22条第3款规定的创造性。3.权利要求4与对比文件1的区别特征还在于:(1)无人机类型为具有螺旋桨和各旋翼电机的四旋翼形式;在对目标进行追踪过程中,双目摄像头将捕获的视频信息实时发送给航拍智能手机,航拍智能手机实时接收来自双目摄像头所捕获的视频信息;(2)地面控制智能手机用于选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机;航拍智能手机用于接收目标数据并完成目标追踪算法产生目标控制命令。上述区别特征或被对比文件2公开,或为本领域的常用技术手段,因此,权利要求4不具备专利法第22条第3款规定的创造性。4.从属权利要求5-6的附加技术特征或被对比文1公开,或为本领域的常用技术手段,因此,上述权利要求也不具备专利法第22条第3款规定的创造性。
申请人(下称复审请求人)对上述驳回决定不服,于2018年11月21日向国家知识产权局提出了复审请求,并提交权利要求书全文修改替换页,其中,将原权利要求4合并权利要求1成为新的权利要求1,删除装置权利要求,并适应性修改后续权利要求引用顺序。修改后的权利要求书内容如下:
“1. 一种四旋翼运动目标追踪方法,基于智能手机与双目视觉的四旋翼运动目标追踪系统进行,所述智能手机与双目视觉的四旋翼运动目标追踪系统包含两个智能手机,其中,一个航拍智能手机安装在四旋翼机架上,另一个地面控制智能手机留给地面操控人员进行远程控制;所述航拍智能手机还配置有气压计;两个智能手机之间能够通过公共基站无线网络互通:两个智能手机均具有高速多核的CPU处理器、GPU图像处理器和无线网络通信模块;且均为Android操作系统;
所述四旋翼的机架上配置双目摄像头、智能手机接入模块、驱动模块、动力模块、能源模块;动力模块包括四旋翼的螺旋桨与各旋翼电机,各旋翼的螺旋桨均由一个独立的旋翼电机驱动;智能手机接入模块为四旋翼与航拍智能手机之间的接口,用以无线接收航拍智能手机的目标控制命令并计算四旋翼电机的控制量,然后将计算出来的四旋翼电机的控制量发送给驱动模块,同时还无线下传双目摄像头的航拍视频数据到地面控制智能手机上;
所述驱动模块由单片机与电子调速器组成,接收航拍智能手机接入模块输出的控制量,并通过电子调速器输出给旋翼电机;
能源模块为四旋翼飞行器的电力供应设备,主要包括锂电池;上述各模块采用统一接口并能组合或拆卸;
地面控制智能手机首先选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机;航拍智能手机接收目标数据并完成目标追踪产生目标控制命令,然后将目标控制命令发送给四旋翼的智能手机接入模块驱动四旋翼开始对目标进行追踪;在对目标进行追踪过程中,双目摄像头将捕获的视频信息实时发送给航拍智能手机,航拍智能手机实时接收来自双目摄像头所捕获的视频信息并将该视频信息通过无线网络传输至地面控制智能手机中;
其特征在于主要包括如下步骤:
步骤S1:使用四旋翼上的气压计,设定四旋翼的飞行高度;
步骤S2:获取四旋翼上双目摄像头中的双目图像信息;
步骤S3:应用基于Camshift算法与强跟踪Kalman滤波的目标跟踪算法对双目摄像头的左目与右目的图像进行目标跟踪,并对下一帧图像中目标出现的位置进行预测;步骤S3中进行目标跟踪时构建跟踪目标的运动模型,将该运动模型与后续步骤中的强跟踪Kalman算法相结合来实现对运动目标可能出现的位置进行预测;
步骤S4:判断目标是否同时出现在左目和右目中,若目标同时出现在左目和右目中,则进行下一步算法操作,否则对四旋翼的位置进行调整;若四旋翼位置调整失败,目标无法同时出现在左目和右目中则跳转至步骤S1顺序执行;
步骤S5:将所获取的双目摄像头左目和右目所跟踪到的运动目标的中心点位置坐标作为追踪目标,应用双目测距原理计算出当前四旋翼与该目标之间的距离;
步骤S6:根据所设定的四旋翼与目标之间的距离阈值,调节四旋翼与目标之间的距离使四旋翼始终保持在所设定的距离阈值范围内;之后跳转至步骤S1循环顺序执行,直至航拍智能手机收到追踪停止命令。
2. 根据权利要求4所述的四旋翼运动目标追踪方法,其特征在于步骤S6具体包含如下三种情况:
步骤S61:若根据计算得出追踪目标与四旋翼之间的距离大于所设定的阈值范围时,调整四旋翼的位置,使四旋翼往靠近追踪目标的方向直线飞行,使四旋翼与追踪目标之间的距离处于所设定的阈值范围内;
步骤S62:若根据计算得出追踪目标与四旋翼之间的距离小于所设定的阈值范围时,调整四旋翼的位置,使四旋翼往远离追踪目标的方向直线飞行,使四旋翼与追踪目标之间的距离处于所设定的阈值范围内;
步骤S63:无论是步骤S61还是步骤S62:在调节之后均跳转至步骤S1循环执行,从而实现对目标的追踪,直至航拍智能手机收到追踪停止命令。
3. 根据权利要求1所述的四旋翼运动目标追踪方法,其特征在于:地面控制智能手机通过触摸屏幕操作选取需要跟踪的运动目标。
4. 根据权利要求1所述的四旋翼运动目标追踪方法,其特征在于:无线网络为3G或4G网络。”
复审请求人认为:本申请核心是使用Camshift跟踪算法与强跟踪Kalman滤波算法来实现对任意给定的运动目标进行跟踪。本申请创造性构建了适用于此种跟踪系统的跟踪目标追踪模型,将该运动模型与后续步骤中的强跟踪Kalman算法相结合来实现对运动目标可能出现的位置进行预测。而对比文件1中根本就没有提及对目标跟踪,对比文件2仅仅实现的是通过图像处理方法来实现航线跟踪,没有具体的实现过程和方法,对比文件1和2根本没有提出此方面的融合功能和控制策略,因此,权利要求1具备创造性。
经形式审查,国家知识产权局于2018年11月29日发出复审请求补正通知书,指出请求书填写的代理人与专利申请时或合法变更后的代理人不一致。
针对上述补正通知书,复审请求人于2018年12月14日提交了复审请求书替换页,对原复审请求书进行补正。
经形式审查合格,国家知识产权局于2018年12月20日依法受理了该复审请求,并将本案转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年07月03日向复审请求人发出复审通知书,指出:1.权利要求1与对比文件1的区别技术特征在于:(1)所述无人机为四旋翼无人机,具有四旋翼的螺旋桨和各旋翼电机,各旋翼的螺旋桨均由一个独立的旋翼电机驱动;(2)该四旋翼无人机用于目标追踪,四旋翼的机架上配置双目摄像头,地面控制智能手机首先选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机,航拍智能手机接收目标数据并完成目标追踪,所产生的命令为目标控制命令,四旋翼开始对目标进行追踪,在追踪过程中,双目摄像头将捕获的视频信息实时发送给航拍智能手机,航拍智能手机实时接收来自双目摄像头所捕获的视频信息;以及目标追踪方法的具体步骤S1-S6;(3)航拍智能手机安装在四旋翼机架上,两个智能手机均具有高速多核的CPU处理器、GPU图像处理器,由智能手机接入模块计算四旋翼电机的控制量,驱动模块接收航拍智能手机接入模块输出的控制量,并通过电子调速器输出给旋翼电机,各模块采用统一接口并能组合或拆卸。基于上述区别特征,权利要求1实际要解决的技术问题是:如何实现对目标准确有效的追踪。上述区别特征或是本领域的公知常识,或是本领域技术人员在对比文件2的启示下很容易想到的,因此,该权利要求不具备专利法第22条第3款规定的创造性。2.从属权利要求2-4的附加技术特征或被对比文件1公开,或属于本领域的常用技术手段,因此,上述权利要求也不具备专利法第22条第3款规定的创造性。通知书中引用了3篇公知常识的证据:
证据1:《工程光学》,韩军等,国防工业出版社,2012年02月;
证据2:《现代目标跟踪与信息融合》,潘泉等,国防工业出版社,2009年10月;
证据3:《数据融合及其应用》,杨国胜等,兵器工业出版社,2004年02月。
针对上述复审意见通知书,复审请求人于2019年08月09日提交了意见陈述书,并未修改申请文件。复审请求人认为:1.本申请的地面控制智能手机的作用以及航拍智能手机与对比文件1中的手机的作用完全不同,对比文件1中地面控制智能手机的作用是选择跟踪目标,还对跟踪目标进行人为控制,而本申请的地面控制智能手机只是用于跟踪目标的选择,跟踪目标给定后,无人机将根据所选定的目标自主进行跟踪飞行,无需人工介入进行无人机控制,目标跟踪算法是在航拍智能手机上运行;2.对比文件2仅仅是通过简单的图像处理比对方法来实现对航线的跟踪,属于静态图像对比,没有具体的实现过程和方法,也没有给出将其应用于对比文件1的启示;而本申请中是将图像中目标跟踪算法与无人机运动预测算法相结合来实现对给定目标的自主跟踪,通过在航拍智能手机上运行camshift算法 强跟踪kalman滤波来实现无人机对目标的自主跟踪飞行任务。因此,仅仅依靠对比文件1和2的机械地拼凑无法得出本申请的技术方案,本申请具有实质性特点和显著性进步。
合议组于2019年09月19日发出合议组成员变更通知书,由原合议组组长刘珺、主审员孙洁君、参审员孙大林,变更为:合议组组长张潇、主审员孙洁君、参审员孙大林。
在上述程序的基础上,合议组认为本案事实已经清楚,依法作出审查决定。
二、决定的理由
(一)审查文本的认定
在复审程序中,复审请求人于2018年11月21日提出复审请求时提交了权利要求书全文的修改替换页。经审查,其中所作的修改符合专利法第33条的规定。因此,本决定以申请日2015年02月12日提交的说明书1-123段,说明书附图1-3,说明书摘要,摘要附图,以及2018年11月21日提交的权利要求1-4项为基础作出。
(二)有关创造性的问题
专利法第22条第3款:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
如果一项权利要求与最接近的现有技术相比存在区别特征,而该区别特征或属于本领域的公知常识,或为本领域技术人员在其他对比文件公开的基础上容易想到的,则该权利要求不具备创造性。
1.权利要求1不具备创造性
权利要求1请求保护一种四旋翼运动目标追踪方法,对比文件1公开了一种基于智能手机的无人飞机航电系统,其中涉及到一种无人机航电系统的控制方法,并具体公开了以下技术内容(参见说明书0005-0034段,附图1):飞机起飞前,用户在地面站和机载智能手机均使用同一账号登陆;如果地面站为智能手机或平板电脑,用户可以通过屏幕虚拟按键以及地面站的重力和姿态感应功能手动操纵飞机;地面站将用户的操控指令通过互联网发送到指定的网络服务器,网络服务器接收到地面站数据后,会立即转发至和地面站使用同一账号登录的机载智能手机;机载智能手机读取操控指令,智能手机通过WIFI direct、蓝牙、NFC、USB端口连接或耳机输出口中任一种连接方式发送至单片机,单片机接收到指令后,发送PMW信号给指定舵机或电调,从而改变飞机的动力大小和姿态;机载智能手机安装在载机下方固定,并用音频线连接手机和内置单片机的电路板,并且确认该电路板已经连接飞机电调、舵机和锂电池;在飞行过程中,机载智能手机内置的三轴陀螺仪、重力传感器、GPS地理传感器、数字罗盘、气压计和摄像头分别可以测量得到飞机的俯仰和滚转角度、地理位置、航向、海拔高度及实时视频图像,同时,单片机读取飞机锂电池剩余电量和外接传感器捕获的数据,并通过WIFI任意一种连接方式传回到机载智能手机;机载智能手机将内部数据和剩余电量和外接传感器捕获的数据发送回服务器,再由服务器转发至地面站,使得用户可以监测飞机的实时状态。智能手机采用内置Android操作系统的手机,支持3G通讯。
通过比较可知,对比文件1中的机载智能手机相当于本申请中的“航拍智能手机”;对比文件1中地面站可以为智能手机,用户可以通过屏幕虚拟按键以及地面站的重力和姿态感应功能手动操纵飞机,可见,对比文件1中的地面站智能手机相当于本申请的“地面控制智能手机”,对比文件1也已经公开了本申请的“地面控制智能手机留给地面操控人员进行远程控制”;对比文件1公开了机载智能手机内置有气压计,地面站通过互联网连接机载智能手机,以及智能手机采用内置Android操作系统的手机,即对比文件1已经公开了本申请的“航拍智能手机还配置有气压计”,“两个智能手机之间能够通过公共基站无线网络互通”以及“两个智能手机均为Android系统”,并且,由于两个手机能够通过无线网络连接,两个手机也必然设有无线网络通信模块,以实现彼此间的无线通信,这是本领域技术人员能够直接地、毫无疑义的确定的。飞机锂电池相当于本申请的“能源模块,飞行器的电力供应设备”
对比文件1中的“地面站将用户的操控指令通过互联网发送到指定的网络服务器,网络服务器接收到地面站数据后,会立即转发至和地面站使用同一账号登录的机载智能手机;机载智能手机读取操控指令,智能手机通过WIFI direct、蓝牙、NFC、USB端口连接或耳机输出口中任一种连接方式发送至单片机,单片机接收到指令后,发送PMW信号给指定舵机或电调,从而改变飞机的动力大小和姿态”,其中,上述智能手机的相应WIFI direct、蓝牙、NFC、USB端口连接或耳机输出口相当于本申请的“智能手机接入模块”,对比文件1中智能手机通过上述接口中的一种将读取到的操控指令发送给单片机,相当于已经公开了本申请的“智能手机接入模块无线接收航拍智能手机的控制命令”;对比文件1中单片机和电调相当于本申请的“由单片机与电子调速器组成的驱动模块”,舵机相当于本申请的“动力模块”,PWM信号相当于本申请的“四旋翼电机的控制量”,可见,对比文件1已经公开了由单片机(相当于驱动模块)接收操控指令,计算PWM信号(四旋翼电机的控制量),然后将计算出来的PWM信号给电调(相当于驱动模块)。
此外,对比文件1中的“地面站将用户的操控指令通过互联网转发至机载智能手机;机载智能手机读取操控指令,发送至单片机,单片机接收到指令后,发送PMW信号给指定舵机或电调,从而改变飞机的动力大小和姿态;在飞行过程中,机载智能手机测量得到飞机的实时视频图像,发送回服务器,再由服务器转发至地面站,使得用户可以监测飞机的实时状态”,相当于公开了本申请的“航拍智能手机产生控制命令;将控制命令发送至智能手机接入模块;航拍智能手机将视频信息通过无线网络传输至地面控制智能手机中”。
由此可见,对比文件1与权利要求1的区别技术特征在于:(1)所述无人机为四旋翼无人机,具有四旋翼的螺旋桨和各旋翼电机,各旋翼的螺旋桨均由一个独立的旋翼电机驱动;(2)该四旋翼无人机用于目标追踪,四旋翼的机架上配置双目摄像头,地面控制智能手机首先选取需要跟踪的运动目标并在目标选定后将该目标发送给航拍智能手机,航拍智能手机接收目标数据并完成目标追踪,所产生的命令为目标控制命令,四旋翼开始对目标进行追踪,在追踪过程中,双目摄像头将捕获的视频信息实时发送给航拍智能手机,航拍智能手机实时接收来自双目摄像头所捕获的视频信息;以及目标追踪方法的具体步骤S1-S6;(3)航拍智能手机安装在四旋翼机架上,两个智能手机均具有高速多核的CPU处理器、GPU图像处理器,由智能手机接入模块计算四旋翼电机的控制量,驱动模块接收航拍智能手机接入模块输出的控制量,并通过电子调速器输出给旋翼电机,各模块采用统一接口并能组合或拆卸。基于上述区别特征,权利要求1实际要解决的技术问题是:如何实现对目标准确有效的追踪。
对于区别技术特征(1),四旋翼无人机是消费级无人机市场应用最广泛的机型之一,选择四旋翼无人机是本领域技术人员能够根据需要作出的常规选择,并且四旋翼无人机均具备四个螺旋桨以及四个电机,每个螺旋桨均由一个独立的旋翼电机控制,这是本领域的公知常识。
对于区别技术特征(2),对比文件2公开了一种基于智能手机的飞行控制系统,并公开了以下技术特征(参见说明书0003-0020段,图1):包括一个搭载传感器的智能手机、接口扩展设备和飞行器的执行机构,智能手机内安装有飞行控制应用程序,视觉制导飞行由手机摄像头完成,手机摄像头采集飞行画面,飞行控制应用程序内置图像处理比较算法,将图像与预设的目标进行比较,从而得出当前航线与预设的偏差,用于控制飞行器飞行方向。
可见,对比文件2已经公开了由机载智能手机实现飞机的飞行控制。虽然对比文件2没有公开用于目标追踪,但是对比文件2已经公开了能够根据视频图像处理算法,进行目标航线的判断,从而实现视觉制导。视觉制导的核心方法是将机器视觉获得的图像(必然包括图像识别)与航线中的航点图像进行比较,根据比较结果控制飞行器按照预设航线飞行,而运动目标追踪的核心方法也是将机器视觉获得图像与所追踪的目标图像进行比较,根据比较结果控制飞行器的飞行方向。可见,视觉制导和运动目标追踪的核心控制方法相同,都是通过比较图像进行跟踪,其区别仅在于视觉制导是跟踪预设航线,而运动目标追踪是跟踪预设目标。由于视觉制导和运动目标跟踪都是常用的无人机飞行控制用途,且都是通过比较图像实现跟踪,因此,本领域技术人员在需要对具体目标进行跟踪时,很容易想到可以将对比文件2的跟踪预设航线的视觉制导方法用于运动目标追踪。对比文件2给出了技术启示,使得本领域技术人员有动机在对比文件1公开的双手机控制无人机的方案的基础上,将对比文件2的视觉制导的方法应用到对比文件1的技术方案中,进一步将其应用于运动目标追踪中,从而得出采用双手机控制无人机进行目标追踪的方案,此时,本领域技术人员很容易想到可以由地面控制智能手机选定需要追踪的目标,并将其发送给航拍手机,航拍手机接收目标并完成追踪,这是本领域技术人员无需付出创造性的劳动即能实现的。
此外,目标跟踪的具体步骤是本领域的公知常识,具体来说:本领域公知的双目摄像头是利用双目立体视觉原理进行拍摄的摄像头,根据《工程光学》(韩军等,国防工业出版社,2012年2月)第135-136页的介绍可知,双目立体视觉就是通过物体在双眼中成像的视差判断物体的距离,这是本领域的公知常识。因此,当本领域技术人员需要保证目标追踪的准确性,确保目标始终在无人机的可追踪范围内时,选择在无人机上设置独立的双目摄像头,根据双目测距原理计算出的距离,控制无人机始终在阈值距离之内,这是本领域的常用技术手段。而根据《现代目标跟踪与信息融合》(潘泉等,国防工业出版社,2009年10月)第213-231页的介绍可知,Camshift算法是本领域常用的目标跟踪算法之一;根据《数据融合及其应用》(杨国胜等,兵器工业出版社,2004年2月)第8-9以及125-128页的介绍可知,强跟踪Kalman滤波方法也是本领域常用的数据融合算法,可用于航迹预测。因此,选择上述两种算法进行目标跟踪,对目标位置进行预测,也是本领域的常用技术手段。对于步骤S1-S6,步骤S1,通过气压计设定飞机的飞行高度,这是本领域为保证安全飞行的常用技术手段;步骤S2,为了保证目标追踪的准确性,选择双目摄像头,获取双目图像信息,这是本领域的常用技术手段;步骤S3,采用Camshift算法与强跟踪Kalman滤波方法结合进行目标跟踪,对目标位置进行预测,也是本领域的常用技术手段,同时当采用强跟踪Kalman滤波算法时,首先需要先对目标进行建模,通过目标在下一时刻的状态测量值进行估计,预测将来的位置,这是上述算法的基本思路;步骤S4,当采用双目图像进行追踪时,保证目标同时出现在双目图像中是基本要求,否则需要调整无人机的位置,或重新设定飞行参数获取图像,这是本领域的常用技术手段;步骤S5,根据双目分别与目标的距离计算无人机与目标之间的距离,是双目测距的基本原理;步骤S6,在目标追踪时,为了确保目标始终在无人机的可追踪范围内,控制无人机始终在阈值距离之内,这也是本领域的常用技术手段。
对于区别技术特征(3),对比文件1已经公开了机载智能手机安装在无人机上,将其安装在机架上是本领域的常规设计;智能手机均具有高速多核的CPU处理器和GPU图像处理器,这是本领域的公知常识;由前面的分析可知,对比文件1已经公开了智能手机接入模块接收机载智能手机的操控指令并将其发送至单片机,以及由单片机(相当于驱动模块)接收操控指令,计算PWM信号(四旋翼电机的控制量),然后将计算出来的PWM信号给电调(相当于驱动模块),然而由智能手机接入模块承担单片机的计算PWM信号的功能,计算控制量并发送给驱动模块,,也是本领域技术人员能够根据需要作出的常规选择;对比文件1也已经公开了PWM信号给舵机或电调,而将控制量先发给电调,再由电调输出给旋翼电机,也是本领域的常用技术手段;此外,为了方便信号的传输,以及设备的组装和运输,各个模块之间采用统一接口,并能够组合或拆卸,是本领域的常用技术手段。
因此,在对比文件1的基础上结合对比文件2和公知常识得到权利要求1所要求保护的技术方案对本领域技术人员来说是显而易见的,不具备突出的实质性特点和显著的进步,不符合专利法第22条第3款有关创造性的规定。
针对复审请求人的意见,合议组认为:1.对比文件1中两个手机的作用确实与本申请中两个手机的作用不同,对此,合议组已将上述区别认定为区别技术特征(2)。但是,参见上述区别技术特征(2)的评述可知,对比文件2已经公开了由机载智能手机自行实现飞行控制,并且对比文件2存在与对比文件1结合的启示。因此,本领域技术人员在需要进行跟踪时,很容易想到可以采用对比文件2公开的方式由机载智能手机实现飞行跟踪控制,此时,地面控制智能手机仅用于选定跟踪目标即可;2.虽然对比文件2没有公开具体的算法,但是参见上述三篇公知常识证据可知,目标跟踪的具体步骤是本领域的公知常识,采用上述公知常识算法即可实现动态图像对比,从而准确的跟踪目标。同时,由于对比文件2公开的视觉制导和本申请的运动目标追踪都是通过比较图像实现跟踪,因此,本领域技术人员需要对目标进行跟踪时,很容易想到可以将对比文件2的跟踪预设航线的视觉制导方法用于运动目标追踪。因此,对比文件2存在与对比文件1结合的技术启示,对比文件1和对比文件2的结合不是机械地拼凑,在对比文件1的基础上结合对比文件2和公知常识得到权利要求1所要求保护的技术方案对本领域技术人员来说是显而易见的。因此,复审请求人的意见不予接受。
2.权利要求2不具备创造性
权利要求2引用权利要求1,其对步骤S6进行了进一步限定。根据权利要求1的评述可知,对比文件2的方法实际上已经给出了可以将该方法用于目标追踪的技术启示,当进行目标追踪时,为了确保目标始终在无人机的可追踪范围内,控制无人机始终在阈值距离之内,这是本领域的常用技术手段。在设定追踪阈值后,当距离过远时,控制无人机往更靠近目标的方向直线飞行;当距离过小时,控制无人机往远离目标的方向直线飞行,这是本领域的常用技术手段。因此,上述权利要求不符合专利法第22条第3款有关创造性的规定。
3.权利要求3-4不具备创造性
权利要求3-4均引用权利要求1,其附加技术特征分别为“地面控制智能手机通过触摸屏幕操作选取需要跟踪的运动目标”,“无线网络为3G或4G网络”。对比文件1已经公开了(参见说明书0005-0034段,附图1):如果地面站为智能手机或平板电脑,用户可以通过屏幕虚拟按键以及地面站的重力和姿态感应功能手动操纵飞机;智能手机采用内置Android操作系统的手机,支持3G通讯。而4G也是本领域常用的通讯制式。因此,上述权利要求不符合专利法第22条第3款有关创造性的规定。
三、决定
维持国家知识产权局于2018年08月24日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。