发明创造名称：基于视觉的前方行人测距方法
外观设计名称：
决定号：181391
决定日：2019-06-20
委内编号：1F259312
优先权日：
申请（专利）号：201510340939.7
申请日：2015-06-18
复审请求人：奇瑞汽车股份有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：赵晓敏
合议组组长：董刚
参审员：王荣
国际分类号：G06K9/00;G06T7/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与最接近的现有技术相比存在多个区别技术特征，但是该多个区别技术特征均属于本领域的惯用手段，则该项权利要求不具备创造性。
全文：
本复审请求涉及申请号为201510340939.7，名称为“基于视觉的前方行人测距方法”的发明专利申请（下称本申请）。本申请的申请人为奇瑞汽车股份有限公司，申请日为2015年06月18日，公开日为2015年10月07日。
经实质审查，国家知识产权局实质审查部门于2018年05月16日发出驳回决定，驳回了本申请，其理由是：权利要求1-7不具备专利法第22条第3款规定的创造性。驳回决定所引用的对比文件为：
对比文件1：CN 102765365A，公开日为：2012年11月07日。
驳回决定依据的文本为：申请日2015年06月18日提交的权利要求第1-7项、说明书第1-8页、说明书附图第1-2页、说明书摘要和摘要附图。
驳回决定所针对的权利要求书的内容如下：
“1. 一种基于视觉的前方行人测距方法，其特征在于：本方法根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离，具体包括以下步骤：
1)图像采集，通过车载摄像头采集汽车前方图像；
2)特征识别，识别图像中的人物特征；
3)特征增强，增强人物特征与图像背景之间的视觉反差；
4)图像分析，判断人物特征最低点对应的图像坐标位置；
5)测距，根据摄像头图像坐标与真实世界坐标的映射关系，换算出真实场景的行人距离。
2. 根据权利要求1所述的基于视觉的前方行人测距方法，其特征在于：所述步骤2)的特征识别又包括以下步骤：
a.特征提取，从图像中提取可能存在人物特征的区域；
b.建立行人模型数据库，将提取的人物特征与数据库的行人模型进行比较，进一步判断图像中是否存在行人。
3. 根据权利要去1所述的基于视觉的前方行人测距方法，其特征在于：所属步骤3)的特征增强具体包含以下步骤：
I.垂直边缘增强，使图像中的人物特征边缘与图像背景之间的视觉反差增强。
II.二值化，将人物特征部分的像素灰度调整为同一数值，同时将背景部分的像素灰度值调整为另一数值，得到只有两种灰度级的图像，进一步增强人物特征部分与背景的视觉反差。
4. 根据权利要求2所述的基于视觉的前方行人测距方法，其特征在于：在步骤a中，采用HOG特征提取方法对人物特征进行检测；在步骤b中，采用AdaBoost算法对图像进行搜索检测。
5. 根据权利要求3所述的基于视觉的前方行人测距方法，其特征在于：在步骤I中，采用Sobel算子作为边缘增强算法。
6. 根据权利要求5所述的基于视觉的前方行人测距方法，其特征在 于：所述步骤4)中，图像经过二值化，得到0和255两种灰度级的图像，对行人区域图像自上到下进行水平方向灰度级为255的像素点个数统计，然后从行人区域最下行逐行向上搜索第一次大于投影阈值的投影序列行对应行号，标记此行为行人测距的依据行，投影阈值设定为4-5。
7. 根据权利要求6所述的基于视觉的前方行人测距方法，其特征在于：所述步骤5)的测距方法为：采用摄像头采集20张棋盘网格图像，采用matlab摄像头标定工具箱计算出摄像头内部参数，然后采集真实场景图像计算出摄像头外部参数，根据摄像头内部参数和外部参数计算出摄像头图像坐标系到世界坐标系的映射关系，根据上一步计算得到的行人行号计算出真实场景的行人距离。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年08月27日向国家知识产权局提出了复审请求，未对申请文件进行修改。复审请求人认为：（1）针对测距流程，对比文件1先对图像进行预处理，再进行两次人物特征识别；而本申请则是在人物特征识别和分析这两个步骤之间对图像进行特征增强处理，二者计算距离的方法不同；对比文件1需先对图像进行预处理，再对图像中的行人进行预定位才能避免漏检，保证行人识别的准确性，由于对比文件1中对行人的定位区域要求高，若不对图像进行预处理便直接对行人区域进行预定位，将严重影响行人区域的最终定位结果。而本申请获取汽车前方图像后，先判断图像中是否具有人物特征，即行人是否存在，若存在人物特征，为了准确测量出行人距离，才对图像进行处理，使得人物特征与背景之间视觉反差大，以便于计算判断人物特征的最低点来换算真实场景的行人距离；由于本申请先判断行人是否存在，对于需要对大量图像进行处理的系统来讲，每个图片少做一次图像处理操作，可以大大降低系统的计算量，显著保证系统运行的效率及稳定性。（2）针对距离计算方法，对比文件1是以图像中的地面消失点为基准，来判断人与汽车之间的距离。而本申请中判断行人与车辆距离的关键值为人物特征最低点，本申请仅需要一个值——人物特征的最低点在图像上的坐标位置——就能计算获得该行人与汽车的间距，不仅计算更为简单，而且适用的情景更广，计算所获得的数据也更准确。
经形式审查合格，国家知识产权局于2018年08月31日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年01月23日向复审请求人发出复审通知书，指出：权利要求1-7不具备专利法第22条第3款的规定。针对提出复审请求时复审请求人陈述的意见，合议组指出：（1）对比文件1中的对图像的预处理为调整数据格式以符合数据库格式的需要、对图像去锯齿化以及均衡化操作，即对比文件1中的预处理操作是一些常规的数据格式转换、去噪等操作，其是为了更好的后续图像处理，因此，该预处理过程对后续图像处理并不是必不可少的，本领域技术人员可根据实际应用需求而设置是否对图像进行预处理。至于判断行人是否存在，本申请权利要求1中仅记载了“特征识别、识别图像中的人物特征”，并未记载判断是否存在人物特征的过程，退一步而言，如本申请的说明书的记载（说明书第[0020]-[0022]段）：本申请中的步骤2）中也是包括了两次行人定位、即两次人物特征识别（步骤a和步骤b），因此，该步骤2）的具体实施过程与对比文件1中是一致的。至于对图像的特征增强处理，对于本领域技术人员来说，为了突出背景图像中的行人特征，从而采用图像特征增强技术来增强人物特征与图像背景之间的视觉反差，属于本领域的公知常识。因此，在检测到图像中有行人后，本领域技术人员容易想到采用边缘增强、图像二值化等公知的技术来突出行人的人物特征，来加强行人和背景之间的视觉反差。（2）对于本领域技术人员来说，在前方行人/车辆测距过程中，在利用摄像机与世界坐标系进行转换测距时，选定的参考点可为图像最低点/下边界线/下边缘线，这属于本领域的惯用手段。并且，对比文件1公开了基于图像中的行人位置定位行人相对于汽车的位置，来测量行人与汽车之间的距离，即公开了首先定位图像中的行人位置，在此基础上，本领域技术人员以图像中行人的最低点为参考位置点来确定行人的位置，从而获得对应的图像坐标位置并相应的利用图像坐标系到世界坐标系的映射关系来计算距离，是显而易见的，本领域技术人员无需付出创造性劳动。
复审请求人于2019年03月04 日提交了意见陈述书，同时提交了权利要求书的全文修改替换页。复审请求人认为：（1）本申请中判断行人位置的特征点为人物特征最低点，因此，在步骤3中对识别到人物特征的图像进行处理时，首先做垂直边缘增强处理，增强人物特征在竖直方向上的边缘与图像背景之间的反差，再二值化初步增强处理后的图像，以便于人物特征最低点的判断。而对比文件1在尚未判断图像中是否有行人时，就对图像进行处理，无法有针对性地对行人进行边缘增强处理。（2）根据步骤3获得的图像，本申请只需从行人区域最下行逐行向上搜索，并标记第一次大于投影阈值的投影序列行对应行号，就能准确获得行人测距的依据行，而后根据行号便能直接换算出真实场景中行人与车辆的距离。而对比文件1中测量行人与汽车之间的距离时，需要获取“行人位置与地平面消失点的像素差”，但对比文件1未公开如何计算出摄像机地面消失点，又未公开如何计算出行人位置点。（3）本申请只有在图像中存在人物特征时，才需要对图像进行处理以获得人物测距特征点的依据行信息，在进行图像处理前，先判断图像中是否存在行人，本申请采用先判断行人是否存在的技术方案，能够减少图像处理操作量，进而降低系统的计算量。（4）以人物特征最低点对应的图像坐标作为为参考位置来代表该人物的位置，非本领域的惯用手段，在利用摄像机与世界坐标系进行转换测距时，需要选定参考点或参考线是本领域的公知常识，但具体选择何处为参考点/线，如何在图像中准确获取参考点/线的坐标不属于公知常识。
复审请求人于2019年03月04日答复复审通知书时提交的权利要求书内容如下：
“1. 一种基于视觉的前方行人测距方法，其特征在于：本方法根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离，具体包括以下步骤：
1)图像采集，通过车载摄像头采集汽车前方图像；
2)特征识别，识别图像中的人物特征，判断图像中是否存在行人；
3)特征增强，增强人物特征与图像背景之间的视觉反差，具体包括以下步骤：
I.垂直边缘增强，使图像中的人物特征边缘与图像背景之间的视觉反差增强；
II.二值化，将人物特征部分的像素灰度调整为同一数值，同时将背景部分的像素灰度值调整为另一数值，得到只有0和255两种灰度级的图像，进一步增强人物特征部分与背景的视觉反差；
4)图像分析，判断人物特征最低点对应的图像坐标位置，具体判断方法为：对行人区域图像自上到下进行水平方向灰度级为255的像素点个数统计，然后从行人区域最下行逐行向上搜索第一次大于投影阈值的投影序列行对应行号，标记此行为行人测距的依据行；
5)测距，根据摄像头图像坐标与真实世界坐标的映射关系，结合上一步计算得到的行人行号换算出真实场景的行人距离。
2. 根据权利要求1所述的基于视觉的前方行人测距方法，其特征在于：所述步骤2)的特征识别又包括以下步骤：
a.特征提取，从图像中提取可能存在人物特征的区域；
b.建立行人模型数据库，将提取的人物特征与数据库的行人模型进行比较，进一步判断图像中是否存在行人。
3. 根据权利要求2所述的基于视觉的前方行人测距方法，其特征在于：在步骤a中，采用HOG特征提取方法对人物特征进行检测；在步骤b中，采用AdaBoost算法对图像进行搜索检测。
4. 根据权利要求1所述的基于视觉的前方行人测距方法，其特征在于：在步骤I中，采用Sobel算子作为边缘增强算法。
5. 根据权利要求4所述的基于视觉的前方行人测距方法，其特征在于：所述步骤4)中，图像经过二值化，得到0和255两种灰度级的图像，对行人区域图像自上到下进行水平方向灰度级为255的像素点个数统计，然后从行人区域最下行逐行向上搜索第一次大于投影阈值的投影序列行对应行号，标记此行为行人测距的依据行，投影阈值设定为4-5。
6. 根据权利要求5所述的基于视觉的前方行人测距方法，其特征在于：所述步骤5)的测距方法为：采用摄像头采集20张棋盘网格图像，采用matlab摄像头标定工具箱计算出摄像头内部参数，然后采集真实场景图像计算出摄像头外部参数，根据摄像头内部参数和外部参数计算出摄像头图像坐标系到世界坐标系的映射关系，根据上一步计算得到的行人行号计算出真实场景的行人距离。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以依法作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人于2019年03月04日答复复审通知书时提交了权利要求书的全文修改替换页，经审查，对权利要求的修改符合专利法实施细则第61条第1款和专利法第33条的规定。本复审请求审查决定所依据的审查文本为：申请日2015年06月18日提交的说明书第1-8页、说明书附图第1-2页、说明书摘要和摘要附图，以及2019年03月04日提交的权利要求第1-6项。
2、关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与最接近的现有技术相比存在多个区别技术特征，但是该多个区别技术特征均属于本领域的惯用手段，则该项权利要求不具备创造性。
本复审请求审查决定所引用的对比文件与驳回决定和复审通知书中所引用的对比文件相同，即：
对比文件1：CN 102765365A，公开日为：2012年11月07日。
2.1 权利要求1请求保护一种基于视觉的前方行人测距方法，对比文件1公开了一种基于机器视觉的行人检测方法及行人防撞预警系统，其中防撞过程中主要涉及前方行人测距以及行人路径估计，并具体公开了（参见说明书摘要，说明书第[0009]-[0066]段，图1-6）：行人检测方法包括采集汽车前方图像、在经过处理的图像中对行人进行预定位、对预定位的行人区域进行判断，准确定位行人区域、测量行人与汽车之间的距离及判断行人是否在危险区域，并对处于碰撞危险区域的行人进行报警；其中，在检测到行人之后，根据行人在图像中的位置，运用摄像机标定原理计算行人与汽车之间的距离，即采用世界坐标投影到图像坐标的方法（相当于根据摄像头图像坐标与真实世界坐标的映射关系，采集图像信息来计算真实场景的行人距离）；具体包括：步骤一，采集汽车前方图像；通过设置在汽车上的摄像机(如红外CCD摄像机或CMOS摄像机)采集汽车前方实时图像（相当于图像采集，通过车载摄像头采集汽车前方图像）；并对图像进行适当处理，例如根据数据格式的需要，将获取的图像转换成单通道灰度图像，以符合数据库格式的要求，对图像进行去锯齿化操作和直方图均衡化操作；步骤二，在图像中对行人进行预定位；根据特定场景下行人图像信息，预先训练适合此场景行人识别的HAAR特征分类器文件，在定位行人时根据预先训练的HAAR特征分类器定位行人区域。步骤三，对预定位的行人区域进行判断；对预定位的行人区域进行HOG特征提取，根据已训练好的HOG特征分类器对提取的HOG特征进行判断，去除误检区域，从而准确定位行人区域（相当于特征识别，识别图像中的人物特征，判断图像中是否存在行人）； 步骤四，对检测的行人进行跟踪；步骤五，测量行人与汽车之间的距离，根据行人在图像中的位置（相当于图像分析，得到人物在图像中的坐标位置），基于图像中行人位置定位行人相对于汽车的位置，运用摄像机标定原理计算行人与汽车之间的距离，即采用世界坐标投影到图像坐标的方法计算行人与汽车之间的距离（相当于测距，根据摄像头图像坐标与真实世界坐标的映射关系，换算出真实场景的行人距离）。
由此可见，权利要求1请求保护的技术方案与对比文件1公开的技术方案相比，其区别技术特征在于：（1）特征识别后还包括特征增强，增强人物特征与图像背景之间的视觉反差，具体包括I.垂直边缘增强，使图像中的人物特征边缘与图像背景之间的视觉反差增强；II.二值化，将人物特征部分的像素灰度调整为同一数值，同时将背景部分的像素灰度值调整为另一数值，得到只有0和255两种灰度级的图像，进一步增强人物特征部分与背景的视觉反差；（2）图像分析为判断人物特征最低点对应的图像坐标位置，具体判断方法为：对行人区域图像自上到下进行水平方向灰度级为255的像素点个数统计，然后从行人区域最下行逐行向上搜索第一次大于投影阈值的投影序列行对应行号，标记此行为行人测距的依据行。基于上述区别技术特征，权利要求1实际解决的技术问题是：如何突出检测到的行人轮廓以及测距时如何选定行人位置点。
针对上述区别技术特征（1），对于本领域技术人员来说，通过图像特征增强技术来增强人物特征与背景之间的视觉反差，以突出背景图像上的人物，属于本领域的惯用手段。因此，在检测到图像中有行人后，本领域技术人员容易想到利用图像增强技术来突出显示行人图像，加强行人和背景之间的视觉反差，其属于本领域的惯用手段；并且，垂直边缘增强、二值化属于公知的图像增强处理技术，采用垂直边缘增强使得人物特征边缘与背景之间的视觉反差增强，以及二值化调整人物特征与背景部分的像素灰度值得到只有0和255两种灰度级的图像，来进一步增强视觉反差，属于本领域的惯用手段。
针对上述区别技术特征（2），对比文件1公开了基于图像中行人位置定位行人相对于汽车的位置，即公开了确定图像中行人的位置。而为了确定行人位置，则需要选择代表行人位置的点，因此，本领域技术人员容易想到以人物特征最低点对应的图像坐标位置为参考位置点（即图像中人物特征的下边界）来代表该人物的位置，而为了确定二值化后只有0和255两种灰度级的图像的最低点，对图像进行相应像素点个数统计，从行人区域最下行逐行扫描，向上搜素大于投影阈值的行，来确定人物特征最低点所在的行作为测距的依据行，属于本领域的惯用手段。
因此，在对比文件1的基础上结合本领域的惯用手段从而得到权利要求1的技术方案，对于本领域技术人员来说是显而易见的，权利要求1不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.2 权利要求2引用权利要求1，对比文件1还公开了如下技术特征（参见说明书第[0039]段-[0068]段、图1-6）：步骤二，在图像中对行人进行预定位：根据特定场景下行人图像信息，预先训练适合此场景行人识别的HAAR特征分类器文件，在定位行人时根据预先训练的HAAR特征分类器定位行人区域（相当于特征提取，从图像中提取可能存在人物特征的区域）；步骤三，对预定位的行人区域进行判断；通过对预定位的行人区域进行HOG特征提取，根据已训练好的HOG特征分类器对提取的HOG特征进行判断。并且，对于本领域技术人员来说，建立相应行人模型数据库，将提取的特征与数据库的行人模型进行比较来判断是否存在行人，属于本领域进行行人检测时的惯用手段。因此，当其引用的权利要求不具备创造性时，权利要求2也不具备专利法第22条第3款规定的创造性。
2.3 权利要求3引用权利要求2，对比文件1公开了（参见说明书第[0016]-[0017]段）通过对预定位的行人区域进行HOG特征提取，根据已训练好的HOG特征分类器对提取的HOG特征进行判断（相当于采用HOG特征提取方法对人物特征进行检测）；至于采用Adaboost算法对图像进行搜索检测，属于本领域的惯用手段。因此，当其引用的权利要求不具备创造性时，权利要求3也不具备专利法第22条第3款规定的创造性。
2.4 权利要求4引用权利要求1，对于本领域技术人员来说，采用Sobel算子作为边缘增强算法，属于本领域的惯用手段。因此，当其引用的权利要求不具备创造性时，权利要求4也不具备专利法第22条第3款规定的创造性。
2.5 权利要求5引用权利要求4，对于本领域技术人员来说，为了确定二值化后只有0和255两种灰度级的图像的最低点，对图像进行相应像素点个数统计，从行人区域最下行逐行扫描，向上搜素大于投影阈值的行，来确定人物特征最低点所在的行作为测距的依据行，属于本领域的惯用手段。因此，当其引用的权利要求不具备创造性时，权利要求5也不具备创造性。
2.6 权利要求6引用权利要求5，对于本领域技术人员来说，在基于视觉检测前方行人测距过程中，采集棋盘网格图像，采用matlab摄像头标定工具箱计算摄像头内部参数，采集真实场景图像计算摄像头外部参数，并根据内部参数和外部参数确定摄像头坐标系和世界坐标系之间的映射关系来进行测距，属于本领域的惯用手段。因此，当其引用的权利要求不具备创造性时，权利要求6也不具备专利法第22条第3款规定的创造性。
3、关于复审请求人的意见
针对复审请求人于2019年03月04日提交的答复复审通知书中的意见陈述，合议组认为：（1）对比文件1在尚未判断图像中是否有行人时对图像的处理，是预处理操作，是一些常规的数据格式转换、去噪等操作，数据格式转换是为了符合数据库格式的要求，去锯齿化操作和直方图均衡化操作是对图像进行去噪，预处理过程对后续图像处理并不是必不可少的，根据实际应用情况可以选择设置是否对图像进行预处理，例如当数据格式符合数据库格式的要求时，无需进行格式转换操作；图像质量符合要求时，无需进行去锯齿化等去噪操作。而在识别出图像中的行人后，即识别出人物特征后为了突出显示行人特征，将行人与背景区分开来，从而采用图像特征增强技术来增强人物特征与背景之间的视觉反差，是显而易见的；并且，为了更好的对行人定位、判断行人位置，从而明显的显示行人特征，采用图像特征增强技术增强视觉反差，也是显而易见的。（2）对比文件1中公开了基于图像中的行人位置定位行人相对于汽车的位置，来测量行人与汽车之间的距离，即公开了首先定位图像中的行人位置，在此基础上，为了对行人进行定位，选择设置参考点是显而易见的，而设置具体的参考点位置，将参考点选择设置为图像最低点/下边界线/下边缘线，属于本领域的常规选择。而本领域技术人员选定参考点为行人位置的最低点后，自上而下逐行扫描二值化处理后的图像来确定行人的最低点，属于本领域的惯用手段。（3）对比文件1中虽然对图像进行了预处理，但其预处理操作是常规的数据格式转换、去噪等操作；然而其获得行人在图像中的位置的操作是在判断出存在行人之后的操作。并且，本申请中的获得人物测距特征点的依据行信息，即确定图像中行人的最低点信息，是需要在确定存在人物特征时才去确定人物的最低点信息，不存在人物时则无法获得人物的相应信息，而特征增强操作是为了突显行人从而对行人进行定位的，因而，先判断图像中是否存在行人，然后执行为了获取相应行人特定信息的图像增强操作，是显而易见的；并且，若不判断是否存在行人，也无法进行特征增强操作，特征增强操作首先要确定对何种特征进行增强。至于复审请求人所述的减少图像处理操作量的效果，其属于本领域可预期的效果。（4）正如复审请求人所述，在利用摄像机与世界坐标系进行转换测距时，需要选定参考点或参考线是本领域的公知常识，即本领域技术人员均了解，需要进行参考点或参考线的选择，至于选择具体的参考点或参考线，则属于本领域的常规选择，在利用摄像机与世界坐标系进行转换测距时，选定的参考点可为容易是别的标志性位置，例如可以是图像最低点/下边界线/下边缘线，这属于本领域的惯用手段，本领域技术人员选择人物特征的最低点作为参考点来对行人进行定位，无需付出创造性劳动。
综上，本申请不具备创造性，复审请求人的意见合议组不予支持。
三、决定
维持国家知识产权局于2018年05月16日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
