发明创造名称：嘴唇轮廓的定位方法
外观设计名称：
决定号：191800
决定日：2019-09-29
委内编号：1F275696
优先权日：
申请（专利）号：201610049810.5
申请日：2016-01-26
复审请求人：北方工业大学
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：孙韬敏
合议组组长：杜军
参审员：邹予婷
国际分类号：G06K9/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与作为最接近的现有技术的对比文件相比存在区别技术特征，但该区别技术特征为本领域的惯用技术手段，则该项权利要求请求保护的技术方案不具备创造性。
全文：
本复审请求涉及申请号为201610049810.5，名称为“嘴唇轮廓的定位方法”的发明专利申请（下称本申请）。本申请的申请人为北方工业大学，申请日为2016年01月26日，公开日为2017年08月01日。
经实质审查，国家知识产权局实质审查部门于2018年11月23日发出驳回决定，驳回了本申请，其理由是：权利要求1-6不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为：申请日2016年01月26日提交的说明书第1-10页、说明书附图第1-4页、说明书摘要和摘要附图，以及2018年11月05日提交的权利要求第1-6项。
驳回决定所针对的权利要求书内容如下：
“1. 一种嘴唇轮廓的定位方法，其特征在于，该方法包括如下步骤：
对嘴唇区域进行粗分割，以得到嘴唇区域二值化图像；
将嘴唇区域二值化图像转换为灰度图像，在嘴唇区域灰度图像中查找嘴角关键点，所述嘴角关键点包括左、右嘴角关键点；
以嘴角关键点为基准，查找嘴唇内、外轮廓关键点，从而完成嘴唇轮廓的定位；所述嘴唇内轮廓关键点包括上、下嘴唇内轮廓关键点，所述外轮廓关键点包括上、下嘴唇外轮廓关键点；
步骤101，将嘴唇区域图像从RGB空间转换到Lab和HSB空间；
步骤102，对Lab空间中的a分量和HSV空间中的H和S分量进行直方图均衡；
步骤103，通过自适应算法确定的阈值对a、H和S分量分别进行二值化处理；
步骤104，将两幅二值图像进行逻辑与运算得到新二值图像，此过程中能够进一步将一些不属于嘴唇区域的像素点排除；
步骤105，寻找最大连通域，将刚获得新二值图像进行闭运算处理，得到嘴唇区域二值化图像，实现对嘴唇区域的粗分割；
步骤201，将嘴唇区域二值化图像转换为灰度图像；
查找嘴角关键点，通过下述方式实现：
对嘴唇区域灰度图像进行行扫描，找出像素点灰度值之和最小的一行作为搜索嘴角的参考行；
以参考行为基础，上下各扩展N行所形成的带状区域即为嘴角搜索域，所述N为不小于5的整数；
检测嘴角关键点：以每四个呈矩形排布的相邻像素点为一个单元，每个单元的像素值为该单元内四个像素点的灰度值之和，统计嘴角搜索域中所有单元的像素值；从每行中像素值最小的单元中挑选出列坐标最靠外侧的单元，该单元中位于上方且与查找的嘴角方向相同的像素点即为左、右嘴角关键点；
查找嘴唇外轮廓关键点，通过下述方式实现：
以左、右嘴角关键点为基础选取嘴唇外轮廓关键点所在列；
对嘴唇区域灰度图像从上至下进行列扫描，当出现灰度值变化超过预设阈值 的像素点，则认为该像素点为突变点，选取该突变点为上嘴唇外轮廓关键点；对嘴唇区域灰度图像从下至上进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为下嘴唇外轮廓关键点；
继续对其他关键点所在列进行列扫描，直至完成所有列中嘴唇外轮廓关键点的选取；
找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇外轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点；
查找嘴唇内轮廓关键点，通过下述方式实现：
取左、右嘴角关键点的横坐标作为嘴唇内轮廓关键点的横坐标，该横坐标所在列即为嘴唇内轮廓关键点所在列；
对嘴唇区域灰度图像从下至上进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为上嘴唇内轮廓关键点；对嘴唇区域灰度图像从上至下进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为下嘴唇内轮廓关键点。
2. 根据权利要求1所述的方法，其特征在于，对嘴唇区域进行粗分割，通过下述方式实现：
将嘴唇区域图像从当前颜色空间转换为另两种颜色空间；
利用转换后两种颜色空间的分量获取相应直方图，对两幅直方图均衡化后再进行二值化，将二值化的两幅图像进行逻辑与运算得到嘴唇区域二值化图像；
提取嘴唇区域二值化图像的最大连通域并进行闭运算处理，从而实现嘴唇区域的粗分割。
3. 根据权利要求1所述的方法，其特征在于，检测嘴角关键点的步骤还可以通过下述方式实现：
将嘴唇区域的灰度图像对半分割为左、右两部分；
在左侧图像中检测左嘴角关键点的步骤包括：
从左侧嘴角搜索域上面第一行最左侧的像素点开始，将该像素点及与其相邻的右方、下方、右下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值；
进行行扫描：从左至右以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列；
判断左侧嘴角搜索域内所有行是否搜索完毕，是则选择每行标定的列中列坐标最靠左的单元，该单元中左上方的像素点即为左嘴角关键点；否则将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列；
在右侧图像中检测左嘴角关键点的步骤包括：
从右侧嘴角搜索域上面第一行最右侧的像素点开始，将该像素点及与其相邻的左方、下方、左下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值；
从右至左以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列；
判断右侧嘴角搜索域内所有行是否搜索完毕，是则选择每行标定的列中列坐标最靠右的单元，该单元中右上方的像素点即为右嘴角关键点；否则将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列。
4. 根据权利要求1所述的方法，其特征在于，取左、右嘴角关键点的横坐标中点作为嘴唇外轮廓关键点的横坐标，在该横坐标与左、右嘴角关键点之间分别选取至少两个等距离分布的横坐标，通过上述横坐标确定嘴唇外轮廓关键点所在列。
5. 根据权利要求1所述的方法，其特征在于，找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇内轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点。
6. 根据权利要求1所述的方法，其特征在于，在完成嘴唇轮廓的定位之后，还包括将关键点进行拟合以提取嘴唇几何特征的过程：
基于左、右嘴角关键点，上、下嘴唇外轮廓关键点以及上、下嘴唇内轮廓关键点进行拟合，以获得嘴唇模型；
通过计算嘴唇内、外轮廓的高宽比，嘴唇外轮廓最高、最低点到嘴角所在水 平线垂直距离的比值以及嘴唇内轮廓最高、最低点到嘴角所在水平线垂直距离的比值，以获得嘴唇几何特征。”
驳回决定中引用了如下对比文件：
对比文件1：“基于唇部视觉特征的语言识别技术研究”，卢开宏，《中国优秀硕士学位论文全文数据库 信息科技辑》，2015年第08期，公开日为2015年08月15日。
驳回决定的具体理由是：1.权利要求1与对比文件1的区别技术特征在于：（1）对Lab空间中的a分量进行处理，对a、H和S分量分别进行二值化处理，并对新获得的二值图像进行闭运算处理；将嘴唇区域二值化图像转换为灰度图像；（2）以左、右嘴角关键点为基础选取嘴唇外、内轮廓关键点所在列；当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，并在未找到满足约束条件的突变点时继续扫描该列直至找到相应突变点。而上述区别技术特征属于本领域技术人员容易想到的常用技术手段。因此，权利要求1不具备创造性。2.权利要求2-5的附加技术特征或被对比文件1公开，或属于本领域技术人员的常用技术手段。权利要求6的附加技术特征已被对比文件1公开。因此，权利要求2-6不具备创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2019年03月07日向国家知识产权局提出了复审请求，同时提交了权利要求书的全文修改替换页，修改后的权利要求书包括权利要求第1项，具体修改为：将从属权利要求2-6的附加技术特征加入独立权利要求1，删除从属权利要求2-6。复审请求人认为：（1）对比文件1中的“将同样的嘴唇区域RGB图像转到HSV空间，并对H和S分量进行相应处理，然后再将处理后的分量进行合成，并转换成灰度图像”与本申请的“将嘴唇区域二值化图像转换为灰度图像”不相当，没有充分理由说明“将同样的嘴唇区域RGB图像转到HSV空间，并对H和S分量进行相应处理，然后再将处理后的分量进行合成”即为本申请中的“嘴唇区域二值化图像”。（2）对比文件1中的“左右两个嘴角的位置”与权利要求1中“在嘴唇区域灰度图像中查找嘴角关键点，所述嘴角关键点包括左、右嘴角关键点”的“嘴唇区域”不相当。（3）对比文件1的“将处理后得到的图像取合适的阈值并进行二值化”不相当于本申请的“通过自适应算法确定的阈值进行二值化处理”，“二值化”与“自适应算法”不相当。（4）对比文件1没有体现出权利要求1中的“进行逻辑与运算”。（5）没有证据说明对比文件1中“将该像素和它右方、下方和右下方共四个像素作为一个单元”即为“呈矩形排布”。本申请的权利要求1具备创造性。
提出复审请求时新修改的权利要求1的内容如下：
“1. 一种嘴唇轮廓的定位方法，其特征在于，该方法包括如下步骤：
对嘴唇区域进行粗分割，以得到嘴唇区域二值化图像；
将嘴唇区域二值化图像转换为灰度图像，在嘴唇区域灰度图像中查找嘴角关键点，所述嘴角关键点包括左、右嘴角关键点；
以嘴角关键点为基准，查找嘴唇内、外轮廓关键点，从而完成嘴唇轮廓的定位；所述嘴唇内轮廓关键点包括上、下嘴唇内轮廓关键点，所述外轮廓关键点包括上、下嘴唇外轮廓关键点；
步骤101，将嘴唇区域图像从RGB空间转换到Lab和HSB空间；
步骤102，对Lab空间中的a分量和HSV空间中的H和S分量进行直方图均衡；
步骤103，通过自适应算法确定的阈值对a、H和S分量分别进行二值化处理；
步骤104，将两幅二值图像进行逻辑与运算得到新二值图像，此过程中能够进一步将一些不属于嘴唇区域的像素点排除；
步骤105，寻找最大连通域，将刚获得新二值图像进行闭运算处理，得到嘴唇区域二值化图像，实现对嘴唇区域的粗分割；
步骤201，将嘴唇区域二值化图像转换为灰度图像；
查找嘴角关键点，通过下述方式实现：
对嘴唇区域灰度图像进行行扫描，找出像素点灰度值之和最小的一行作为搜索嘴角的参考行；
以参考行为基础，上下各扩展N行所形成的带状区域即为嘴角搜索域，所述N为不小于5的整数；
检测嘴角关键点：以每四个呈矩形排布的相邻像素点为一个单元，每个单元的像素值为该单元内四个像素点的灰度值之和，统计嘴角搜索域中所有单元的像素值；从每行中像素值最小的单元中挑选出列坐标最靠外侧的单元，该单元中位于上方且与查找的嘴角方向相同的像素点即为左、右嘴角关键点；
查找嘴唇外轮廓关键点，通过下述方式实现：
以左、右嘴角关键点为基础选取嘴唇外轮廓关键点所在列；
对嘴唇区域灰度图像从上至下进行列扫描，当出现灰度值变化超过预设阈值 的像素点，则认为该像素点为突变点，选取该突变点为上嘴唇外轮廓关键点；对嘴唇区域灰度图像从下至上进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为下嘴唇外轮廓关键点；
继续对其他关键点所在列进行列扫描，直至完成所有列中嘴唇外轮廓关键点的选取；
找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇外轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点；
查找嘴唇内轮廓关键点，通过下述方式实现：
取左、右嘴角关键点的横坐标作为嘴唇内轮廓关键点的横坐标，该横坐标所在列即为嘴唇内轮廓关键点所在列；
对嘴唇区域灰度图像从下至上进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为上嘴唇内轮廓关键点；对嘴唇区域灰度图像从上至下进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为下嘴唇内轮廓关键点；
对嘴唇区域进行粗分割，通过下述方式实现：
将嘴唇区域图像从当前颜色空间转换为另两种颜色空间；
利用转换后两种颜色空间的分量获取相应直方图，对两幅直方图均衡化后再进行二值化，将二值化的两幅图像进行逻辑与运算得到嘴唇区域二值化图像；
提取嘴唇区域二值化图像的最大连通域并进行闭运算处理，从而实现嘴唇区域的粗分割；
检测嘴角关键点的步骤还可以通过下述方式实现：
将嘴唇区域的灰度图像对半分割为左、右两部分；
在左侧图像中检测左嘴角关键点的步骤包括：
从左侧嘴角搜索域上面第一行最左侧的像素点开始，将该像素点及与其相邻的右方、下方、右下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值；
进行行扫描：从左至右以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列；
判断左侧嘴角搜索域内所有行是否搜索完毕，是则选择每行标定的列中列坐标最靠左的单元，该单元中左上方的像素点即为左嘴角关键点；否则将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列；
在右侧图像中检测左嘴角关键点的步骤包括：
从右侧嘴角搜索域上面第一行最右侧的像素点开始，将该像素点及与其相邻的左方、下方、左下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值；
从右至左以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列；
判断右侧嘴角搜索域内所有行是否搜索完毕，是则选择每行标定的列中列坐标最靠右的单元，该单元中右上方的像素点即为右嘴角关键点；否则将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列；
取左、右嘴角关键点的横坐标中点作为嘴唇外轮廓关键点的横坐标，在该横坐标与左、右嘴角关键点之间分别选取至少两个等距离分布的横坐标，通过上述横坐标确定嘴唇外轮廓关键点所在列；
找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇内轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点；
在完成嘴唇轮廓的定位之后，还包括将关键点进行拟合以提取嘴唇几何特征的过程：
基于左、右嘴角关键点，上、下嘴唇外轮廓关键点以及上、下嘴唇内轮廓关键点进行拟合，以获得嘴唇模型；
通过计算嘴唇内、外轮廓的高宽比，嘴唇外轮廓最高、最低点到嘴角所在水平线垂直距离的比值以及嘴唇内轮廓最高、最低点到嘴角所在水平线垂直距离的比值，以获得嘴唇几何特征。”
经形式审查合格，国家知识产权局于2019年03月13日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本申请进行审理。
合议组于2019年08月19日向复审请求人发出复审通知书，指出：权利要求1不具备专利法第22条第3款规定的创造性。对于复审请求人的意见陈述，合议组认为：（1）根据本申请原始提交的说明书第6页第17-30行的记载“步骤201，将嘴唇区域二值化图像转换为灰度图像；本步骤中的201'-203'与上述步骤201-203完全相同；步骤201'，将嘴唇区域二值化图像由RGB彩色图像转换为嘴唇区域灰度图像”，可知，权利要求1中的“将嘴唇区域二值化图像转换为灰度图像”即“将嘴唇区域二值化图像由RGB彩色图像转换为嘴唇区域灰度图像”。同时，对比文件1公开了嘴唇区域分割后得到嘴唇区域的二值化图像（参见第20页第2、3段），还公开了将之前粗分割出来的嘴唇区域图像由RGB彩色图像，转成灰度图像（参见第24页第5段），可见，对比文件1根据粗分割出的嘴唇区域的二值化图像，将嘴唇区域图像由RGB彩色图像转换成灰度图像，其公开了权利要求1中的“将嘴唇区域二值化图像转换为灰度图像”。（2）对比文件1公开了定位嘴角时，对转成灰度的嘴唇区域灰度图像进行行扫描，定位左侧嘴角、右侧嘴角（参见第24页第5段），其公开了权利要求1中的“在嘴唇区域灰度图像中查找嘴角关键点，所述嘴角关键点包括左、右嘴角关键点”。（3）对比文件1的图3-8示出，HSV颜色空间提取H和S分量后，进入步骤直方图均衡化、合并各分量并转换成灰度图像、自适应阈值进行二值化，可见，对比文件1公开了权利要求1中的“通过自适应算法确定的阈值对H和S分量进行二值化处理”。对比文件1的图3-8还示出，对Lab颜色空间的b分量直方图均衡化后，采用自适应阈值进行二值化，而采用a分量代替b分量属于本领域的常规选择，即“通过自适应算法确定的阈值对a分量进行二值化处理”是本领域的惯用技术手段。（4）对比文件1公开了将经过Lab空间和HSV空间中处理后的两个二值化图像相与（参见第20页第3段），还在图3-8中示出两个二值化图像进行“与运算”的步骤，即对比文件1公开了权利要求1中的“将两幅二值图像进行逻辑与运算得到新二值图像”。（5）本申请原始提交的说明书第6页第22行-第7页第9行记载了“以每四个呈矩形排布的相邻像素点为一个单元，每个单元的像素值为该单元内四个像素点的灰度值之和”、“将每个像素点及与其相邻的右方、下方、右下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值”，即本申请的“每个像素点及与其相邻的右方、下方、右下方三个像素点”为“以每四个呈矩形排布的相邻像素点”；同时，对比文件1公开了“将该像素和它右方、下方和右下方共四个像素作为一个单元，然后对组成单元的四个像素值累加求和”（参见第24页第5段），可见，对比文件1的“将该像素和它右方、下方和右下方共四个像素作为一个单元”即“呈矩形排布”。
复审请求人于2019年09月18日提交了意见陈述书，未修改申请文件。复审请求人认为：（1）本申请涉及“一种嘴唇轮廓的定位方法”，而对比文件1涉及的是“基于唇部视觉特征的语言识别技术研究”，两者技术主题不同。（2）对比文件1至少未公开以下技术特征“在右侧图像中检测左嘴角关键点的步骤包括：从右侧嘴角搜索域上面第一行最右侧的像素点开始，将该像素点及与其相邻的左方、下方、左下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值；从右至左以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列；判断右侧嘴角搜索域内所有行是否搜索完毕，是则选择每行标定的列中列坐标最靠右的单元，该单元中右上方的像素点即为右嘴角关键点；否则将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列；取左、右嘴角关键点的横坐标中点作为嘴唇外轮廓关键点的横坐标，在该横坐标与左、右嘴角关键点之间分别选取至少两个等距离分布的横坐标，通过上述横坐标确定嘴唇外轮廓关键点所在列；找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇内轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点；在完成嘴唇轮廓的定位之后，还包括将关键点进行拟合以提取嘴唇几何特征的过程：基于左、右嘴角关键点，上、下嘴唇外轮廓关键点以及上、下嘴唇内轮廓关键点进行拟合，以获得嘴唇模型；通过计算嘴唇内、外轮廓的高宽比，嘴唇外轮廓最高、最低点到嘴角所在水平线垂直距离的比值以及嘴唇内轮廓最高、最低点到嘴角所在水平线垂直距离的比值，以获得嘴唇几何特征”。本申请具有有益的技术效果，具备创造性。
在上述程序的基础上，合议组认为本申请事实已经清楚，可以依法作出审查决定。
二、决定的理由
1. 审查文本的认定
复审请求人在2019年09月18日答复复审通知书时未修改申请文件。本复审请求审查决定所依据的审查文本与复审通知书所针对的审查文本相同，即：申请日2016年01月26日提交的说明书第1-10页、说明书附图第1-4页、说明书摘要和摘要附图，以及2019年03月07日提交的权利要求第1项。
2. 关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与作为最接近的现有技术的对比文件相比存在区别技术特征，但该区别技术特征为本领域的惯用技术手段，则该项权利要求请求保护的技术方案不具备创造性。
本复审请求审查决定引用的对比文件与驳回决定、复审通知书中所引用的对比文件相同，即：
对比文件1：“基于唇部视觉特征的语言识别技术研究”，卢开宏，《中国优秀硕士学位论文全文数据库 信息科技辑》，2015年第08期，公开日为2015年08月15日。
权利要求1请求保护一种嘴唇轮廓的定位方法，对比文件1公开了一种嘴唇轮廓的定位方法，并具体公开了以下技术特征（参见第10-11、17-21、23-26页）：根据图3-7所示，包括嘴唇的(a)原始图像经处理获得(b)二值化后效果的嘴唇区域（相当于对嘴唇区域进行粗分割，以得到嘴唇区域二值化图像）；
基于HSV和Lab的嘴唇区域分割：经过Lab和HSV空间的处理，可以利用色彩分量信息将嘴唇区域像素点和皮肤像素点区分开（相当于步骤101，将嘴唇区域图像从RGB空间转换到Lab和HSB空间，其中，HSV空间相当于HSB空间；将嘴唇区域图像从当前颜色空间转换为另两种颜色空间），在此基础上，可以进一步进行唇部区域的提取和分割；算法具体步骤：(1)将嘴唇区域图像由RGB转到Lab，在Lab空间提取图像b分量；(2)对b分量进行直方图均衡化；(3)选取合适的阈值对图像进行二值化，选取一种自适应算法来确定阈值；(4)将同样的嘴唇区域RGB图像转到HSV空间，并对H和S分量进行相应处理，然后再将处理后的分量进行合成，并转换成灰度图像；根据图3-8所示，HSV颜色空间提取H和S分量后，进入直方图均衡化步骤（相当于步骤102中的对HSV空间中的H和S分量进行直方图均衡，利用转换后两种颜色空间的分量获取相应直方图），合并各分量并转换成灰度图像，自适应阈值进行二值化（相当于步骤103中的通过自适应算法确定的阈值对H和S分量进行二值化处理）；(5)将处理后得到的图像取合适的阈值并进行二值化（相当于对两幅直方图均衡化后再进行二值化）；(6)将经过Lab空间和HSV空间中处理后的两个二值化图像相与（相当于步骤104中的将两幅二值图像进行逻辑与运算得到新二值图像；将二值化的两幅图像进行逻辑与运算得到嘴唇区域二值化图像），这样可以将一些不属于嘴唇区域的像素点进一步排除（相当于步骤104中的此过程中能够进一步将一些不属于嘴唇区域的像素点排除）；(7)寻找最大连通域，这样可以把一些嘴唇像素以外的干扰区域或干扰点排除，再经过形态学处理，得到嘴唇区域的二值化图像（相当于步骤105中的寻找最大连通域，得到嘴唇区域二值化图像，实现对嘴唇区域的粗分割；提取嘴唇区域二值化图像的最大连通域，从而实现嘴唇区域的粗分割）；
嘴角定位（相当于查找嘴角关键点）：第一步，将之前粗分割出来的嘴唇区域图像（相当于嘴唇区域二值化图像）由RGB彩色图像(如图4-l(a))，转成灰度图像(如图4-l(b))（相当于将嘴唇区域二值化图像转换为灰度图像，步骤201，将嘴唇区域二值化图像转换为灰度图像）；第二步，对转成灰度的嘴唇区域灰度图像进行行扫描，找出各行像素值相加和最小的那一行，该行作为搜索嘴角区域的“参考行”(如图4-l(c))（相当于对嘴唇区域灰度图像进行行扫描，找出像素点灰度值之和最小的一行作为搜索嘴角的参考行）；第三步，以“参考行”为基础，上下扩展5行，所形成的区域即为搜索嘴角的区域（相当于以参考行为基础，上下各扩展N行所形成的带状区域即为嘴角搜索域，所述N为不小于5的整数）；第四步，将嘴唇灰度图像分为左右相等的两部分（相当于将嘴唇区域的灰度图像对半分割为左、右两部分）；第五步，从左侧搜索区域最上面第一行的最左侧第一个像素开始，将该像素和它右方、下方和右下方共四个像素作为一个单元，然后对组成单元的四个像素值累加求和（相当于检测嘴角关键点：以每四个呈矩形排布的相邻像素点为一个单元，每个单元的像素值为该单元内四个像素点的灰度值之和；在左侧图像中检测左嘴角关键点的步骤包括：从左侧嘴角搜索域上面第一行最左侧的像素点开始，将该像素点及与其相邻的右方、下方、右下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值）；第五步，从左至右以一个像素为步长移动单元，对每一个单元区域内的像素灰度值进行求和，并记录下和最小的单元所在的列（相当于进行行扫描：从左至右以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列）；第六步，待找出第一行中最小值以后，将单元位置进行调整，即将单元高度向下移动一个像素，重复第五步（相当于将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列），找出第二行各单元和的最小值以及所在的列；第七步，重复第六步直到找出左侧嘴角搜索区域内各行单元区域和的最小值及其所在列（相当于统计嘴角搜索域中所有单元的像素值；判断左侧嘴角搜索域内所有行是否搜索完毕），各行单元区域的最小值即为嘴角候选值；第八步，比较候选值的列，最左侧的单元即为嘴角（相当于是则选择每行标定的列中列坐标最靠左的单元；从每行中像素值最小的单元中挑选出列坐标最靠外侧的单元），选单元中灰度值最小的像素作为左边嘴角的位置；右侧嘴角搜索和定位和左侧嘴角类似，最后定位的嘴角，如图4-l(d)所示（相当于在嘴唇区域灰度图像中查找嘴角关键点，所述嘴角关键点包括左、右嘴角关键点；在右侧图像中检测左嘴角关键点的步骤包括：从右侧嘴角搜索域上面第一行最右侧的像素点开始，将该像素点及与其相邻的左方、下方、左下方三个像素点组成一个单元，四个像素点的灰度值之和即为该单元的像素值；从右至左以一个像素点为步长进行移动，计算每个单元的像素值，并记录该行中最小像素值单元所在的列；判断右侧嘴角搜索域内所有行是否搜索完毕，是则选择每行标定的列中列坐标最靠右的单元；否则将单元高度向下移动一个像素点，继续进行下一行扫描，直至将搜索域所有行中最小像素值单元找出并记录其所在的列）；
上下嘴唇外轮廓关键点提取（相当于查找嘴唇外轮廓关键点，所述外轮廓关键点包括上、下嘴唇外轮廓关键点）：定位上嘴唇关键点时，确定好关键点的列，然后通过对图像从上到下进行扫描，突变点就是嘴唇边缘（相当于对嘴唇区域灰度图像从上至下进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为上嘴唇外轮廓关键点），为了进一步减小误差，规定当连续三个像素点都为嘴唇像素点时，认为进入嘴唇区域，选最上像素点作为关键点（相当于找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇外轮廓关键点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点，否则继续该列扫描直至找到满足约束条件的突变点），直至将确定好的几个关键点的列都进行扫描（相当于继续对其他关键点所在列进行列扫描，直至完成所有列中嘴唇外轮廓关键点的选取），以完成上嘴唇外围所有关键点的提取；下嘴唇的轮廓关键点确定和上轮廓采取类似的方法，通过从下到上扫描确定好的列，寻找突变点（相当于对嘴唇区域灰度图像从下至上进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为下嘴唇外轮廓关键点）；
嘴唇内轮廓关键点提取：上下嘴唇各提取一个关键点（相当于查找嘴唇内轮廓关键点，所述嘴唇内轮廓关键点包括上、下嘴唇内轮廓关键点）；纵坐标为左右嘴角连线的中点列坐标（相当于取左、右嘴角关键点的横坐标作为嘴唇内轮廓关键点的横坐标，该横坐标所在列即为嘴唇内轮廓关键点所在列），从中点开始分别向上向下进行扫描来确定关键点的横坐标（相当于以嘴角关键点为基准，查找嘴唇内轮廓关键点，从而完成嘴唇轮廓的定位）；分别从嘴角连线中点分别向上向下进行列扫描来寻找上下唇关键点；根据图4-4所示，牙齿、嘴唇之间边界的中线上，分别标示了上、下嘴唇的内轮廓关键点（从中点开始向上列扫描，相当于对嘴唇区域灰度图像从下至上进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为上嘴唇内轮廓关键点；从中点开始向下列扫描，相当于对嘴唇区域灰度图像从上至下进行列扫描，当出现灰度值变化超过预设阈值的像素点，则认为该像素点为突变点，选取该突变点为下嘴唇内轮廓关键点）。
嘴唇轮廓拟合：基于上述的操作，得到了嘴唇内外轮廓的12个关键点，在这节中将进一步阐述如何利用这些关键点来对嘴唇内外轮廓进行拟合，通过比较不同的曲线对嘴唇轮廓进行拟合的效果，最后确定合理的嘴唇轮廓模型（相当于在完成嘴唇轮廓的定位之后，还包括将关键点进行拟合以提取嘴唇几何特征的过程）；对上嘴唇提取5个关键点，下嘴唇提取3个关键点，再加上左右两个嘴角；上下嘴唇各提取一个关键点（相当于基于左、右嘴角关键点，上、下嘴唇外轮廓关键点以及上、下嘴唇内轮廓关键点进行拟合，以获得嘴唇模型）；采取下述4个参数来表示嘴唇的基本形状：(1)嘴唇外轮廓高度和宽度的比值R1=Ho/Wo，(2)嘴唇外轮廓上部和下部高度比值R2=Hou/Hod，(3)嘴唇内轮廓高度和宽度的比值R3=Hi/Wi，(4)嘴唇内轮廓上部和下部高度比值R4=Hiu/Hid（相当于通过计算嘴唇内、外轮廓的高宽比，嘴唇外轮廓最高、最低点到嘴角所在水平线垂直距离的比值以及嘴唇内轮廓最高、最低点到嘴角所在水平线垂直距离的比值，以获得嘴唇几何特征，其中，R3、R1分别相当于嘴唇内、外轮廓的高宽比，R2相当于嘴唇外轮廓最高、最低点到嘴角所在水平线垂直距离的比值，R4相当于嘴唇内轮廓最高、最低点到嘴角所在水平线垂直距离的比值），其中Ho、Wo、Hou、Wod、Hi、Wi、Hiu和Wid的含义分别为嘴唇外轮廓高度、嘴唇外轮廓宽度、嘴唇外轮廓上部高度、嘴唇外轮廓下部高度、嘴唇内轮廓高度、嘴唇内轮廓宽度、嘴唇内轮廓上部高度和嘴唇内轮廓下部高度。
权利要求1与对比文件1相比，区别技术特征在于：（1）步骤102中还对Lab空间中的a分量进行直方图均衡，步骤103中还通过自适应算法确定的阈值对a分量进行二值化处理；而对比文件1相应的处理对象为Lab空间中的b分量；步骤105中将刚获得新二值图像进行闭运算处理，而对比文件1中进行形态学处理；（2）本申请在检测嘴角关键点时，单元中位于上方且与查找的嘴角方向相同的像素点即为左、右嘴角关键点，单元中左上方的像素点即为左嘴角关键点，单元中右上方的像素点即为右嘴角关键点，而对比文件1的单元中灰度值最小像素为关键点；（3）本申请在查找嘴唇外轮廓关键点时，以嘴角关键点为基准，查找嘴唇外轮廓关键点，以左、右嘴角关键点为基础选取嘴唇外轮廓关键点所在列；取左、右嘴角关键点的横坐标中点作为嘴唇外轮廓关键点的横坐标，在该横坐标与左、右嘴角关键点之间分别选取至少两个等距离分布的横坐标，通过上述横坐标确定嘴唇外轮廓关键点所在列；（4）本申请在查找嘴唇内轮廓关键点时，还在找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇内轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点。基于上述区别技术特征，权利要求1实际解决的技术问题为：（1）如何对嘴唇区域粗分割；（2）如何准确地确定出嘴角关键点；（3）如何准确地确定出嘴唇外轮廓关键点；（4）如何准确地确定出嘴唇内轮廓关键点。
对于上述区别技术特征（1），对比文件1公开了（参见第17-18、20-21页）：将嘴唇区域图像由RGB转到Lab，在Lab空间提取图像b分量；对b分量进行直方图均衡化；选取合适的阈值对图像进行二值化，选取一种自适应算法来确定阈值；根据图3-8所示，对b分量直方图均衡化后，采用自适应阈值进行二值化；图3-4示出嘴唇区域原始图像、L分量图像、a分量图像、b分量图像。同时，在图像技术领域中，公知Lab色彩空间中的L表示亮度、a表示从洋红色到绿色的范围，b表示从黄色到蓝色的范围，并且绿色分量在唇色中的比重小于肤色中的比重，肤色中的红色分量的比重较大，将图像投影到a分量能够形成两种不同的聚类，只要选定合适的阈值就可以将唇色和肤色分离开，即利用Lab色彩空间的a分量图像可以有效分割出唇色区域和肤色区域，即在分割嘴唇区域时，通常选用Lab色彩空间的a分量图像，基于对比文件1公开的内容，本领域技术人员容易想到在对比文件1的处理过程中可以采用a分量代替b分量实现相应步骤，这是本领域的常规选择。另外，在图像技术领域中，公知形态学有两个基本运算，即腐蚀、膨胀，两者经结合又形成开运算（先腐蚀后膨胀）、闭运算（先膨胀后腐蚀），基于对比文件1公开了经过形态学处理，得到嘴唇区域的二值化图像（参见第20页），本领域技术人员容易想到对比文件1的形态学处理具体可以是闭运算，这是本领域的常规选择。该区别技术特征（1）是本领域的惯用技术手段。
对于上述区别技术特征（2），在图像技术领域中，公知左嘴角应位于嘴唇区域的最左角或左上角，右嘴角应位于嘴唇区域的最右角或右上角，且嘴角处的像素值通常相比嘴唇区域内部的像素值较小，基于对比文件1公开了单元中灰度值最小像素为关键点（参见第24页），本领域技术人员容易想到在确定左嘴角关键点时，将对比文件1的确定单元中四个像素的左上像素作为左嘴角关键点，在确定右嘴角关键点时，将对比文件1的确定单元中四个像素的右上像素作为右嘴角关键点，这是本领域的惯用技术手段。
对于上述区别技术特征（3），在图像技术领域中，公知人的上唇基本成M形，其左右两侧基本对称，不同唇形的区别在于：M形的正对人中的最低点位置、对应两唇峰的最高点位置以及两最高点与相应嘴角之间的线条坡度，同时人的下唇基本成下弧形，其左右两侧也基本对称，不同唇形的区别在于：下弧形的正对人中的最低点、最低点分别与左右嘴角之间的线条坡度，基于对比文件1公开了提取嘴唇外轮廓时，确定几个关键点所在的列，并对这几个列都进行扫描（参见第25页），本领域技术人员容易想到对比文件1所确定的几个列为基本等间距的人中、左右唇峰所确定的列，左嘴角、左唇峰的中间点所确定的列，右唇峰、右嘴角的中间点所确定的列，即取左、右嘴角关键点的横坐标中点作为嘴唇外轮廓关键点的横坐标，在该横坐标与左、右嘴角关键点之间分别选取至少两个等距离分布的横坐标，通过上述横坐标确定嘴唇外轮廓关键点所在列，属于本领域的惯用技术手段。
对于上述区别技术特征（4），在图像技术领域中，公知嘴唇内轮廓即两片嘴唇的分界，上嘴唇内轮廓以上属于上嘴唇区域、下嘴唇内轮廓以下属于下嘴唇区域，基于对比文件1公开了检测外轮廓关键点时，为了进一步减小误差，规定当连续三个像素点都为嘴唇像素点时，认为进入嘴唇区域，选最上像素点作为关键点（参见第25页），本领域技术人员容易想到对比文件1在检测嘴唇内轮廓关键点时，可采用相似的突变点约束条件，以提高检测准确度，这是本领域的惯用技术手段。
由此可见，在对比文件1的基础上结合本领域的惯用技术手段获得该权利要求请求保护的技术方案，对本领域技术人员而言是显而易见的，因此该权利要求请求保护的技术方案不具有突出的实质性特点，不具备专利法第22条第3款规定的创造性。
3. 关于复审请求人的意见陈述
对于复审请求人答复复审通知书时陈述的意见，合议组认为：
（1）对比文件1的篇名为“基于唇部视觉特征的语言识别技术研究”，其中第10-11页的公开内容涉及“嘴唇区域定位和粗分割”，第17-21页的公开内容涉及“基于多颜色空间的嘴唇分割”，第23-26页的公开内容涉及“唇部视觉特征提取”，即对比文件1的上述公开内容整体上涉及本申请的“嘴唇轮廓的定位方法”。
（2）权利要求1与对比文件1相比，区别技术特征在于：1）步骤102中还对Lab空间中的a分量进行直方图均衡，步骤103中还通过自适应算法确定的阈值对a分量进行二值化处理；而对比文件1相应的处理对象为Lab空间中的b分量；步骤105中将刚获得新二值图像进行闭运算处理，而对比文件1中进行形态学处理；2）本申请在检测嘴角关键点时，单元中位于上方且与查找的嘴角方向相同的像素点即为左、右嘴角关键点，单元中左上方的像素点即为左嘴角关键点，单元中右上方的像素点即为右嘴角关键点，而对比文件1的单元中灰度值最小像素为关键点；3）本申请在查找嘴唇外轮廓关键点时，以嘴角关键点为基准，查找嘴唇外轮廓关键点，以左、右嘴角关键点为基础选取嘴唇外轮廓关键点所在列；取左、右嘴角关键点的横坐标中点作为嘴唇外轮廓关键点的横坐标，在该横坐标与左、右嘴角关键点之间分别选取至少两个等距离分布的横坐标，通过上述横坐标确定嘴唇外轮廓关键点所在列；4）本申请在查找嘴唇内轮廓关键点时，还在找到突变点后，进一步判断该突变点是否满足约束条件，如满足则选取该突变点为嘴唇内轮廓关键点，否则继续该列扫描直至找到满足约束条件的突变点；所述约束条件为：自该突变点起连续三个像素点均为嘴唇像素点。但上述区别技术特征1）-4）属于本领域的惯用技术手段。复审请求人所述的其他技术特征均已被对比文件1公开，具体参见上述对权利要求1的评述。因此，在对比文件1的基础上，结合本领域的惯用技术手段，得到权利要求1的技术方案，并获得相应的有益效果，对本领域技术人员来说是显而易见的。
基于上述事实和理由，合议组依法作出如下审查决定。
三、决定
维持国家知识产权局于2018年11月23日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
