发明创造名称：物体识别方法和装置、数据处理装置和终端设备
外观设计名称：
决定号：193457
决定日：2019-10-28
委内编号：1F268082
优先权日：
申请（专利）号：201610440636.7
申请日：2016-06-17
复审请求人：北京市商汤科技开发有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：朱明雅
合议组组长：王丽颖
参审员：万琦
国际分类号：G06F17/30（2006.01）
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
答复复审通知书时提交了修改文本，基于目前所采用的对比文件，本申请全部权利要求相对于对比文件和公知常识的结合具备专利法第22条第3款规定的创造性，至于本申请是否符合授予专利权的条件、是否应授予专利权，则有待后续实质审查继续进行审查。
全文：
本复审请求涉及申请号为201610440636.7，名称为“物体识别方法和装置、数据处理装置和终端设备”的发明专利申请（下称本申请）。申请人为北京市商汤科技开发有限公司。本申请的申请日为2016年06月17日，公开日为2016年11月16日。
经实质审查，国家知识产权局原审查部门审查员于2018年08月23日发出驳回决定，驳回了本申请，其理由是：本申请全部权利要求相对于对比文件和公知常识的结合不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为申请日2016年06月17日提交的说明书附图、摘要及摘要附图，2016年06月24日提交的说明书第1-120段，2018年08月06日提交的权利要求书第1-35项。
申请人（下称复审请求人）对上述驳回决定不服,于2018年12月07日向国家知识产权局提出了复审请求，同时修改了权利要求书。复审请求人认为修改后的权利要求书具备专利法第22条第3款规定的创造性。
经形式审查合格，国家知识产权局于2018年12月12日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年04月26日向复审请求人发出复审通知书，指出：复审请求人在提出复审请求时提交的权利要求书中增加了权利要求的项数，不符合专利法实施细则第61条第1款的规定，合议组对本次修改文本不予接受。合议组在驳回决定所依据审查文本基础上进行审查，指出，本申请权利要求相对于对比文件1、对比文件2和公知常识的结合不具备专利法第22条第3款规定的创造性。
复审请求人于2019年06月11日提交了意见陈述书，再次修改了权利要求书，复审请求人认为修改后的权利要求具备专利法第22条第3款规定的创造性。修改后的独立权利要求内容如下：
“1. 一种物体识别方法，其特征在于，包括：
接收图像；
通过卷积神经网络的定位子网络，对图像中物体进行关键点定位，获得所述物体的多个关键点，并获取多个关键点中各关键点的位置信息，所述物体类别具体为服饰，所述位置信息包括位置坐标和可见性状态，所述可见性状态包括可见、遮挡或截断；
通过所述卷积神经网络的全局特征提取子网络，从图像中提取所述物体的全局特征，并通过所述卷积神经网络的局部特征提取子网络，分别从各关键点的位置处提取所述物体的局部特征；
结合所述物体的全局特征与从各关键点的位置处提取的局部特征，通过所述卷积神经网络的识别子网络进行物体识别，获得所述物体的识别结果，所述物体的识别结果包括：所述物体的分类和细节属性；其中，
对所述卷积神经网络的训练包括：
分别通过所述卷积神经网络对包括样本物体的样本图像、包括与所述样本物体的款式相同的同款物体的样本图像、以及包括与所述样本物体的款式不同的非同款物体的样本图像进行识别，并根据所述卷积神经网络对所述样本物体的识别结果、所述同款物体的识别结果与所述非同款物体的识别结果，得到所述样本物体与所述同款物体是否为同款物体的第一比较结果、以 及所述样本物体与所述非同款物体是否为同款物体的第二比较结果，并输出三重态信息，其中，所述三重态信息包含所述样本物体的识别结果、所述第一比较结果和所述第二比较结果；根据所述三重态信息对所述卷积神经网络进行训练。
11. 一种物体识别装置，其特征在于，所述物体识别装置包括卷积神经网络，包括：
定位子网络单元，用于接收图像；以及对图像中物体进行关键点定位，获得所述物体的多个关键点，并获取多个关键点中各关键点的位置信息，所述物体类别具体为服饰，所述位置信息包括位置坐标和可见性状态，所述可见性状态包括可见、遮挡或截断；
全局特征提取子网络单元，用于从图像中提取所述物体的全局特征；
局部特征提取子网络单元，用于分别从各关键点的位置处提取所述物体的局部特征；
识别子网络单元，用于结合所述物体的全局特征与从各关键点的位置处提取的局部特征进行物体识别，获得所述物体的识别结果，所述物体的识别结果包括：所述物体的分类和细节属性；其中，
对所述卷积神经网络的训练包括：
分别通过所述卷积神经网络对包括样本物体的样本图像、包括与所述样本物体的款式相同的同款物体的样本图像、以及包括与所述样本物体的款式不同的非同款物体的样本图像进行识别，并根据所述卷积神经网络对所述样本物体的识别结果、所述同款物体的识别结果与所述非同款物体的识别结 果，得到所述样本物体与所述同款物体是否为同款物体的第一比较结果、以及所述样本物体与所述非同款物体是否为同款物体的第二比较结果，并输出三重态信息，其中，所述三重态信息包含所述样本物体的识别结果、所述第一比较结果和所述第二比较结果；根据所述三重态信息对所述卷积神经网络进行训练。
20. 一种数据处理装置，其特征在于，包括：
权利要求11至19任意一项所述的物体识别装置；和
检索单元，用于根据物体的识别结果，检索与所述物体的款式相同的物体相关信息。
22. 一种终端设备，其特征在于，设置有权利要求20或21所述的数据处理装置。
23. 一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令包括：接收图像的指令；通过卷积神经网络的定位子网络，对图像中物体进行关键点定位，获得所述物体的多个关键点，并获取多个关键点中各关键点的位置信息的指令；所述物体类别具体为服饰；；所述位置信息包括位置坐标和可见性状态，所述可见性状态包括可见、遮挡或截断；通过所述卷积神经网络的全局特征提取子网络，从图像中提取所述物体的全局特征，并通过所述卷积神经网络的局部特征提取子网络，分别从各关键点的位置处提取所述物体的局部特征的指令；结合所述物体的全局特征与从各关键点的位置处提取的局部特征，通过所述卷积神经网络的识别子网络进行物体识别，获得所述物体的识别结果的指令，所述物体的识别结果包括：所述物体的分类和细节属性；其中，对所述卷积神经网络的训练包括：分别通过所 述卷积神经网络对包括样本物体的样本图像、包括与所述样本物体的款式相同的同款物体的样本图像、以及包括与所述样本物体的款式不同的非同款物体的样本图像进行识别，并根据所述卷积神经网络对所述样本物体的识别结果、所述同款物体的识别结果与所述非同款物体的识别结果，得到所述样本物体与所述同款物体是否为同款物体的第一比较结果、以及所述样本物体与所述非同款物体是否为同款物体的第二比较结果，并输出三重态信息，其中，所述三重态信息包含所述样本物体的识别结果、所述第一比较结果和所述第二比较结果；根据所述三重态信息对所述卷积神经网络进行训练。
24. 一种计算机设备，其特征在于，包括：
存储器，存储可执行指令；
一个或多个处理器，与存储器通信以执行可执行指令从而完成权利要求1至10任一所述物体识别方法对应的操作。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人于2019年06月11日提交的权利要求书，将其权利要求项目减少为24项，并将说明书中部分内容增加至权利要求中，经审查，该修改符合专利法实施细则第61条第1款以及专利法第33条的规定，故本复审决定所依据的审查文本为：申请日2016年06月17日提交的说明书附图、摘要及摘要附图，2016年06月24日提交的说明书第1-120段，2019年06月11日提交的权利要求书第1-24项。
关于本申请权利要求的创造性
专利法第22条第3款规定：创造性，是指同现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审决定所依据的对比文件与驳回决定、复审通知书相同，即：
对比文件1：CN105095827A，公开日为2015年11月25日；
对比文件2：CN 105117739A，公开日为2015年12月02日。
1）权利要求1的创造性
复审请求人修改后的权利要求1请求保护一种物体识别方法。
对比文件1公开了一种人脸表情识别装置和方法，并公开了以下技术特征（参见说明书第23-103段）：在步骤s1中，图像预处理单元110从摄像装置获取待识别人脸图像，并对该待识别人脸图像进行尺寸变换，将待识别人脸图像变换为例如64*64像素大小，然后对尺寸变换后的待识别人脸图像进行归一化处理，而生成预处理图像；在步骤s2中，姿态确定单元120确定该预处理图像中人脸的朝向等姿态信息；在步骤s3中，关键点定位单元130根据姿态信息，在预处理图像中确定关键点（相当于公开了权利要求1中的对图像中物体进行关键点定位，获得多个关键点）；如图4所示，对于“正向”的人脸图像，设定19个关键点，具体为，内外眉尖点、眉心点、内外眼角点、上下眼睑点、鼻尖点、鼻孔点、左右嘴角点；相关技术人员可根据情况预先设定任意的关键点，但上述关键点与人脸表情关系密切，因此优选；另外，在其他姿态下，所选择的关键点会与“正向”的情形有所不同，会因为人脸朝向的改变而部分遮挡，尺寸比例发生变化等；在步骤s4中，由关键点可靠性分析单元140分析上述19个关键点的可靠性；在步骤s5中，特征提取单元150中，对预处理图像提取全局特征、可靠关键点特征和可靠局部特征（相当于公开了权利要求1中的从图像中提取物体的全局特征，并分别从各关键点的位置处提取物体的局部特征）；其中，全局特征的特征向量包含了人脸图像上所有部分的信息，反映了人脸的整体属性，特征提取单元150对预处理图像提取的全局特征，例如可以是 Gabor、LBP、ULBP等特征；特征提取单元150所提取的可靠关键点特征例如可以是，对由关键点定位单元130得到的每个可靠关键点计算的SIFT描述特征，还可以是Gabor等其他特征；特征提取单元150所提取的可靠局部特征例如可以是，可靠关键点附近与表情变化相关的面部区块的特征；人脸某些部位随着表情的变化呈现不同的形态，因此特定的人脸部位区块对表情识别起着重要的作用，这些对表情敏感的部位包括眉毛、眼睛、嘴巴、眼角旁边区域、两眼中间区域、以及法令纹区域等；在步骤s6中，表情确定单元160根据由特征提取单元150 提取的全局特征、可靠关键点特征和可靠局部特征，确定待识别人脸图像的表情（相当于公开了权利要求1中的结合物体的全局特征与从各关键点的位置处提取的局部特征进行物体识别，获得物体的识别结果）。
权利要求1和与对比文件1所公开的内容相比，其区别技术特征是：（1）通过神经网络的定位子网络，以及通过所述神经网络的全局特征提取子网络，以及通过所述神经网络的局部特征提取子网络；（2）物体类别为服饰；（3）获取多个关键点中各关键点的位置信息，位置信息包括位置坐标和可见性状态，可见性状态包括可见、遮挡或截断；（4）所述物体的识别结果包括：所述物体的分类和细节属性；（5）对所述卷积神经网络的训练包括：分别通过所述卷积神经网络对包括样本物体的样本图像、包括与所述样本物体的款式相同的同款物体的样本图像、以及包括与所述样本物体的款式不同的非同款物体的样本图像进行识别，并根据所述卷积神经网络对所述样本物体的识别结果、所述同款物体的识别结果与所述非同款物体的识别结果，得到所述样本物体与所述同款物体是否为同款物体的第一比较结果、以 及所述样本物体与所述非同款物体是否为同款物体的第二比较结果，并输出三重态信息，其中，所述三重态信息包含所述样本物体的识别结果、所述第一比较结果和所述第二比较结果；根据所述三重态信息对所述卷积神经网络进行训练。
根据上述区别技术特征，可以确定本发明要解决的问题是：如何针对服饰进行更为准确的识别。
对于区别技术特征（1）和（2），对比文件2公开了一种基于卷积神经网络的服装分类方法，并公开了以下技术特征（参见说明书第6-45段）：获取服装图像，建立训练样本和测试样本；设计有效的网络结构去学习合适的特征来表达复杂的服装图像；构建卷积神经网络模型，该卷积神经网络模型包括5层卷积层，3层下采样层，3层全连接层；训练卷积神经网络模型；CNN模型的训练需要连续的迭代优化，它可以根据迭代分类结果去调整下一次迭代的参数；将图片输入到网络，经过前向传播和后向传播两个训练阶段，前向传播过程是把一个样本输入网络，计算相应的实际输出；后向传播过程是计算实际输出与理想输出的差，根据误差率，不断优化网络参数，进行模型的训练；将测试样本输入到已经训练完成的CNN模型中进行分类，图像经过网络逐层传播至输出层输出分类结果；CNN模型可以一层一层地抽取图像的特征，CNN模型输出的特征可以描述图像的全局特征。可见，对比文件2已经公开了在服装识别中采用卷积神经网络建模并进行训练提取相关的特征，并且公开了多层卷积神经网络模型，其在对比文件2中所起的作用与在本申请中相同，都是利用CNN提取特征以及对CNN模型进行训练。
对于区别技术特征（3），本领域技术人员在对比文件1公开的脸部识别的基础上，为了实现对姿势、拍摄角度不同等多种情况下的服饰进行准确地识别，容易想到根据服装的特点提取服饰的全局特征以及关键点位置的局部特征；在对比文件1已经公开了确定关键点以及分析关键点的可靠性的基础上，本领域技术人员为了便于分析关键点的可靠性，获取关键点的位置坐标以及是否被遮挡的可见状态信息、关键点位置的可见状态也是图像识别领域中常见的情形。
对于区别技术特征（4），在对比文件1已经公开了获得物体的识别结果特征的情况下，本领域技术人员都知道识别结果可以包括多种，其中也包括：物体的分类和细节属性。
区别技术特征（5）是具体限定了对卷积神经网络的训练过程。对比文件2公开的是一种通用的CNN模型训练过程，未公开同时向网络输入同款样本、以及非同款样本对网络进行训练的具体实现方案，从对比文件2并未能得到对这种通过样本、同款样本、以及非同款样本对网络进行训练的技术启示，目前亦未有证据证明该特征为本领域的公知常识，且这种方法使得训练得到的卷积神经网络对服饰识别具有更高的准确度，取得了一定的技术效果。因此，在对比文件1、2的基础上结合本领域的公知常识得到权利要求1所要保护的技术方案是非显而易见的，权利要求1请求保护的技术方案具有突出的实质性特点，符合专利法第22条第3款的规定。
权利要求2-10直接或间接引用权利要求1，在权利要求1具备创造性的情况下，因此权利要求2-10也具备专利法第22条第3款规定的创造性。
2）权利要求11的创造性
权利要求11是与权利要求1所要保护的方法一一对应的装置权利要求，基于上述相同的理由，权利要求11也具备专利法第22条第3款规定的创造性。
权利要求12-19直接或间接引用权利要求11，在权利要求11具备创造性的情况下，因此权利要求12-19也具备专利法第22条第3款规定的创造性。
3）权利要求20的创造性
权利要求20请求保护一种数据处理装置，包括权利要求11-19任意一项所述的物体识别装置，在其包括的权利要求11-19具备创造性的情况下，权利要求20也具备专利法第22条第3款规定的创造性。
权利要求21引用权利要求20，在权利要求20具备创造性的情况下，权利要求21也具备专利法第22条第3款规定的创造性。
4）权利要求22的创造性
权利要求22请求保护一种终端设备，其设置有权利要求20-21所述的数据处理装置，在权利要求20-21具备创造性的情况下，权利要求22也具备专利法第22条第3款规定的创造性。
5）权利要求23的创造性
权利要求23请求保护一种计算机存储介质，用于存储计算机可读取的指令。权利要求23所述的指令与权利要求1所要保护的方法一一对应，基于对权利要求1评述相同的理由，权利要求23也具备专利法第22条第3款规定的创造性。
综上所述，基于目前所采用的对比文件，本申请全部权利要求相对于对比文件和公知常识的结合具备专利法第22条第3款规定的创造性，至于本申请是否符合授予专利权的条件、是否应授予专利权，则有待后续实质审查继续进行审查。
三、决定
撤销国家知识产权局于2018年08月23日对本申请作出的驳回决定。由国家知识产权局原审查部门在本复审决定所依据的审查文本基础上对本发明专利申请继续进行审查。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
