发明创造名称:一种同款业务对象聚合、搜索的方法和系统
外观设计名称:
决定号:182189
决定日:2019-06-20
委内编号:1F254899
优先权日:
申请(专利)号:201310167405.X
申请日:2013-05-08
复审请求人:阿里巴巴集团控股有限公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:李宁
合议组组长:田志刚
参审员:郝晓丽
国际分类号:G06F17/30,G06K9/54,G06K9/62
外观设计分类号:
法律依据:专利法第22条第3款
决定要点
:如果一项权利要求所要求保护的技术方案与作为最接近的现有技术的对比文件相比存在区别技术特征,但是上述区别技术特征或者已被现有技术中的其它对比文件公开,或者属于本领域的公知常识,即现有技术中给出了将上述区别技术特征应用到作为最接近的现有技术的该对比文件以解决其存在的技术问题的启示,从而使得本领域技术人员在现有技术的基础上得到该权利要求的技术方案是显而易见的,那么该项权利要求所要保护的技术方案不具备创造性。
全文:
本复审请求涉及申请号为201310167405.X,名称为“一种同款业务对象聚合、搜索的方法和系统”的发明专利申请(下称本申请)。本申请的申请人为阿里巴巴集团控股有限公司,申请日为2013年05月08日,公开日为2014年11月12日。
经实质审查,国家知识产权局原审查部门于2018年05月03日发出驳回决定,驳回了本申请,其理由是:权利要求1-26不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为:申请日2013年05月08日提交的说明书摘要、说明书第1-413段、摘要附图、说明书附图图1-5;以及2018年01月23日提交的权利要求第1-26项。
驳回决定引用的对比文件如下:
对比文件1:CN101859320A;公开日为2010年10月13日;
对比文件2:“HOG特征提取中三线性插值算法”,黄东丽等,《电脑知识与技术:学术交流》,第8卷第31期,公开日为2012年12月25日;
对比文件3:CN102117337A,公开日为2011年07月06日;
对比文件4:CN101576932 A,公开日为2009年11月11日。
其中,对比文件1为最接近的现有技术。
驳回决定认为:
权利要求1请求保护的技术方案与对比文件1的区别在于:(1)依据所述数字签名将图像签名库中的图像划分为多个分组,之后利用距离相似度对图像进行聚类,即聚类时还包括依据所述数字签名将图像签名库中的图像划分为多个分组;(2)采用图像颜色特征、梯度特征、局部特征一种或几种组合上述特征作为图像的数字签名。其中,区别技术特征(1)已被对比文件4公开;区别技术特征(2)属于本领域公知常识。因此,在对比文件1的基础上结合对比文件4、本领域公知常识得到权利要求1请求保护的技术方案,对本领域技术人员是显而易见的,权利要求1不具有突出的实质性特点和显著的进步,因而不具备创造性。从属权利要求2的附加技术特征部分被对比文件1公开,部分属于本领域公知常识;从属权利要求3、7-8的附加技术特征属于本领域公知常识;从属权利要求4的附加技术特征部分已被对比文件2公开、部分属于本领域公知常识;从属权利要求5、6的附加技术特征基于对比文件1公开内容容易得到;从属权利要求9的附加技术特征部分已被对比文件3公开、部分属于本领域公知常识;因而权利要求2-9也不具备创造性。
权利要求10请求保护的技术方案与对比文件1的区别在于:(1)权利要求10中包含依据所述数字签名将图像签名库中的图像划分为多个分组;基于所述多个分组计算图像的相似度;(2)采用图像颜色特征、梯度特征、局部特征一种或几种组合上述特征作为图像的数字签名。其中,区别技术特征(1)已被对比文件4公开;区别技术特征(2)属于本领域公知常识。因此,在对比文件1的基础上结合对比文件4、本领域公知常识得到权利要求10请求保护的技术方案,对本领域技术人员是显而易见的,权利要求10不具有突出的实质性特点和显著的进步,因而不具备创造性。从属权利要求11的附加技术特征部分被对比文件1公开,部分属于本领域公知常识;从属权利要求12-13的附加技术特征属于本领域公知常识;因而权利要求11-13也不具备创造性。权利要求14-22是与方法权利要求1-9一一对应的产品权利要求,因此,权利要求14-22也不具备创造性。权利要求23-26是与方法权利要求10-13一一对应的产品权利要求,因此,权利要求23-26也不具备创造性。
驳回决定所针对的权利要求书如下:
“1. 一种同款业务对象聚合的方法,其特征在于,包括:
获取业务对象的图像;
将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
采用所述图像及其对应的数字签名建立图像签名库;
依据所述数字签名将图像签名库中的图像划分为多个分组;
基于所述多个分组计算所述图像的相似度;
按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;
将属于同一图像集合的图像对应的业务对象合并为同款业务对象。
2. 根据权利要求1所述的方法,其特征在于,所述将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名的步骤包括:
分别提取所述图像的视觉特征;所述视觉特征包括颜色特征,和/或,梯度特征,和/或,局部特征;
将所述视觉特征进行归一化,组合为对应图像的数字签名。
3. 根据权利要求2所述的方法,其特征在于,
所述颜色特征包括针对每张图像的一个或多个主颜色,以及,所述主颜色在当前图像中对应的像素点个数,当所述视觉特征包括颜色特征时,所述分别提取图像的视觉特征的步骤包括:
获得在预设颜色空间中量化的颜色维度;
遍历所述图像中各像素点的颜色值,查找与所述各像素点的颜色值归属的颜色维度;其中,所述各像素点的颜色值归属的颜色维度为与各像素点的颜色值距离最近的颜色维度;
统计各颜色维度在所述图像中对应的像素点个数,选择一个或多个像素点个数最多的颜色维度作为当前图像的主颜色;
获得所述主颜色在当前图像中对应的像素点个数;
和/或,
当所述视觉特征包括梯度特征时,所述分别提取图像的视觉特征的步骤 包括:
将所述图像转化为灰度图像,并对所述灰度图像进行平滑;
依据所述平滑后的灰度图像计算所述图像的梯度方向直方图;
采用所述梯度方向直方图及其对应的像素点个数作为当前图像的梯度特征;
和/或,
当所述视觉特征包括局部特征时,所述分别提取图像的视觉特征的步骤包括:
提取所述图像中具有旋转不变性和尺度不变性的特征点;
计算所述特征点的对比度变量,选取对比度变量大于预设第一门限值的特征点拼接成所述图像的局部特征。
4. 根据权利要求3所述的方法,其特征在于,所述依据平滑后的灰度图像计算所述图像的梯度方向直方图的子步骤进一步包括:
针对平滑后的灰度图像,计算每一像素点的梯度方向和梯度幅值;
对当前图像做梯度方向统计,生成当前图像的以梯度方向为横轴的直方图;
将所述当前图像的梯度方向平均分成R个方向角度,生成R个方向角度分别对应的R个直方图组距;其中,所述R为正整数;
遍历图像中的所有像素点,分别根据每个像素点的梯度方向找出最接近的两个方向角度对应的直方图组距,并根据接近程度从高到低分配权重系数;
将所述像素点的梯度幅值乘以权重系数分别累加至所述最接近的两个方向角度对应的直方图组距中;
进行归一化,生成当前图像的梯度方向直方图。
5. 根据权利要求3或4所述的方法,其特征在于,所述依据数字签名将图像签名库中的图像划分为多个分组的步骤包括:
提取所述图像的数字签名中的颜色特征;
从所述颜色特征中提取分组主颜色;其中,所述分组主颜色包括最多像 素点个数对应的主颜色;和/或,通过计算所述图像中最多像素点个数对应的主颜色的像素点数量占所述图像所有像素点数量的比例,在所述比例大于第二预设门限值时,所选取的对应像素点个数次多的主颜色;
按照所述分组主颜色将所述图像划分为多个分组,同一分组中图像的分组主颜色相同。
6. 根据权利要求5所述的方法,其特征在于,所述基于多个分组计算所述图像的相似度的步骤包括:
确定每张图像对应的主分组及相邻分组,所述主分组为当前图像所在的分组,所述相邻分组为与所述主分组相似度最高的分组;所述相邻分组为一个或多个;
针对每张图像,计算其颜色特征与其对应的主分组及相邻分组中其它图像的颜色特征的相似度;
在所述主分组及相邻分组中去除所述颜色特征的相似度小于第三预设门限值的图像;
针对当前图像,计算其梯度特征与其对应的主分组及相邻分组中剩余图像的梯度特征的相似度;
在所述主分组及相邻分组中进一步去除所述梯度特征的相似度小于第四预设门限值的图像;
针对当前图像,计算其局部特征与其对应的主分组及相邻分组中最后剩余的图像的局部特征的相似度;
将所述当前图像与其对应的主分组及相邻分组中最后剩余的图像的局部特征的相似度作为所述图像的相似度。
7. 根据权利要求6所述的方法,其特征在于,所述按照所述相似度对所述图像进行聚类,形成一个或多个图像集合的步骤包括:
若所述图像的相似度高于第五预设门限值,则将所述图像放入同一图像集合。
8. 根据权利要求1所述的方法,其特征在于,所述的方法还包括:
将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。
9. 根据权利要求8所述的方法,其特征在于,所述将同时出现在多个图像集合中的同一业务对象的图像进行去重处理的步骤包括:
建立与每个图像集合对应的图像树,所述图像树的根节点设置为当前业务对象的图像,所述图像树的叶子节点设置为所述图像集合的所有图像;
遍历所述图像树的所有叶子节点,将所有叶子节点对应的图像树合并到当前图像树中,消除被合并的图像树;
遍历所有图像树,去除所有重复的业务对象的图像。
10. 一种搜索方法,其特征在于,包括:
接收用户的搜索请求;
依据所述请求,获取搜索结果;及
将所述搜索结果中具有相同的分类标识的业务对象合并为同款业务对象;
其中,所述分类标识的生成方法包括:
获取业务对象的图像;
将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
采用所述图像及其对应的数字签名建立图像签名库;依据所述数字签名将图像签名库中的图像划分为多个分组;
基于所述多个分组计算图像的相似度;
按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;
将属于同一图像集合的图像对应的业务对象分配同一分类标识。
11. 根据权利要求10所述的方法,其特征在于,所述将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名的步骤包括:
分别提取所述图像的视觉特征;所述视觉特征包括颜色特征,和/或,梯度特征,和/或,局部特征;
将所述视觉特征进行归一化,组合为对应图像的数字签名。
12. 根据权利要求11所述的方法,其特征在于,
所述颜色特征包括针对每张图像的一个或多个主颜色,以及,所述主颜色在当前图像中对应的像素点个数,当所述视觉特征包括颜色特征时,所述分别提取图像的视觉特征的步骤包括:
获得在预设颜色空间中量化的颜色维度;
遍历所述图像中各像素点的颜色值,查找与所述各像素点的颜色值归属的颜色维度;其中,所述各像素点的颜色值归属的颜色维度为与各像素点的颜色值距离最近的颜色维度;
统计各颜色维度在所述图像中对应的像素点个数,选择一个或多个像素点个数最多的颜色维度作为当前图像的主颜色;
获得所述主颜色在当前图像中对应的像素点个数;
和/或,
当所述视觉特征包括梯度特征时,所述分别提取图像的视觉特征的步骤包括:
将所述图像转化为灰度图像,并对所述灰度图像进行平滑;
依据所述平滑后的灰度图像计算所述图像的梯度方向直方图;
采用所述梯度方向直方图及其对应的像素点个数作为当前图像的梯度特征;
和/或,
当所述视觉特征包括局部特征时,所述分别提取图像的视觉特征的步骤包括:
提取所述图像中具有旋转不变性和尺度不变性的特征点;
计算所述特征点的对比度变量,选取对比度变量大于预设第一门限值的特征点拼接成所述图像的局部特征。
13. 根据权利要求10所述的方法,其特征在于,所述分类标识的生成方法还包括:
将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。
14. 一种同款业务对象聚合的系统,其特征在于,包括:
图像获取模块,用于获取业务对象的图像;
数字签名生成模块,用于将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
图像签名库建立模块,用于采用所述图像及其对应的数字签名建立图像签名库;
分组划分模块,用于依据所述数字签名将图像签名库中的图像划分为多个分组;
相似度计算模块,用于基于所述多个分组计算所述图像的相似度;
图像集合形成模块,用于按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;
同款业务对象合并模块,用于将属于同一图像集合的图像对应的业务对象合并为同款业务对象。
15. 根据权利要求14所述的系统,其特征在于,所述数字签名生成模块包括:
视觉特征提取子模块,用于分别提取所述图像的视觉特征;所述视觉特征包括颜色特征,和/或,梯度特征,和/或,局部特征;
数字签名组合子模块,用于将所述视觉特征进行归一化,组合为对应图像的数字签名。
16. 根据权利要求15所述的系统,其特征在于,
所述颜色特征包括针对每张图像的一个或多个主颜色,以及,所述主颜色在当前图像中对应的像素点个数,当所述视觉特征包括颜色特征时,所述视觉特征提取子模块包括:
颜色维度获得子模块,用于获得在预设颜色空间中量化的颜色维度;
像素点归属查找子模块,用于遍历所述图像中各像素点的颜色值,查找与所述各像素点的颜色值归属的颜色维度;其中,所述各像素点的颜色值归属的颜色维度为与各像素点的颜色值距离最近的颜色维度;
主颜色生成子模块,用于统计各颜色维度在所述图像中对应的像素点个 数,选择一个或多个像素点个数最多的颜色维度作为当前图像的主颜色;
像素点个数获取子模块,用于获得所述主颜色在当前图像中对应的像素点个数;
和/或,
当所述视觉特征包括梯度特征时,所述视觉特征提取子模块包括:
灰度图像转换子模块,用于将所述图像转化为灰度图像,并对所述灰度图像进行平滑;
梯度方向直方图计算子模块,用于依据所述平滑后的灰度图像计算所述图像的梯度方向直方图;
梯度特征生成子模块,用于采用所述梯度方向直方图及其对应的像素点个数作为当前图像的梯度特征;
和/或,
当所述视觉特征包括局部特征时,所述视觉特征提取子模块包括:
特征点提取子模块,用于提取所述图像中具有旋转不变性和尺度不变性的特征点;
局部特征生成子模块,用于计算所述特征点的对比度变量,选取对比度变量大于预设第一门限值的特征点拼接成所述图像的局部特征。
17. 根据权利要求16所述的系统,其特征在于,所述梯度方向直方图计算子模块进一步包括:
梯度方向和梯度幅值计算子模块,用于针对平滑后的灰度图像,计算每一像素点的梯度方向和梯度幅值;
第一直方图生成子模块,用于对当前图像做梯度方向统计,生成当前图像的以梯度方向为横轴的直方图;
第二直方图生成子模块,用于将所述当前图像的梯度方向平均分成R个方向角度,生成R个方向角度分别对应的R个直方图组距;其中,所述R为正整数;
权重分配子模块,用于遍历图像中的所有像素点,分别根据每个像素点的梯度方向找出最接近的两个方向角度对应的直方图组距,并根据接近程度 从高到低分配权重系数;
权重累加子模块,用于将所述像素点的梯度幅值乘以权重系数分别累加至所述最接近的两个方向角度对应的直方图组距中;
梯度方向直方图生成子模块,用于进行归一化,生成当前图像的梯度方向直方图。
18. 根据权利要求16或17所述的系统,其特征在于,所述分组划分模块包括:
颜色特征提取子模块,用于提取所述图像的数字签名中的颜色特征;
主颜色选取子模块,用于从所述颜色特征中提取分组主颜色;其中,所述分组主颜色包括最多像素点个数对应的主颜色;和/或,通过计算所述图像中最多像素点个数对应的主颜色的像素点数量占所述图像所有像素点数量的比例,在所述比例大于第二预设门限值时,所选取的对应像素点个数次多的主颜色;
图像分组子模块,用于按照所述分组主颜色将所述图像划分为多个分组,同一分组中图像的分组主颜色相同。
19. 根据权利要求18所述的系统,其特征在于,所述相似度计算模块包括:
分组确定子模块,用于确定每张图像对应的主分组及相邻分组,所述主分组为当前图像所在的分组,所述相邻分组为与所述主分组相似度最高的分组;所述相邻分组为一个或多个;
第一相似度计算子模块,用于针对每张图像,计算其颜色特征与其对应的主分组及相邻分组中其它图像的颜色特征的相似度;
第一图像去除子模块,用于在所述主分组及相邻分组中去除所述颜色特征的相似度小于第三预设门限值的图像;
第二相似度计算子模块,用于针对当前图像,计算其梯度特征与其对应的主分组及相邻分组中剩余图像的梯度特征的相似度;
第二图像去除子模块,用于在所述主分组及相邻分组中进一步去除所述梯度特征的相似度小于第四预设门限值的图像;
第三相似度计算子模块,用于针对当前图像,计算其局部特征与其对应的主分组及相邻分组中最后剩余的图像的局部特征的相似度;
相似度确定子模块,用于将所述当前图像与其对应的主分组及相邻分组中最后剩余的图像的局部特征的相似度作为所述图像的相似度。
20. 根据权利要求19所述的系统,其特征在于,所述图像集合形成模块包括:
图像放入子模块,用于当所述图像的相似度高于第五预设门限值时,将所述图像放入同一图像集合。
21. 根据权利要求14所述的系统,其特征在于,所述的系统还包括:
去重模块,用于将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。
22. 根据权利要求21所述的系统,其特征在于,所述去重模块包括:
图像树建立子模块,用于建立与每个图像集合对应的图像树,所述图像树的根节点设置为当前业务对象的图像,所述图像树的叶子节点设置为所述图像集合的所有图像;
图像树合并子模块,用于遍历所述图像树的所有叶子节点,将所有叶子节点对应的图像树合并到当前图像树中,消除被合并的图像树;
图像树遍历子模块,用于遍历所有图像树,去除所有重复的业务对象的图像。
23. 一种搜索系统,其特征在于,包括:
请求接收模块,用于接收用户的搜索请求;
搜索结果获取模块,用于依据所述请求,获取搜索结果;及
搜索结果合并模块,用于将所述搜索结果中具有相同的分类标识的业务对象合并为同款业务对象;
其中,所述分类标识通过如下子模块生成:
图像获取子模块,用于获取业务对象的图像;
数字签名生成子模块,用于将所述图像的颜色特征,和/或,梯度特征, 和/或,局部特征组合成所述图像唯一的数字签名;
图像签名库建立子模块,用于采用所述图像及其对应的数字签名建立图像签名库;
分组划分子模块,用于依据所述数字签名将图像签名库中的图像划分为多个分组;
相似度计算子模块,用于基于所述多个分组计算所述图像的相似度;
图像集合形成子模块,用于按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;
同款业务对象合并子模块,用于将属于同一图像集合的图像对应的业务对象合并为同款业务对象;
分类标识分配子模块,用于将属于同一图像集合的图像对应的业务对象分配同一分类标识。
24. 根据权利要求23所述的系统,其特征在于,所述数字签名生成子模块包括:
视觉特征提取子模块,用于分别提取所述图像的视觉特征;所述视觉特征包括颜色特征,和/或,梯度特征,和/或,局部特征;
数字签名组合子模块,用于将所述视觉特征进行归一化,组合为对应图像的数字签名。
25. 根据权利要求24所述的系统,其特征在于,所述颜色特征包括针对每张图像的一个或多个主颜色,以及,所述主颜色在当前图像中对应的像素点个数,当所述视觉特征包括颜色特征时,所述视觉特征提取子模块包括:
颜色维度获得子模块,用于获得在预设颜色空间中量化的颜色维度;
像素点归属查找子模块,用于遍历所述图像中各像素点的颜色值,查找与所述各像素点的颜色值归属的颜色维度;其中,所述各像素点的颜色值归属的颜色维度为与各像素点的颜色值距离最近的颜色维度;
主颜色生成子模块,用于统计各颜色维度在所述图像中对应的像素点个数,选择一个或多个像素点个数最多的颜色维度作为当前图像的主颜色;
像素点个数获取子模块,用于获得所述主颜色在当前图像中对应的像素 点个数;
和/或,
当所述视觉特征包括梯度特征时,所述视觉特征提取子模块包括:
灰度图像转换子模块,用于将所述图像转化为灰度图像,并对所述灰度图像进行平滑;
梯度方向直方图计算子模块,用于依据所述平滑后的灰度图像计算所述图像的梯度方向直方图;
梯度特征生成子模块,用于采用所述梯度方向直方图及其对应的像素点个数作为当前图像的梯度特征;
和/或,
当所述视觉特征包括局部特征时,所述视觉特征提取子模块包括:
特征点提取子模块,用于提取所述图像中具有旋转不变性和尺度不变性的特征点;
局部特征生成子模块,用于计算所述特征点的对比度变量,选取对比度变量大于预设第一门限值的特征点拼接成所述图像的局部特征。
26. 根据权利要求23所述的系统,其特征在于,所述搜索结果合并模块还包括:
去重子模块,用于将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。”
申请人(下称复审请求人)对上述驳回决定不服,于2018年06月28日向国家知识产权局提出了复审请求,但未提交修改的申请文件。复审请求人认为:1、权利要求1相对于对比文件1至少存在如下区别技术特征:1)、将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;2)、依据所述数字签名将图像签名库中的图像划分为多个分组;基于所述多个分组计算所述图像的相似度;3)、将属于同一图像集合的图像对应的业务对象合并为同款业务对象。对比文件1与权利要求1解决技术问题不同,对比文件1公开方案解决的技术问题是如何根据图像的多种签名进行图像存储,并在此基础上实现高效的图像检索;权利要求1请求保护的技术方案解决的技术问题为:如何将业务对象图像的颜色、梯度、局部等视觉特征组合成图像唯一的数字签名,并基于该数字签名实现同款业务对象的快速准确的聚合。本申请与对比文件1技术方案不同,具体的本申请与对比文件1的特征签名不同,本申请公开方案可以将业务对象的图像的多种视觉特征合并在一起,生成一个数字签名,一张图像对应唯一的一个数字签名;对比文件1公开方案是对提取的图像的每一种特征进行处理,分别得到多个特征签名。本申请与对比文件1的特征签名的聚类方式不同,本申请公开的方案是通过聚类将具有相同或相近内容的图像放入同一个图像集合,对比文件1公开的方案聚类的对象是特征签名,而不是对图像进行聚类。本申请与对比文件1达到的技术效果不同,对比文件1通过对多种特征的浮点矢量降维和特征映射与编码,最终生成多种特征的签名,实现了对图像特征的高效存储;本申请生成具有代表性的作为该图像的鉴别标识,识别正确率高;同时,根据签名的匹配程度,将内容相同或相似的图像聚合在一起,实现将同款业务对象聚合在一起,去除重复的业务对象的图像,减少数据冗余。
2、对比文件4并未公开上述区别技术特征。对比文件4公开的方案是依据主颜色对图片进行分组的,并未涉及图片的梯度特征和局部特征等技术特征,也未公开生成图片的数字签名并依据数字签名对图像进行分组等技术特征。本申请对图像进行分组与对比文件4对图片进行分组的方式不同;对比文件4根据主颜色的分组无法表征分组中的每张图片的内容;对比文件4并未对本申请合并同款业务对象的技术特征具备技术启示。上述区别技术特征作为本申请的核心发明点,与对比文件1和对比文件4有着明显的区别,并非是显而易见的。上述区别技术特征并不是解决上述本申请实际要解决的技术问题的惯用技术手段,本申请权利要求1具备突出的实质性特点。
经形式审查合格,国家知识产权局于2018年07月04日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为:
(1)对比文件1公开了(参见说明书第5-23段):获取查询类别的各类图像,如风景、汽车等,提取图像多种特征,对多种特征进行特征映射与编码,多种特征被编码为长度为k的0-1比特串,即为图像的特征签名。可知其同样是由生成的多种特征组合形成的特征签名,另外对于查询的不同图像,特征提取得到特征向量具备唯一性,编码后的特征签名同样也具有唯一性,得到的特征签名为该图像的数字表征,也正是由于唯一性才能基于特征签名进行图像聚类和查询(不一定唯一)。对比文件1进一步公开了:在得到图像的多特征签名后,对每一类特征签名进行聚类,借助Ap聚类方法,将所有特征的特征签名聚成Ci个类别;可知对比文件1同样是依据提取到的图像特征签名,对多个图像进行聚类,而AP聚类算法是通过寻找每类的类中心,并依据待聚类的各特征与聚类中心的相似度距离不断计算迭代,将不同的特征划分为不同的类别。对于复审请求人具体认为的:对比文件1是将特征签名进行聚类,并非按照图像分类类别进行图像分类,在此,应该明确的是特征签名是图像的数字特征,因为数字签名是图像的数字特征描述,利用数字签名进行聚类,其本质是对数字签名所代表的图像对象进行的聚类,最终目的也是对数字签名所代表的图像进行的类别划分,复审请求人对于特征聚类的理解存在偏颇。
(2)尽管对比文件1最终解决的技术问题是如何提高图像的高效查询,然而在形成待查询图像库过程中,同样要对相关业务图像提取其数字特征,并基于图像的数字特征,聚类形成一个或多个待查询类别的图像集合,其同时解决了实现同款业务对象、即同一种类图像对象的准确聚合的技术问题(聚合是为了快速查询);通过本申请背景技术内容也可以看到,本申请在进行图像聚类后,同样是为了方便基于图像特征的图像检索,是将图像聚类最终应用于图像检索(本申请先聚类图片,然后搜索,基于聚类合并业务对象,为了快速聚合)。另外,复审请求人也在前述意见中承认对比文件1是公开了按照不同的特征签名,将每一种特签名聚类,至于后续建立索引对特征签名进行高效的存储,其属于对比文件对于数据存储的限定,其与权利要求1技术方案如何对特征进行聚类并无较大关联。
(3)对比文件1已经公开了提取聚类图像的多种特征,其中可采用灰度图像特征,也可以包含边缘直方图特征等。对比文件1仅未具体公开权利要求1中采用的颜色特征、梯度特征和/或局部特征一种或多种。然而上述特征均为本领域常用的图像聚类或分类特征,本领域技术人员可选择上述一种或多种特征进行图像的聚类。
(4)对比文件4公开了可以在进行图像聚类时,可以先对图像进行分组,之后依据提取可表征图像内容的图像特征(也即数字特征)进行聚类的技术内容,其给出的是在图像聚类前,通过对图像进行分组以提高聚类的速度和效率的技术启示。对于采用的特征不同,根据权利要求1的记载“将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名”,可知对比文件4中“主颜色特征”公开了权利要求1中“颜色特征”数字签名的下位概念,其公开了其中的一种数字签名特征。至于权利要求1采用的其他图像特征及特征组合,其不能为权利要求技术方案带来创造性的理由已在前述内容进行阐述。另外,对于复审请求人认为的“本申请是首先基于颜色特征进行初筛,然后继续使用梯度特征和局部特征完成整个分组过程”,对此,根据驳回针对的权利要求1记载内容“依据所述数字签名将图像签名库中的图像划分为多个分组”,其并未记载也得不出上述分组过程以及分组手段。
因此,原审查部门维持驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年01月21日向复审请求人发出复审通知书,指出:权利要求1-5、8-18、21-26不具备专利法第22条第3款规定的创造性。权利要求1请求保护的技术方案与对比文件1的区别在于:(1)采用图像颜色特征,和/或,梯度特征,和/或,局部特征组合成数字签名,数字签名是图像唯一的数字签名。(2)依据所述数字签名将图像签名库中的图像划分为多个分组,基于所述多个分组计算所述图像的相似度;按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;(3)将属于同一图像集合的图像对应的业务对象合并为同款业务对象。其中,区别技术特征(1)、区别技术特征(3)属于本领域公知常识;区别技术特征(2)的部分特征已被对比文件4公开,部分特征基于对比文件4公开的内容容易得到。因此,在对比文件1基础上结合对比文件4、本领域公知常识得到权利要求1请求保护的技术方案,对本领域技术人员是显而易见的,权利要求1不具有突出的实质性特点和显著的进步,因而不具备创造性。从属权利要求2的附加技术特征部分被对比文件1公开,部分属于本领域公知常识;从属权利要求3的附加技术特征属于本领域公知常识;从属权利要求4的附加技术特征部分已被对比文件2公开、部分属于本领域公知常识;从属权利要求5的附加技术特征部分已被对比文件4公开,部分属于本领域公知常识;从属权利要求8的附加技术特征属于本领域公知常识;从属权利要求9的附加技术特征基于对比文件4公开的内容容易得到;因而权利要求2-5、8、9也不具备创造性。
权利要求10请求保护的技术方案与对比文件1的区别在于:(1)采用图像颜色特征,和/或,梯度特征,和/或,局部特征组合成数字签名,数字签名是图像唯一的数字签名。(2)依据所述数字签名将图像签名库中的图像划分为多个分组,基于所述多个分组计算所述图像的相似度;按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;(3)将属于同一图像集合的图像对应的业务对象分配同一分类标识,将搜索结果中具有相同分类标识的业务对象合并为同款业务对象。其中,区别技术特征(1)、区别技术特征(3)属于本领域公知常识;对于区别技术特征(2),部分特征已被对比文件4公开,部分特征基于对比文件4公开的内容容易得到。因此,在对比文件1的基础上结合对比文件4、本领域公知常识得到权利要求10请求保护的技术方案,对本领域技术人员是显而易见的,权利要求10不具有突出的实质性特点和显著的进步,因而不具备创造性。从属权利要求11的附加技术特征部分已被对比文件1公开、部分属于本领域公知常识,从属权利要求12-13的附加技术特征属于本领域公知常识,因而权利要求11-13也不具备创造性。
权利要求14-18,21-22是与方法权利要求1-5,8-9完全对应一致的产品权利要求,基于与评述权利要求1-5,8-9的同样理由和证据,权利要求14-18,21-22也不具备创造性。权利要求23-26是与方法权利要求10-13完全对应一致的产品权利要求,基于与评述权利要求10-13的同样理由和证据,权利要求23-26也不具备创造性。
复审请求人于2019年03月05日提交了意见陈述书及经修改的权利要求书。其中,将原权利要求8的相关技术特征添加到原权利要求1中,并在权利要求1中增加特征“所述图像集合里的图像在内容实质上一样”,相应的将原权利要求13、21、26的相关技术特征分别添加到原权利要求10、14、23中,并增加特征“所述图像集合里的图像在内容实质上一样”;同时删除了原权利要求8、13、21、26记载的相关技术特征,并对权利要求的编号及引用关系进行适应性修改,形成新的权利要求1-22。复审请求人认为:
(1)与对比文件1相比,本申请修改后的权利要求1请求保护的方案至少具有以下区别技术特征:将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;采用所述图像及其对应的数字签名建立图像签名库;依据所述数字签名将图像签名库中的图像划分为多个分组;基于所述多个分组计算所述图像的相似度; 按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;所述图像集合里的图像在内容实质上一样;将同时出现在多个图像集合中的同一业务对象的图像进行去重处理;将属于同一图像集合的图像对应的业务对象合并为同款业务对象。对比文件1与本申请解决技术问题不同。本申请实际需要解决的技术问题是:在信息搜索引擎中,如何在互联网发布的海量商品信息中,将内容相同或相似的产品聚合为同一款业务对象的类型,从而提高搜索效率。对比文件1解决的技术问题是:在进行图像检索时,图像特征的存储开销大和图像特征匹配时间长。
(2)对比文件1与本申请技术方案不同。对比文件1没有公开“生成业务对象的图像的唯一数字签名”的过程。对比文件1没有公开“图像聚类”的过程,也没有公开同一图像集合里的图像在内容实质上一样,对比文件4公开方案的核心在于,提高查找给定图片的近重复图片的效率,根据对比文件4说明书的记载,在将多张待分组图片划分为多个分组后,同一分组中的图片的主颜色相同,即,在将多张图片按照对比文件4中公开的方案进行分组后,仅仅能够获知该分组中的每张图片的主颜色是相同的;但是,仅仅依靠相同的主颜色,根本无法明确得知该图片是何种内容的图片;本申请权利要求1的方案由于是依据数字签名对图像进行分组,而根据每张图像的数字签名又是能够实现对图像内容的描述,因此,按照本申请权利要求1中公开的方案,在对图像进行分组后,能够根据每一分组确定该分组中的图像的内容。本申请修改后的权利要求1中,对图像进行聚类后,对同时出现在多个图像集合中的同一业务对象的图像进行去重处理,而对比文件1没有公开“去重处理”的过程。对比文件1没有公开“业务对象合并”的过程,在对此文件1中,并不涉及如何解决的图像搜索时,内容相同或相似的图像多次展示的诉求,也没有公开将内容相同或相似的图像合并为同款业务对像,以便只向用户展示一次的同款业务对象的方案;在对比文件1公开内容的基础上,并不容易想到“将属于同一图像集合的图像对应的业务对象合并为同款业务对象”。
(3)对比文件1与本申请技术效果不同。对比文件1的方案可以实现以多特征签名形式表示的多种图像特征,只需要很小的存储开销;基于多特征签名的方法,具有更高的查询准确率和特征可扩展性。修改后的权利要求1通过提取图像中的一些显著的视觉特征,形成一定复杂度的信息组合,完成对图像内容的抽象描述,生成具有代表性的作为该图像的鉴别标识;根据所提取的视觉特征,制定相对应的验证规则来判别不同签名间的重复度,识别正确率高,根据签名的匹配程度,将内容相同或相似的图像聚合在一起,并进一步将同款业务对象聚合在一起,自动聚合,可行性高,对图像进行聚类后,对同时出现在多个图像集合中的同一业务对象的图像进行去重处理,由于,在聚合结果中,不可避免会出现同一商品的图像出现在多个图像集合中,为了减少数据冗余,需要对所有图像集合进行去除重复商品图像的处理,进一步提高了搜索过程中图像展示的效率。
修改后的各项独立权利要求如下:
“1. 一种同款业务对象聚合的方法,其特征在于,包括:
获取业务对象的图像;
将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
采用所述图像及其对应的数字签名建立图像签名库;
依据所述数字签名将图像签名库中的图像划分为多个分组;
基于所述多个分组计算所述图像的相似度;
按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;所述图像集合里的图像在内容实质上一样;
将同时出现在多个图像集合中的同一业务对象的图像进行去重处理;
将属于同一图像集合的图像对应的业务对象合并为同款业务对象。
9. 一种搜索方法,其特征在于,包括:
接收用户的搜索请求;
依据所述请求,获取搜索结果;及
将所述搜索结果中具有相同的分类标识的业务对象合并为同款业务对象;
其中,所述分类标识的生成方法包括:
获取业务对象的图像;
将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
采用所述图像及其对应的数字签名建立图像签名库;依据所述数字签名将图像签名库中的图像划分为多个分组;
基于所述多个分组计算图像的相似度;
按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;所述图像集合里的图像在内容实质上一样;
将同时出现在多个图像集合中的同一业务对象的图像进行去重处理;
将属于同一图像集合的图像对应的业务对象分配同一分类标识。
12. 一种同款业务对象聚合的系统,其特征在于,包括:
图像获取模块,用于获取业务对象的图像;
数字签名生成模块,用于将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
图像签名库建立模块,用于采用所述图像及其对应的数字签名建立图像签名库;
分组划分模块,用于依据所述数字签名将图像签名库中的图像划分为多个分组;
相似度计算模块,用于基于所述多个分组计算所述图像的相似度;
图像集合形成模块,用于按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;所述图像集合里的图像在内容实质上一样;
去重模块,用于将同时出现在多个图像集合中的同一业务对象的图像进行去重处理;
同款业务对象合并模块,用于将属于同一图像集合的图像对应的业务对象合并为同款业务对象。
20. 一种搜索系统,其特征在于,包括:
请求接收模块,用于接收用户的搜索请求;
搜索结果获取模块,用于依据所述请求,获取搜索结果;及
搜索结果合并模块,用于将所述搜索结果中具有相同的分类标识的业务对象合并为同款业务对象;
其中,所述分类标识通过如下子模块生成:
图像获取子模块,用于获取业务对象的图像;
数字签名生成子模块,用于将所述图像的颜色特征,和/或,梯度特征,和/或,局部特征组合成所述图像唯一的数字签名;
图像签名库建立子模块,用于采用所述图像及其对应的数字签名建立图像签名库;
分组划分子模块,用于依据所述数字签名将图像签名库中的图像划分为多个分组;
相似度计算子模块,用于基于所述多个分组计算所述图像的相似度;
图像集合形成子模块,用于按照所述相似度对所述图像进行聚类,形成一个或多个图像集合;所述图像集合里的图像在内容实质上一样;
同款业务对象合并子模块,用于将属于同一图像集合的图像对应的业务对象合并为同款业务对象;
分类标识分配子模块,用于将属于同一图像集合的图像对应的业务对象分配同一分类标识;
所述搜索结果合并模块还包括:
去重子模块,用于将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。”
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
1.审查文本的认定
复审程序中,复审请求人在2019年03月05日答复复审通知书时,修改了权利要求书,经审查,所述修改符合专利法实施细则第61条第1款及专利法第33条的规定。因此,本复审请求审查决定所针对的文本为:申请日2013年05月08日提交的说明书摘要、说明书第1-413段、摘要附图、说明书附图图1-5;以及2019年03月05日提交的权利要求第1-22项。
2、关于专利法第22条第3款
专利法第22条第3款规定:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
如果一项权利要求所要求保护的技术方案与作为最接近的现有技术的对比文件相比存在区别技术特征,但是上述区别技术特征或者已被现有技术中的其它对比文件公开,或者属于本领域的公知常识,即现有技术中给出了将上述区别技术特征应用到作为最接近的现有技术的该对比文件以解决其存在的技术问题的启示,从而使得本领域技术人员在现有技术的基础上得到该权利要求的技术方案是显而易见的,那么该项权利要求所要保护的技术方案不具备创造性。
本复审决定引用的对比文件与复审通知书、驳回决定中引用的对比文件相同,即:
对比文件1:CN101859320A;公开日为2010年10月13日;
对比文件2:“HOG特征提取中三线性插值算法”,黄东丽等,《电脑知识与技术:学术交流》,第8卷第31期,公开日为2012年12月25日;
对比文件4:CN101576932 A,公开日为2009年11月11日。
其中,对比文件1为最接近的现有技术。
2.1、权利要求1请求保护一种同款业务对象聚合的方法,对比文件1公开了一种基于多特征签名的海量图像检索方法,并具体公开了(参见说明书第5-23、29段,附图3-4):
进行图像查询前获取不同查询类别的图像,如风景类、车辆类不同类别查询业务的图像(相当于获取业务对象的图像);根据上述图像提取图像的多种特征(相当于将所述图像进行特征提取)。进行特征降维,特征映射与编码;经过这样的映射,一幅图像的各种特征,都会被编码为长度为K的0-1比特串,这些串也就是特征签名,每幅图像拥有多种签名(相当于将图像的特征组合成所述图像的数字签名),利用这些签名可以找到与任意一幅图像相似或内容相近的其他图像。图5展示的是对图4(a)这个风景类查询图像进行查询后得到的前12个结果;这12张图像与查询图像内容相近,说明了基于多特征签名的图像检索系统能有效地利用多特征签名,在图像库中定位查询结果(必有采用图像及其对应的数字签名建立图像签名库)。
权利要求1请求保护的技术方案与对比文件1的区别在于:(1)采用图像颜色特征,和/或,梯度特征,和/或,局部特征组合成数字签名,数字签名是图像唯一的数字签名;(2)依据所述数字签名将图像签名库中的图像划分为多个分组,基于所述多个分组计算所述图像的相似度;按照所述相似度对所述图像进行聚类,形成一个或多个图像集合,所述图像集合里的图像在内容实质上一样;(3)将属于同一图像集合的图像对应的业务对象合并为同款业务对象;(4)将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。
基于上述区别特征,权利要求1所要求保护的技术方案实际要解决的技术问题是:如何形成图像的数字签名;如何基于数字签名对图像进行聚类;如何对同款业务对象进行聚合;如何对不同图像集合中的图像进行去重处理。
对于区别特征(1),在所属技术领域中,各颜色空间对应的图像颜色特征(如RGB空间、HSV空间等)、HoG梯度特征、分块图像的局部特征均是本领域所常用的图像数字特征,在对比文件1已经公开的采用多特征形成数字签名的基础上,本领域技术人员按照实际需求选择上述常用特征的任意一种或多种得到图像的数字签名是容易想到的,其属于本领域公知常识。另外“数字签名是图像唯一的数字签名”也是本领域所公知的技术手段,其属于本领域公知常识。
对于区别特征(2),对比文件4公开了一种近重复图片的计算机查找方法和装置,并具体公开了(参见说明书第2页第3段-第3页第2段,第9页第4段-第10页第4段):将多张待分组图片划分为多个分组,划分为多个分组后同一分组中图片的主颜色相同(相当于依据主颜色将图像划分为多个分组);对于所述多个分组中的各分组,确定该分组中图片的颜色特征向量,利用聚类算法按照该分组中各图片的颜色特征向量间的距离,将该分组中的图片划分为多个分组。其中,利用聚类算法按照当前图片分组中各图片的颜色特征向量间的距离(相当于基于多个分组计算图像的相似度),将当前图片分组中各图片的颜色特征向量分为K组,K为大于1的整数(相当于按照相似度对图像聚类,形成一或多个图像集合)。上述技术特征在对比文件4中所起的作用与在本申请中所起的作用相同,都是用于对图像进行分类聚合的。另外,在对比文件4公开的上述内容基础上,为了更好的对图片做实质相同内容的分组,本领域技术人员容易想到用其他特征替换颜色特征用以对图片分组,比如用图像特征形成的数字签名替换颜色特征,因此,“依据所述数字签名将图像签名库中的图像划分为多个分组,所述图像集合里的图像在内容实质上一样”是本领域技术人员容易想到的,属于本领域公知常识。
对于区别技术特征(3),为了便于用户查看业务对象,本领域技术人员容易想到将属于同一图像集合的图像对应的业务对象合并为同款业务对象,其属于本领域公知常识。
对于区别技术特征(4),在对不同业务对象数据进行聚类或划分不同类别集合时,当不同数据集合中出现重复的图像时,本领域技术人员容易想到将重复的图像进行去重处理以减少冗余,即“将同时出现在多个图像集合中的同一业务对象的图像进行去重处理”对于本领域技术人员来说属于公知常识。
因此,在对比文件1的基础上结合对比文件4、本领域公知常识得到该权利要求所请求保护的技术方案,对本领域技术人员而言是显而易见的,权利要求1不具备突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2.2、权利要求2引用了权利要求1,对比文件1进一步公开了(参见说明书第7-20段):图像的视觉特征提取可以是任意的图像特征,如灰度块图像特征、边缘直方图特征等,对上述提取的多个视觉特征进行降维并编码,均被编码形成长度为K的比特串(相当于将视觉特征进行归一化,组合为图像的数字签名)。对于附加技术特征中“视觉特征包括颜色特征,和/或梯度特征,和/或局部特征”,对比文件1已经公开了提取图像的多种特征,如灰度块图像特征、边缘直方图特征,以及其他任意的图像特征;在所属技术领域中,各颜色空间对应的图像颜色特征(如RGB空间、HSV空间等)、HoG梯度特征、分块图像的局部特征均是本领域所常用的图像数字特征,在对比文件1已经公开的采用多特征形成数字签名的基础上,本领域技术人员按照实际需求选择上述常用特征的任意一种或多种得到图像的数字签名是容易想到的,其属于本领域公知常识。因此,在其所引权利要求1不具备创造性的基础上,权利要求2也不具备专利法第22条第3款规定的创造性。
2.3、权利要求3引用了权利要求2,在所属技术领域中,在提取图像的颜色特征中,在对应的颜色空间中量化颜色维度,确定主颜色,提取一个或多个像素点数最多的颜色维度作为图像主颜色,其为常用颜色特征提取方法;在提取梯度特征时,对灰度图像进行平滑去除噪声点,得到灰度图像的梯度直方图,采用梯度直方图及对应的像素点个数作为图像梯度特征,其为提取图像梯度特征时常用的方法;在获取图像局部特征时,如sift或surf特征特征提取算法中,获取图像中旋转和尺度不变性的特征点,对特征点具有低对比度和具有边缘响应的备选点进行筛选,具有高对比度的特征点特征连接形成图像的sift或surf特征,是获取图像局部特征时常用的方法。在对图像进行多特征提取时,本领域技术人员可以选择上述提取方法的一种或几种组合对图像进行特征提取,其均属于本领域公知常识。因此,在其所引权利要求2不具备创造性的基础上,权利要求3也不具备专利法第22条第3款规定的创造性。
2.4、权利要求4引用了权利要求3,对比文件2公开了一种HOG特征提取中的三线性插值算法,并具体公开了(参见第1-2节、图1-5):提取图像的灰度值,计算每个像素的梯度方向和梯度大小(相当于针对灰度图像,计算每一像素点的梯度方向和梯度幅值),并把梯度划分为9个bin,生成n个方向上的n个直方图组距(相当于对当前图像做梯度方向统计,生成图像的以梯度方向为横轴的直方图),计算每个单元内所有像素点在其对应区间上的梯度累加和,作为该单元的特征。通常将某个变量范围固定划分为几个区域进行某种计算时,由于边界变量与相邻区域也有相关性,如果只对当前区域进行计算而完全忽略与相邻区域的关系,就会产生区域混叠效应,因此利用插值思想,可在各像素的梯度方向上进行加权运算,如图4所示,将区间[0°,180°]以20°为一个区间划分,每个小区间以中心角度作为直方图的中心数值(相当于将当前图像梯度方向平均分成R个方向角度,生成R个方向角度分别对应的R个直方图组距),假设要对梯度方向为15°的像素点进行处理,显然15与以10和30为中心的直方图最近,即最接近的两个方向角度,应该将该点的梯度幅值加权累加到这两个直方图上(必有遍历图像中所有像素点,分别根据每个像素点梯度方向找出最接近的两个方向角度对应的直方图组距,将像素点梯度幅值乘以权重系数分别累加至最接近的两个方向角度对应的直方图组距中)。上述技术特征在对比文2中所起的作用与在本申请中所起的作用相同,都是通过在各像素的梯度相邻方向上进行加权运算,以此消除区域混叠效应。此外,在HOG特征提取算法中,根据每个像素点梯度方向找出最接近的两个方向角度对应的直方图组距后“根据接近程度从高到低分配权重系数”以用于后续计算是常用的手段,“进行归一化,生成当前图像的梯度方向直方图”也是本领域常用的手段,其均属于本领域公知常识。
因此,在对比文件1的基础上结合对比文件4、对比文件2及本领域公知常识得到权利要求4所要保护的技术方案,对本领域技术人员来说是显而易见的,权利要求4不具有突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2.5、权利要求5引用了权利要求3或4其中之一,对比文件4已经公开了(参见说明书第2页第3段-第3页第2段,第6页第4段-第7页第5段,第9页第4段-第10页第4段,):“将多张待分组图片划分为多个分组,划分为多个分组后同一分组中图片的主颜色相同(相当于按照主颜色将图像划分为多个分组,同一分组中图像的分组主颜色相同);对于所述多个分组中的各分组,确定该分组中图片的颜色特征向量,利用聚类算法按照该分组中各图片的颜色特征向量间的距离,将该分组中的图片划分为多个分组。图片的主颜色,是指该图片上对应像素点个数最多的颜色,具体确定方法可以为:首先,选择一种RGB空间作为颜色空间,将该颜色空间量化到M种颜色;然后,统计量化后的每种颜色在图片上对应的像素点个数;最后,选择像素点个数最多的颜色作为该图片的主颜色。图片的主颜色率的确定方法还可为:首先,将选定的颜色空间量化到M种颜色,M为大于1的整数;然后,统计该图片上M种颜色中各颜色对应的像素点个数,计算统计得到的最大像素点个数占该图片上像素点个数总和的比例,将计算结果作为该图片的主颜色率。”上述技术特征在对比文4中所起的作用与在本申请中所起的作用相同,都是用于图像分组的。另外为了在已有数字签名的基础上获得颜色特征,“提取图像数字签名中的颜色特征”也是常用的手段,属于本领域公知常识。因此,在其所引权利要求3、4不具备创造性的基础上,该权利要求5也不具备专利法第22条第3款规定的创造性。
2.6、权利要求8引用权利要求1,对比文件4公开了(参见说明书第12页第5段-第13页第6段):“假设待分组图片包含10张图片,建立这10张图片的图片签名树即将这10张图片进行分组的流程如下:步骤S21:将待分组图片分为2组,每组中包含5张图片,第1组所包含 图片的主颜色均为红色,第2组所包含图片的主颜色均为蓝色;确定每组中各 图片的颜色特征向量;步骤S22:将步骤S21中分组后的第1组中图片的主颜色设置为图片签名 树的一个子树的根节点,将该根节点作为当前父节点;利用聚类算法按照第1 组中各图片的颜色特征向量间的距离,将第1组中各图片的颜色特征向量分为 2组,分组后第1组中包含2个图片的颜色特征向量,第2组中包含3个图片 的颜色特征向量。具体的如图3所示,由于该图片签名树具有6个叶子节点,因此,10个待分组图片被分为6组。”基于对比文件4公开的“图片签名树”的基础上,为了对不同分组中出现的图像进行去重处理,本领域技术人员容易想到采用权利要求8区别技术特征中的手段。因此在其所引权利要求不具备创造性的基础上,该权利要求8也不具备专利法第22条第3款规定的创造性。
2.7、权利要求9请求保护一种搜索方法,对比文件1公开了一种基于多特征的海量图像检索方法,并具体公开了(参见说明书第5-23、29段,附图3-4):
进行图像查询(在进行图像检索前,必然会得到用户的相关检索请求,并依据图像检索请求,得到相应类别的图像检索结果,这相当于接收用户搜索请求,依据请求获取搜索结果)前获取不同查询类别的图像,如风景类、车辆类不同类别查询业务的图像(相当于获取业务对象的图像);根据上述图像提取图像的多种特征(相当于将所述图像进行特征提取)。进行特征降维,特征映射与编码;经过这样的映射,一幅图像的各种特征,都会被编码为长度为K的0-1比特串,这些串也就是特征签名,每幅图像拥有多种签名(相当于将图像的特征组合成所述图像的数字签名),利用这些签名可以找到与任意一幅图像相似或内容相近的其他图像。图5展示的是对图4(a)这个风景类查询图像进行查询后得到的前12个结果;这12张图像与查询图像内容相近,说明了基于多特征签名的图像检索系统能有效地利用多特征签名,在图像库中定位查询结果(必有采用图像及其对应的数字签名建立图像签名库)。
权利要求9请求保护的技术方案与对比文件1的区别在于:(1)采用图像颜色特征,和/或,梯度特征,和/或,局部特征组合成数字签名,数字签名是图像唯一的数字签名。(2)依据所述数字签名将图像签名库中的图像划分为多个分组,基于所述多个分组计算所述图像的相似度;按照所述相似度对所述图像进行聚类,形成一个或多个图像集合,所述图像集合里的图像在内容实质上一样;(3)将属于同一图像集合的图像对应的业务对象分配同一分类标识,将搜索结果中具有相同分类标识的业务对象合并为同款业务对象;(4)将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。
基于上述区别特征,权利要求9所要求保护的技术方案实际要解决的技术问题是:如何形成图像的数字签名;如何基于数字签名对图像进行聚类;如何对同款业务对象进行聚合。
对于区别特征(1),在所属技术领域中,各颜色空间对应的图像颜色特征(如RGB空间、HSV空间等)、HoG梯度特征、分块图像的局部特征均是本领域所常用的图像数字特征,在对比文件1已经公开的采用多特征形成数字签名的基础上,本领域技术人员按照实际需求选择上述常用特征的任意一种或多种得到图像的数字签名是容易想到的,其属于本领域公知常识。 “数字签名是图像唯一的数字签名”也是本领域所公知的技术手段,也属于本领域公知常识。
对于区别特征(2),对比文件4公开了一种近重复图片的计算机查找方法和装置,并具体公开了(参见说明书第2页第3段-第3页第2段,第9页第4段-第10页第4段):将多张待分组图片划分为多个分组,划分为多个分组后同一分组中图片的主颜色相同(相当于依据主颜色将图像划分为多个分组);对于所述多个分组中的各分组,确定该分组中图片的颜色特征向量,利用聚类算法按照该分组中各图片的颜色特征向量间的距离,将该分组中的图片划分为多个分组。其中,利用聚类算法按照当前图片分组中各图片的颜色特征向量间的距离(相当于基于多个分组计算图像的相似度),将当前图片分组中各图片的颜色特征向量分为K组,K为大于1的整数(相当于按照相似度对图像聚类,形成一或多个图像集合)。上述技术特征在对比文件4中所起的作用与在本申请中所起的作用相同,都是用于对图像进行分类聚合的。另外,在对比文件4公开的上述内容基础上,为了更好的对图片做实质相同内容的分组,本领域技术人员容易想到用其他特征替换颜色特征用以对图片分组,比如用图像特征形成的数字签名替换颜色特征,因此,“依据所述数字签名将图像签名库中的图像划分为多个分组,所述图像集合里的图像在内容实质上一样”是本领域技术人员容易想到的,属于本领域公知常识。
对于区别技术特征(3),为了便于用户查看业务对象,本领域技术人员容易想到将属于同一图像集合的图像对应的业务对象分配同一分类标识,将搜索结果中具有相同分类标识的业务对象合并为同款业务对象,其属于本领域公知常识。
对于区别技术特征(4),在对不同业务对象数据进行聚类或划分不同类别集合时,当不同数据集合中出现重复的图像时,本领域技术人员容易想到将重复的图像进行去重处理以减少冗余,即“将同时出现在多个图像集合中的同一业务对象的图像进行去重处理”对于本领域技术人员来说属于公知常识。
因此,在对比文件1的基础上结合对比文件4、本领域公知常识得到该权利要求所请求保护的技术方案,对本领域技术人员而言是显而易见的,权利要求9不具备突出的实质性特点和显著的进步,不具备专利法第22条第3款规定的创造性。
2.8、权利要求10引用了权利要求9,对比文件1进一步公开了(参见说明书第7-20段):图像的视觉特征提取可以是任意的图像特征,如灰度块图像特征、边缘直方图特征等,对上述提取的多个视觉特征进行降维并编码,均被编码形成长度为K的比特串(相当于将视觉特征进行归一化,组合为图像的数字签名)。对于附加技术特征中“视觉特征包括颜色特征,和/或梯度特征,和/或局部特征”,对比文件1已经公开了提取图像的多种特征,如灰度块图像特征、边缘直方图特征,以及其他任意的图像特征;而在所属技术领域中,各颜色空间对应的图像颜色特征(如RGB空间、HSV空间等)、HoG梯度特征、分块图像的局部特征均是本领域所常用的图像数字特征,在对比文件1已经公开的采用多特征形成数字签名的基础上,本领域技术人员按照实际需求选择上述常用特征的任意一种或多种得到图像的数字签名是容易想到的,其属于本领域公知常识。因此,在其所引权利要求不具备创造性的基础上,权利要求10也不具备专利法第22条第3款规定的创造性。
2.9、权利要求11引用了权利要求10,在所属技术领域中,在提取图像的颜色特征中,在对应的颜色空间中量化颜色维度,确定主颜色,提取一个或多个像素点数最多的颜色维度作为图像主颜色,其为常用颜色特征提取方法;在提取梯度特征时,对灰度图像进行平滑去除噪声点,得到灰度图像的梯度直方图,采用梯度直方图及对应的像素点个数作为图像梯度特征,其为提取图像梯度特征时常用的方法;在获取图像局部特征时,如sift或surf特征特征提取算法中,获取图像中旋转和尺度不变性的特征点,对特征点具有低对比度和具有边缘响应的备选点进行筛选,具有高对比度的特征点特征连接形成图像的sift或surf特征,是获取图像局部特征时常用的方法。在对图像进行多特征提取时,本领域技术人员可以选择上述提取方法的一种或几种组合对图像进行特征提取,其均属于本领域公知常识。因此,在其所引权利要求不具备创造性的基础上,权利要求11也不具备专利法第22条第3款规定的创造性。
2.10、权利要求12-16,19是与方法权利要求1-5,8完全对应一致的产品权利要求,基于与评述权利要求1-5,8的同样理由和证据,权利要求12-16,19也不具备专利法第22条第3款规定的创造性。
2.11、权利要求20-22是与方法权利要求9-11完全对应一致的产品权利要求,基于与评述权利要求9-11的同样理由和证据,权利要求20-22也不具备专利法第22条第3款规定的创造性。
3.对复审请求人相关意见的评述
针对复审请求人的相关意见,合议组认为:
(1)对比文件1已经公开了:“进行图像查询前获取不同查询类别的图像,如风景类、车辆类不同类别查询业务的图像(相当于获取业务对象的图像);根据上述图像提取图像的多种特征(相当于将所述图像进行特征提取)。进行特征降维,特征映射与编码;经过这样的映射,一幅图像的各种特征,都会被编码为长度为K的0-1比特串,这些串也就是特征签名,每幅图像拥有多种签名(相当于将图像的特征组合成所述图像的数字签名),利用这些签名可以找到与任意一幅图像相似或内容相近的其他图像。图5展示的是对图4(a)这个风景类查询图像进行查询后得到的前12个结果;这12张图像与查询图像内容相近,说明了基于多特征签名的图像检索系统能有效地利用多特征签名,在图像库中定位查询结果(必有采用图像及其对应的数字签名建立图像签名库)。” 因此,权利要求1请求保护的技术方案与对比文件1的区别仅在于:(1)采用图像颜色特征,和/或,梯度特征,和/或,局部特征组合成数字签名,数字签名是图像唯一的数字签名;(2)依据所述数字签名将图像签名库中的图像划分为多个分组,基于所述多个分组计算所述图像的相似度;按照所述相似度对所述图像进行聚类,形成一个或多个图像集合,所述图像集合里的图像在内容实质上一样;(3)将属于同一图像集合的图像对应的业务对象合并为同款业务对象;(4)将同时出现在多个图像集合中的同一业务对象的图像进行去重处理。对比文件1的技术方案属于信息检索技术领域,本申请也属于数据搜索技术领域,两者属于相同的技术领域,虽然对比文件1未解决“如何在互联网发布的海量商品信息中,将内容相同或相似的产品聚合为同一款业务对象的类型,从而提高搜索效率”的技术问题,但是参见前文评述部分,对比文件4公开了一种近重复图片的计算机查找方法和装置,结合对比文件4公开的相关内容以及本领域公知常识,容易得到权利要求1的方案,从而解决了相关技术问题。
(2)对于区别特征“采用图像颜色特征,和/或,梯度特征,和/或,局部特征组合成数字签名,数字签名是图像唯一的数字签名”,在所属技术领域中,各颜色空间对应的图像颜色特征(如RGB空间、HSV空间等)、HoG梯度特征、分块图像的局部特征均是本领域所常用的图像数字特征,在对比文件1已经公开的采用多特征形成数字签名的基础上,本领域技术人员按照实际需求选择上述常用特征的任意一种或多种得到图像的数字签名是容易想到的,其属于本领域公知常识。另外“数字签名是图像唯一的数字签名”属于本领域公知常识。
对于区别特征“依据所述数字签名将图像签名库中的图像划分为多个分组,基于所述多个分组计算所述图像的相似度;按照所述相似度对所述图像进行聚类,形成一个或多个图像集合,所述图像集合里的图像在内容实质上一样”。对比文件4公开了一种近重复图片的计算机查找、分类方法:“将多张待分组图片划分为多个分组,划分为多个分组后同一分组中图片的主颜色相同(相当于依据主颜色将图像划分为多个分组);对于所述多个分组中的各分组,确定该分组中图片的颜色特征向量,利用聚类算法按照该分组中各图片的颜色特征向量间的距离,将该分组中的图片划分为多个分组。其中,利用聚类算法按照当前图片分组中各图片的颜色特征向量间的距离(相当于基于多个分组计算图像的相似度),将当前图片分组中各图片的颜色特征向量分为K组,K为大于1的整数(相当于按照相似度对图像聚类,形成一或多个图像集合)。”在对比文件4公开的上述内容基础上,为了更好的对图片做实质相同内容的分组,本领域技术人员容易想到用其他特征替换颜色特征用以对图片分组,比如用图像特征形成的数字签名替换颜色特征,因此,“依据所述数字签名将图像签名库中的图像划分为多个分组,所述图像集合里的图像在内容实质上一样”是本领域技术人员容易想到的,属于本领域公知常识。
对于区别特征“将属于同一图像集合的图像对应的业务对象合并为同款业务对象”,为了便于用户查看业务对象,本领域技术人员容易想到将属于同一图像集合的图像对应的业务对象合并为同款业务对象,其属于本领域公知常识。对于区别特征“将同时出现在多个图像集合中的同一业务对象的图像进行去重处理”,在对不同业务对象数据进行聚类或划分不同类别集合时,当不同数据集合中出现重复的图像时,本领域技术人员容易想到将重复的图像进行去重处理以减少冗余,其对于本领域技术人员来说属于公知常识。
(3)对比文件1的技术方案属于信息检索技术领域,本申请属于数据搜索技术领域,两者属于相同的技术领域,虽然对比文件1当前方案未达到权利要求1中的“将内容相同或相似的图像聚合在一起,并进一步将同款业务对象聚合在一起,自动聚合,可行性高,对图像进行聚类后,对同时出现在多个图像集合中的同一业务对象的图像进行去重处理,提高了搜索过程中图像展示的效率”的技术效果,但是对比文件4公开了一种近重复图片的计算机查找方法和装置,结合对比文件4公开的相关内容以及本领域公知常识,本领域技术容易得到权利要求1中的方案,从而取得了上述权利要求1相同的技术效果。
综上,对于复审请求人的陈述意见,合议组不予接受。
三、决定
维持国家知识产权局于2018年05月03日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。