发明创造名称:一种基于图像分割的阴影检测与去除算法
外观设计名称:
决定号:181347
决定日:2019-05-14
委内编号:1F241472
优先权日:
申请(专利)号:201410675195.X
申请日:2014-11-22
复审请求人:四川大学
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:郑嘉青
合议组组长:石清
参审员:朱晓莉
国际分类号:G06T7/00
外观设计分类号:
法律依据:专利法第26条第4款、专利法第22条第3款
决定要点
:如果权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在区别技术特征,但上述区别技术特征的一部分被其他对比文件公开,另一部分属于本领域常规技术手段,并且该权利要求请求保护的技术方案相对于上述作为最接近现有技术的对比文件与其他对比文件和本领域常规技术手段的结合是显而易见的,则该权利要求不具备创造性。
全文:
本复审请求涉及申请号为201410675195.X,名称为“一种基于图像分割的阴影检测与去除算法”的发明专利申请(下称本申请)。申请人为四川大学。本申请的申请日为2014年11月22日,公开日为2015年03月25日。
经实质审查,国家知识产权局原审查部门于2017年09月06日发出驳回决定,以权利要求1-7不具备专利法第22条第3款所规定的创造性为由驳回了本申请,其理由是:1、权利要求1与对比文件1(“Single-Image Shadow Detection and Removal using Paired Regions”,Ruiqi Guo等,Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference,第2033-2040页,公开日为2011年08月22日)的区别在于:权利要求1还包括步骤S100:利用纹理和亮度特征,结合局部信息和全局信息估计每个像素点是阴影边缘的概率;在步骤S200中使用分水岭算法利用轮廓信息gPb分割图像;S300:利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来,同时分别把阴影区域和非阴影区域分割成若干个子区域,而对比文件1采用的是均值漂移的分割方法,得到阴影和非阴影区域。基于区别技术特征,权利要求1实际解决的技术问题是:如何提高分割阴影和非阴影区域的精度。对比文件2(“Contour Detection and Hierarchical Image Segmentation”,Pablo Arbela? ez等,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.33,No.5,MAY 2011,第898-916页,2011年05月31日)给出了将区别技术特征用于对比文件1以解决其技术问题的启示,因此权利要求1相对于对比文件1、2的结合不具备创造性。2、权利要求2的附加技术特征被对比文件2公开,权利要求3、4的部分附加技术特征被对比文件2公开,其他附加技术特征为本领域常用技术手段,权利要求5、7的附加技术特征被对比文件1公开,权利要求6的部分附加技术特征被对比文件1公开,其他附加技术特征为本领域常用技术手段,因此权利要求2-7也不具备创造性。驳回决定所依据的文本为申请日2014年11月22日提交的权利要求书第1-7项、说明书第[0001]-[0153]段、说明书附图图1-图3、说明书摘要和摘要附图。驳回决定所针对的权利要求书如下:
“1. 一种基于图像分割的阴影检测与去除算法,其特征在于,包括如下步骤:
S100:利用纹理和亮度特征,结合局部信息和全局信息估计每个像素点是阴影边缘的概率;
S200:使用分水岭算法利用轮廓信息gPb分割图像;
S300:利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来,同时分别把阴影区域和非阴影区域分割成若干个子区域;然后,利用单个区域信息和匹配区域的信息,分别训练一个分类器SVM,对阴影进行识别;随后使用图割算法求解检测阴影的能量方程,得到最终的阴影检测结果。
S400:根据阴影检测的结果,使用抠图算法计算阴影标签,利用得到的标签点亮阴影区域,恢复阴影区域的光照,使其与周围非阴影的区域光照相同。
2. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,所述步骤S100主要以下几步组成:
S101:通过计算方向梯度信息G(x,y,θ)构建阴影边缘检测器Pb,阴影边缘检测器分别计算亮度和纹理基元两个通道的梯度信息G(x,y,θ),阴影边缘检测器的构建方法是在图像中一点(x,y)为中心,以r为半径画一圆,该圆被方向为θ的直径分割为两个半圆;
S102:通过计算这两个半圆的柱状图之间的χ2距离得到方向梯度G:
其中,g和h代表两个半圆,i代表图像值域上的值;
S103:将计算得到的检测器Pb结合起来,得到不同尺度、不同通道组合起来的局部信息(local cues)mPb:
其中,s代表圆的半径,i代表特征通道(亮度、纹理基元);Gi,σ(i,s)(x,y,θ)比较了以(x,y)为中心、σ(i,s)为半径大小、θ为半径方向的两个半圆之间的差异;αi,s则是各个梯度信息所代表的权重;
在每个点上,选取梯度信息G的最大值作为该点的mPb值,该值表示最终的局部信息:
mPb(x,y,θ)=maxθ{mPb(x,y,θ)} (3);
步骤S104:以mPb构建一个稀疏矩阵,通过计算该矩阵的特征值和特征向量,得到所需的全局信息;稀疏矩阵是在一个半径r=5像素的区域内,将每个像素链接起来:
其中,代表的是i和j之间的联系,ρ=0.1,接着定义Dii=∑jWij,通过
(D-W)v=λDv (5)
计算得到特征向量{v0,v1,…,vn},和特征值0=λ0≤λ1≤…≤λn;
步骤S105:将步骤S104中的每一个特征向量看做一副图像,通过计算不同方向下的高斯滤波,得到方向信息然后,将不同特征向量下的方向信息线性叠加起来得到全局信息sPb:
步骤S106:将局部信息mPb和全局信息sPb有机地结合起来分析图像轮廓信息gPb:
其中,βi,s和γ分别表示mPb和sPb的系数。
3. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,所述步骤S200主要以下几步组成:
步骤S201:估计出图像中任意一点(x,y)在方向θ上是轮廓的概率,求出该点轮廓检测的最大值:
步骤S202:利用数学形态学,以区域中E(x,y)的最小值为“集水盆地”计算每个区域,每个“集水盆地”对应一个区域,记为P0;两个集水盆地交汇处是“分水岭”,记为K0;
步骤S203:分水岭算法会产生过度分割问题,即将本不应该是边的地方标记为分水岭,利用区域合并算法解决过度分割问题;
所述区域合并算法如下:定义一个无向图G=(P0,K0,W(K0),E(P0)),其中W(K0)表示每条分水岭的权值,由分水岭上点的总能量除以分水岭上点的个数而得,E(P0)表示每个集水盆地的能量值,每个盆地的初始能量均为零,W(K0)描述了相邻两个区域之间的相异性;将分水岭按照其权值,由小到大存入队列。
4. 根据权利要求3所述的基于图像分割的阴影检测与去除算法,其特征在于,区域合并算法包括以下步骤为:
一、找到权重最小的边C*=argminW(C)
假定R1和R2由边C*分割,且R=R1∪R2,如果min{E(R1),E(R2)}≠0,判断是否合并,合并条件为:则W(K0)≤τ·min{E(R1),E(R2)} (9)
或min{E(R1),E(R2)}=0 (10),
其中τ为一个常数;
二、若合并,则更新E(R)、P0和K0,E(R)、P0和K0的更新方法是:
E(R)=max{E(R1),E(R2),W(C*)} (11)
P0←P0{R1,R2}∪R (12)
K0←K0{C*} (13)。
5. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,所述步骤S300中通过解下述能量方程得到最终的阴影检测结果,能量方程是由图割算法解得:
同时,
其中,表示区域匹配分类器对于两区域光照相同的估计,表示区域匹配分类器对于两区域光照不同的估计,是单区域分类器对单区域区域是否为阴影的估计,{i,j}∈Esame表示相同光照的两个区域,{i,j}∈Ediff表示不同光照的两个区域;y={-1,1}n,当为1时表示该区域是阴影区域。
6. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,在所述步骤S400中使用抠图算法计算阴影标签,该算法认为一个图像Ii可由前景Fi和背景Bi混合而成,其公式如下:
Ii=kiFi (1-ki)Bi (18)
=ki(LdRi LeRi) (1-ki)LeRi (19)
其中,Ld是直射光、Le是环境光、ki是阴影标签、Ri是点i的反射系数。
将前景标记为非阴影,背景标记为阴影,通过计算下述能量方程的最小值得到ki的大小,ki表示点i的标签,由(20)得到,k是ki组成的向量,得到k就得到了ki。
kT是k的转置,k是ki组成的向量,λ是一个很大的数值,具体由实践而定。是由步骤S300的能量方程得到的标签yk组成的向量,里每个元素的值就是公式里得到的yk,这里每一个元素值不是0就是1。请注意:该公式就是为了计算k,计算得到的k是一个向量,向量里的每个元素表示每个像素的标签;但是每个元素的值的取值范围变为[0、1],也就是说一部分像素的标签由1或0变为了一个0到1区间范围的值;标签仍为0或1的就表示阴影区域和非阴影区域,标签值在0和1之间的表示半影区域;L是抠图的拉普拉斯矩阵,D(i,i)是一个对角阵,D(i,i)=1表示像素i是阴影区域的边缘,D(i,i)=0则表示其它所有点。
7. 根据权利要求6所述的基于图像分割的阴影检测与去除算法,其特征在于,利用得到的标签点亮阴影区域,恢复阴影区域的光照:
根据阴影模型,如果一个像素被点亮,则
其中,r=Ld/Le是直射光Ld和环境光Le的比值,Ii表示像素i原本的值,所以,计算得到r就可将阴影去除;
已知
Ii=(ki·Ld Le)Ri (24)
Ij=(kj·Ld Le)Rj (25)
如果两个像素点的反射系数相同,即Ri=Rj,则
”
申请人(下称复审请求人)对上述驳回决定不服,于2017年12月21日向国家知识产权局提出了复审请求,同时修改了权利要求书,修改方式为:将原权利要求3、4的附加技术特征加入权利要求1中形成新的权利要求1,相应地修改从属权利要求的序号及引用关系。
复审请求人认为:
(1)对比文件1与本申请所采取的技术方案不同,其首先将原始目标转换到色彩空间中,运用均值漂移算法对彩色图像进行分割,没有公开如下特征: 1)利用纹理和亮度特征进行阴影边缘轮廓检测; 2)使用分水岭算法利用轮廓信息分割图像,采用区域合并算法对不需要标记“分水岭”的集水盆地进行合并。
(2)对比文件2中公开的轮廓检测器是将多个局部线索结合到基于谱聚类的框架中,其分割算法用于将任何轮廓检测器的输出转换为分级区域树(898页摘要)。其中,Mean Shift算法(均值漂移方法)提供了一个替代的聚类框架,在对比文件2中,通过将它们的空间坐标和颜色值连接成单个矢量,在联合空间范围域中表示像素,在这个域中应用平均移位滤波产生每个像素的收敛点(900页倒数第二段),由此可见,即便对比文件2采用了轮廓检测器,仍需将其应用于均值漂移方法构建的聚类框架中,通过将机器生成的轮廓与人类地面实况数据进行比较,并将区域边界视为轮廓从而实现在同一框架中进行图像分割(898倒数第二段)。
(3)对比文件2公开了轮廓检测器的作用是用于测量局部图像亮度,颜色和纹理通道的差异(902页倒数第二段),从这个方面也充分体现了,对比文件2与对比文件1相同,其轮廓检测的精度仍受到颜色因素的影响,并且其所公开的多个实例中均涉及到颜色的识别(图7、图8、图9、图11、图15、图16)。而本申请新的权利要求1中明确公开了阴影边缘检测器分别计算亮度和纹理基元两个通道的梯度信息G(x,y,θ),其次,将计算得到的检测器Pb结合起来,得到不同尺度、不同通道组合起来的局部信息mPb。
(4)对比文件2中公开的合并算法与本申请提出的合并算法不同。对比文件2首先采用有向分水岭算法(OWT),而后通过层次结构来实现区域合并。在此过程中,该合并算法通过最小包含段的高度体现两个区域的合并选择过程。与之不同,本申请则首先采用了标准分水岭算法(SWT),而后通过直接对比区域间相异性获得区域合并结果,效率更高效果更好,本申请充分认识到集水盆地能量值对相邻两个区域之间相异性而非优化的分水岭算法或层次结构具有着决定性的影响,并据此判断区域合并条件,即两区域之间的相异性必须满足小于或等于能量值最小区域与特定系数的线性乘积,或能量值最小区域的值为0。并且合并后,合并区域的能量值更新为两区域能量值、权重最小边的权值中的最小的一个,通过控制合并区域的大小提升了阴影去除的效果。
复审请求时新修改的权利要求书如下:
“1. 一种基于图像分割的阴影检测与去除方法,其特征在于,包括如下步骤:
S100:利用纹理和亮度特征,结合局部信息和全局信息估计每个像素点是阴影边缘的概率;
S200:使用分水岭算法利用轮廓信息兯兞兪分割图像;
所述步骤S200主要以下几步组成:
步骤S201:估计出图像中任意一点(x,y)在方向θ上是轮廓的概率,求出该点轮廓检测的最大值:
步骤S202:利用数学形态学,以区域中兓冀 冁的最小值为“集水盆地”计算每个区域,每个“集水盆地”对应一个区域,记为兞/;两个集水盆地交汇处是“分水岭”,记为兙/;
步骤S203:分水岭算法会产生过度分割问题,即将本不应该是边的地方标记为分水岭,利用区域合并算法解决过度分割问题;
所述区域合并算法如下:定义一个无向图兕<’兞/ 兙/ 入兙/ 兓兞/(,其中入兙/表示每条分水岭的权值,由分水岭上点的总能量除以分水岭上点的个数而得,兓兞/表示每个集水盆地的能量值,每个盆地的初始能量均为零,入兙/描述了相邻两个区域之间的相异性;将分水岭按照其权值,由小到大存入队列;
所述区域合并算法包括以下步骤为:
一、找到权重最小的边兑<兩兺兯兵共其入’兑(假定兠0和兠1由边兑分割,且兠<兠0∪兠1,如果兵共其兓’兠0 兓’兠1(G≠/,判断是否合并,合并条件为:则入兙/≤刘3兵共其兓兠0 兓兠1 (9)
或 兵共其兓’兠0 兓’兠1(G</ (10),
其中τ为一个常数;
二、若合并,则更新兓’兠(、兞/和兙/,兓’兠(、兞/和兙/的更新方法是:
兓兠<兵兩冀兓兠0 兓兠1 入兑 ’00(
兞/←兞/A兠0 兠1∪兠 ’01(
兙/←
兙/A兑 ’02(。
S300:利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来,同时分别把阴影区域和非阴影区域分割成若干个子区域;然后,利用单个区域信息和匹配区域的信息,分别训练一个分类器SVM,对阴影进行识别;随后使用图割算法求解检测阴影的能量方程,得到最终的阴影检测结果。
S400:根据阴影检测的结果,使用抠图算法计算阴影标签,利用得到的标签点亮阴影区域,恢复阴影区域的光照,使其与周围非阴影的区域光照相同。
2. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,所述步骤S100主要以下几步组成:
S101:通过计算方向梯度信息兕’冀 冁 刌(构建阴影边缘检测器兞兪,阴影边缘检测器分别计算亮度和纹理基元两个通道的梯度信息兕’冀 冁 刌(,阴影边缘检测器的构建方法是在图像中一点(x,y)为中心,以r为半径画一圆,该圆被方向为θ的直径分割为两个半圆;
S102:通过计算这两个半圆的柱状图之间的χ1距离得到方向梯度G:
其中,g和h代表两个半圆,i代表图像值域上的值;
S103:将计算得到的检测器Pb结合起来,得到不同尺度、不同通道组合起来的局部信息(local cues)兵兞兪:
其中,养代表圆的半径,共代表特征通道(亮度、纹理基元);兕共 刖共 养’冀 冁 刌(比较了以’冀 冁(为中心、刖共 养为半径大小、θ为半径方向的两个半圆之间的差异;刅共 养则是各个梯度信息所代表的权重;
在每个点上,选取梯度信息G的最大值作为该点的兵兞兪值,该值表示最终的局部信息:
步骤S104:以兵兞兪构建一个稀疏矩阵,通过计算该矩阵的特征值和特征向量,得到所需的全局信息;稀疏矩阵是在一个半径r=5像素的区域内,将每个像素链接起来:
其中,共兲代表的是共和兲之间的联系,刕=/-0,接着定义 通过
兒-入勈<λ兒勈 ’4(
计算得到特征向量和特征值
步骤S105:将步骤S104中的每一个特征向量看做一副图像,通过计算不同方向下的高斯滤波,得到方向信息刄刌兾关’冀 冁(,然后,将不同特征向量下的方向信息线性叠加起来得到全局信息sPb:
步骤S106:将局部信息mPb和全局信息sPb有机地结合起来分析图像轮廓信息gPb:
其中,分共 养和切分别表示兵兞兪和养兞兪的系数。
3. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,所述步骤S300中通过解下述能量方程得到最终的阴影检测结果,能量方程是由图割算法解得:
同时,
其中,表示区域匹配分类器对于两区域光照相同的估计,表示区域匹配分类器对于两区域光照不同的估计,是单区域分类器对单区域区域是否为阴影的估计,E共 兲G∈兓养兩兵六表示相同光照的两个区域,E共 兲G∈兓公共兮兮表示不同光照的两个区域;冁<EOO OG其,当为1时表示该区域是阴影区域。
4. 根据权利要求1所述的基于图像分割的阴影检测与去除算法,其特征在于,在所述步骤S400中使用抠图算法计算阴影标签,该算法认为一个图像可由前景和背景混合而成,其公式如下:
务共<关共办共*OO关共劚共 ’07(
<关共党公兠共*党六兠共*OO关共党六兠共 ’08(
其中,是直射光、是环境光、是阴影标签、是点共的反射系数;
将前景标记为非阴影,背景标记为阴影,通过计算下述能量方程的最小值得到的大小,表示点共的标签,由(20)得到,关是组成的向量,得到关就得到了
兓关<关兢党关*λ关O关兢兒关O关 ’1/(
关兢是关的转置,关是组成的向量,λ是一个很大的数值,具体由实践而定。关是由步骤S300的能量方程得到的标签组成的向量,关里每个元素的值就是公式里得到的这里每一个元素值不是0就是1。请注意:该公式就是为了计算关,计算得到的关是一个向量,向量里的每个元素表示每个像素的标签;但是每个元素的值的取值范围变为[0、1],也就是说一部分像素的标签由1或0变为了一个0到1区间范围的值;标签仍为0或1的就表示阴影区域和非阴影区域,标签值在0和1之间的表示半影区域;党是抠图的拉普拉斯矩阵,兒’共 共(是一个对角阵,兒共 共<0表示像素i是阴影区域的边缘,兒共 共</则表示其它所有点。
5. 根据权利要求4所述的基于图像分割的阴影检测与去除算法,其特征在于,利用得到的标签点亮阴影区域,恢复阴影区域的光照:
根据阴影模型,如果一个像素被点亮,则
其中,是直射光和环境光的比值,表示像素i原本的值,所以,计算得到r就可将阴影去除;
已知
如果两个像素点的反射系数相同,即则
”
经形式审查合格,国家知识产权局于2018年01月10日依法受理了该复审请求,并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为:1)对比文件1公开了一种基于成对区域的阴影探测和去除算法,具体的均值漂移分割图像,然后识别阴影,使用图割算法确定阴影,并得到阴影标签,进一步点亮阴影。对比文件1首先解决的是如何准确识别阴影和点亮阴影的技术问题,和本申请相同。至于其采用的色彩、材料、光照构建区域对及关系图实现阴影区域的检测,进一步解决了复杂场景中物体和阴影边界可能重合的鲁棒性的问题是对比文件1解决的另一个重要问题,虽然技术方案复杂,但是并不能否认其对解决本申请的技术问题给出的启示。2)本申请与对比文件1存在区别技术特征,但是上述区别技术特征被对比文件2公开了。即“定义函数通过测量图像中的亮度、颜色和纹理的差异来预测图像中每个像素为边界的概率。通过公式计算得到轮廓信息gpb(参见第904页右侧栏第1段),本文介绍了一个新的分水岭变换方法OWT用来从边缘探测结果中产生一系列原始区域(相当于步骤S200)(参见第905页右侧栏第2段)。算法根据相似性对区域之间的关系进行排序,进而合并最相似的区域,区域合并的具体算法包括找到权重最小的边,假定R1和R2由边C*分割,且R=R1∪R2,若合并则更新P0和K0”(参见第907页左侧栏最后一段到右侧栏第4段)。更进一步,权利要求2进一步限定了步骤S100的方法,已经被对比文件2完全公开。上述区别技术特征在对比文件2和在本申请为解决其技术问题所起的作用相同,都是通过将边缘探测和分水岭结合的分层方法进行高质量的图像分割,有效解决了过分割问题,提高了分割精度,也就是说对比文件2给出了将该技术特征用于对比文件1以解决其技术问题的启示,尽管权利要求1是用来对求取阴影边缘的概率以及对阴影区域进行分割、合并和划分,而对比文件2是针对图像上一般区域的边界提取及划分,但是本领域技术人员在对比文件1公开的阴影检测的基础上,为了解决其在阴影分割时采用的均值漂移图像分割方法中过分割的问题,有动机结合对比文件2。另外,虽然对比文件2中在计算轮廓信息gpb的时候涉及到颜色特征,但是其已经公开了纹理和亮度特征。由于对比文件2是基于普通图像的分割,而将其应用到阴影分割中时,由于阴影和其周围的道路等在图像上的颜色特征区别并不大,本领域技术人员为了减小计算量,容易想到去除区分度不大的颜色特征以便减小计算量。3)对比文件2已经公开了边的能量W(K0)以及区域的每个区域的高度H(R)(参见第907页右侧栏第2段),同时,在区域合并领域,本领域技术人员通常将区域能量作为衡量是否合并区域的一种判断条件,因此,本领域技术人员在对比文件1的基础上容易想到在无向图G中加入能量值E(P0)。另外,对比文件2公开了“在算法的每一步,保留的边缘能量必须大于等于那些被删除的”,因此,本领域技术人员在此基础上容易想到,合并之后的区域的能量也是最大的,即更新方法E(R)=max{E(R1),E(R2),W(C*)}。至于合并条件,如上述对比文件2公开的,合并之后的边缘能量值大于去掉的边,因此能量值越大代表了两个区域的差异越大,同时本领域技术人员知晓,边是用来区分两个区域的,因此,边的能量与其划分的两个区域的能量值相关,而本申请采用的“如果min{E(R1),E(R2)}≠0,判断是否合并,合并条件为:W(K0)≤τ?min{E(R1),E(R2)} ”这是一种突出分水岭划分区域,将两个差异性不大区域合并的判断条件。其次,对比文件2已经公开了本申请关于区域合并的整体思路和大部分特征,在对比文件1和2的基础上结合本领域的常用判断条件得到上述权利要求的技术方案对本领域技术人员来说是显而易见的。因而坚持原驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
合议组于2019年02月03日向复审请求人发出复审通知书,指出:权利要求1-5中存在大量乱码,导致权利要求1-5不清楚,不符合专利法第26条第4款的规定,并且根据复审请求人的修改说明,将权利要求1-5合理预期为:权利要求1为原权利要求1、3、4的特征的合并,权利要求2-4(原权利要求2、5、6)进一步引用新的权利要求1,权利要求5(原权利要求7)引用权利要求4(原权利要求6),并指出:上述预期的权利要求1-5相对于对比文件1、2和本领域常规技术手段的结合不具备专利法第22条第3款所规定的创造性。
复审请求人于2019年03月13日提交了意见陈述书,但未修改申请文件。复审请求人认为:
1)本申请权利要求1和对比文件1的技术方案,存在着如下区别技术特征:本申请采用区域合并算法对不需要标记“分水岭”的集水盆地进行合并,定义一个无向图G=(P0,K0,W(K0),E(P0)),其中W(K0)表示每条分水岭的权值,由分水岭上点的总能量除以分水岭上点的个数而得,E(P0)表示每个集水盆地的能量值,每个盆地的初始能量均为零,W(K0)描述了相邻两个区域之间的相异性;将分水岭按照其权值,由小到大存入队列;并给出了区域合并算法的具体计算步骤。基于上述区别技术特征,权利要求1所要解决的技术问题为:如何解决“分水岭”过度分割问题,通过控制合并区域的大小提升阴影去除的效果。
2)对比文件1和对比文件2均不具备上述技术特征的技术启示,对比文件1的均值漂移算法是对颜色空间的聚类,不需要其他特征,更没有对比文件2中轮廓检测器等信息,故而对比文件1不具有对分割区域合并的动机。并且本领域技术人员在对比文件2公开的涉及“亮度、颜色、纹理”三个通道的一般区域分割的基础上,并无动机结合W(K0)来进一步描述相邻两个区域之间的相异性。这是由于对比文件2的分割过程其轮廓检测的精度会受到颜色因素的影响。其中,Mean Shift算法(均值漂移方法)替代了聚类框架,对比文件2公开的轮廓检测器是将多个局部线索结合到基于谱聚类的框架中,其分割算法用于将任何轮廓检测器的输出转换为分级区域树(898页摘要)。具体的,对比文件2根据亮度、颜色、纹理计算了边缘信息mPb,之后通过边缘信息mPb计算了轮廓信息sPb,得到两者结合的全局信息gPb,即将上述两个信息放在同一框架中进行图像分割,最终目的是利用图像亮度,颜色和纹理通道进行图像分割,而并不是针对相邻两个区域之间的相异性进行分割区域合并。显而易见,通过上述聚类框架能够对包含颜色的一般区域进行有效分割,其也无需再次表征每个分割区域的某种关注特性,即,没有分割区域合并的技术启示,更不具有利用W(K0)构建无向图,将分水岭按照其权值,由小到大存入队列以实现分割区域合并的技术启示。
3)对比文件2在分割的过程中,其解决的是轮廓分割不明显的技术问题,此技术问题与本申请的过度分割具有本质差别,具体给出如下问题示例:当一个像素靠近强度较弱的竖直轮廓线上时,如果这个像素也碰巧属于水平分水岭弧线,则该弧线将被错误地加权,对比文件2的图11 中公开了几个上述问题情况。当使用所有的局部最小值时,最初的分水岭包含许多强度较弱的分水岭弧线,但这些弧线在强边界附近相交(906页左侧第二段)。为了纠正这个问题,对比文件2采用了有向分水岭算法(OWT),即将边缘细分的技术方案,目的在于强化K0边界的强度和底层图像边界概率之间的一致性。具体的,如果从分水岭弧线上的任意一点到连接其端点的直线段的距离大于该段长度的一个固定值,则对比文件2细分最远点处的分水岭弧线;由尺度不变的递归细分产生最终分水岭弧线集合;近似为重叠在细分弧上的直线段(907页左侧第一段)。而本申请在解决分水岭算法过度分割问题时,其出发点为考虑集水盆地能量值和每条分水岭的权值,不断更新E(R)、P0和K0从而实现区域的合并,与对比文件2采用轮廓细分解决分割不明显的技术手段具有本质区别。
4)对比文件2是从单一分割到嵌套分割集合的表示方式的转变,将在后续处理阶段中使用来自多个层面的信息,或者根据额外的信息选择一个层面。由于所有剩余的边缘轮廓必须大于或等于先前去除的边缘轮廓,在合并过程中,当前被去除的边缘轮廓的权重不能减小。这个层次结构的基础层面包括强度较弱的轮廓线,然而层次结构仅重点处理强度较强的轮廓线,从而导致分割过程欠统一。因此,区域树具有索引层级的结构,并且可以通过树状图来描述,其中每个区域R的高度H(R)是它首先出现的相异度的值。也就是说,作为对比文件2的结果,整个层次采用超度量轮廓图(Ultrametric Contour Map,UCM)表示,实值图像通过加权每个边缘轮廓的去除比例获得。由此可见,对比文件2首先采用有向分水岭算法(OWT),而后基于贪心图的区域合并算法将构建的层次结构用超度量 轮廓图表示出来。与之不同,本申请则首先采用了标准分水岭算法(SWT),而后通过直接对比区域间相异性获得区域合并结果。本领域技术人员根据常规逻辑推理无法获得本申请通过寻找权重最小的边C*=argminW(C),并结合每条分水岭的权值W(K0),对集水盆地的能量值进行更新的技术启示。
5)本申请充分认识到集水盆地能量值对相邻两个区域之间相异性而非层次结构具有着决定性的影响,并据此判断区域合并条件,即两区域之间的相异性必须满足小于或等于能量值最小区域与特定系数的线性乘积,或能量值最小区域的值为0。并且合并后,合并区域的能量值更新为两区域能量值、权重最小边的权值中的最小的一个,通过控制合并区域的大小提升了阴影去除的效果。显而易见,本申请与对比文件2解决图像分割技术问题的动机及技术手段均具有显著差异,从这个方面看,对比文件2同样不具有本申请该项区别技术特征的技术启示。
因此权利要求1以及引用其的权利要求2-5具备创造性。
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在2017年12月21日提交复审请求时修改了权利要求书,该新修改的权利要求1-5中存在多处大段乱码,导致无法清楚地理解权利要求1-5的技术方案。在复审请求书中,复审请求人将具体修改说明如下:将权利要求3、4中的技术方案进一步限定在权利要求1中,以形成新的权利要求1,并修改相应从属权利要求的序号及引用关系,该修改方式符合专利法实施细则第61条第1款的规定。因此本复审请求审查决定针对的审查文本为:2017年12月21日提交的权利要求1-5、申请日2014年11月12日提交的说明书第[0001]-[0153]段、说明书附图图1-3、说明书摘要和摘要附图。
具体理由的阐述
2-1、关于专利法第26条第4款
专利法第26条第4款规定:“权利要求书应当以说明书为依据,清楚、简要地限定要求专利保护的范围。”
由于权利要求1-5中存在大量乱码,使得本领域技术人员无法清楚地理解其技术方案,导致权利要求1-5保护范围不清楚,不符合专利法第26条第4款的规定。
2-2、关于专利法第22条第3款
根据复审请求人的修改说明,将目前的权利要求1-5合理预期为:目前的权利要求1为原权利要求1、3、4的特征的合并,目前的权利要求2-4(原权利要求2、5、6)进一步引用新的权利要求1,权利要求5(原权利要求7)引用权利要求4(原权利要求6)。基于上述预期的权利要求1-5提出创造性意见,如下:
专利法第22条第3款规定:“创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。”
如果权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在区别技术特征,但上述区别技术特征的一部分被其他对比文件公开,另一部分属于本领域常规技术手段,并且该权利要求请求保护的技术方案相对于上述作为最接近现有技术的对比文件与其他对比文件和本领域常规技术手段的结合是显而易见的,则该权利要求不具备创造性。
本复审请求审查决定评价本申请权利要求的创造性所使用的对比文件与驳回决定和复审通知书中使用的对比文件相同,即:
对比文件1:“Single-Image Shadow Detection and Removal using Paired Regions”,Ruiqi Guo等,Computer Vision and Pattern Recognition(CVPR),2011 IEEE Conference, 第2033-2040页,公开日为2011年08月22日;
对比文件2:“Contour Detection and Hierarchical Image Segmentation”,Pablo Arbela?ez等,IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,VOL.33, NO.5, MAY 2011,第898-916页,公开日为2011年05月31日。
2-2-1、权利要求1不具备创造性,不符合专利法第22条第3款的规定。
权利要求1请求保护一种基于图像分割的阴影检测与去除算法,对比文件1公开了一种基于成对区域的阴影探测和去除算法,并具体公开了如下技术特征:
采用均值漂移算法分割图像,然后使用训练分类器,估计每个区域为阴影的概率(相当于步骤S300中把阴影区域和非阴影区域分割成若干个子区域)(参见第2034页右栏最后一段),第2.1节单个区域分类(相当于单个区域信息),使用SVM从手动标签的区域来训练分类器(参见第2035页左栏第2.1节);第2.2节匹配区域关系分类(相当于匹配区域),基于颜色和纹理直方图训练SVM分类器来识别光照匹配区域中的阴影区域(参见第2035页左栏最后一段)(相当于利用单个区域信息和匹配区域的信息分别训练一个分类器SVM,对阴影进行识别),采用有效的图割方法计算得到能量方程的最小值,得到最终的阴影检测结果(相当于S300中:随后使用图割算法求解检测阴影的能量方程,得到最终的阴影检测结果)(参见对比文件1第2036页左栏2.3节):
最大化如下公式计算阴影标签y={-1,1}n(1为阴影),:
(相当于S400中:根据阴影检测的结果,使用抠图算法计算阴影标签)(参见第2034页右栏最后一段),根据阴影模型,可以通过计算比率和k值来点亮每个像素,每个像素值为:
其中,r=Ld/Le是直射光和环境光的比值(参见第2037页左栏第3.3节)(相当于步骤S400中:利用得到的标签点亮阴影区域,恢复阴影区域的光照,使其与周围非阴影的区域光照相同)。
由此可见,权利要求1与对比文件1的区别技术特征在于:
权利要求1还包括步骤S100:利用纹理和亮度特征,结合局部信息和全局信息估计每个像素点是阴影边缘的概率;在步骤S200中使用分水岭算法利用轮廓信息gPb分割图像;权利要求1中的S300中为利用基于边缘的区域融合算法将图像中阴影区域和非阴影区域分割开来,同时分别把阴影区域和非阴影区域分割成若干个子区域,而对比文件1采用的是均值漂移的分割方法,得到阴影和非阴影区域。
此外,对比文件1没有公开步骤S200的具体步骤,即,未公开步骤S200包括主要以下几步组成:
步骤S201:估计出图像中任意一点(x,y)在方向θ上是轮廓的概率,求出该点轮廓检测的最大值:
步骤S202:利用数学形态学,以区域中E(x,y)的最小值为“集水盆地”计算每个区域,每个“集水盆地”对应一个区域,记为P0;两个集水盆地交汇处是“分水岭”,记为K0;
步骤S203:分水岭算法会产生过度分割问题,即将本不应该是边的地方标记为分水岭,利用区域合并算法解决过度分割问题;
所述区域合并算法如下:定义一个无向图G=(P0,K0,W(K0),E(P0)),其中W(K0)表示每条分水岭的权值,由分水岭上点的总能量除以分水岭上点的个数而得,E(P0)表示每个集水盆地的能量值,每个盆地的初始能量均为零,W(K0)描述了相邻两个区域之间的相异性;将分水岭按照其权值,由小到大存入队列;
区域合并算法包括以下步骤为:
一、找到权重最小的边C*=argminW(C)
假定R1和R2由边C*分割,且R=R1∪R2,如果min{E(R1),E(R2)}≠0,判断是否合并,合并条件为:则W(K0)≤τ·min{E(R1),E(R2)} (9)
或min{E(R1),E(R2)}=0 (10),
其中τ为一个常数;
二、若合并,则更新E(R)、P0和K0,E(R)、P0和K0的更新方法是:
E(R)=max{E(R1),E(R2),W(C*)} (11)
P0←P0{R1,R2}∪R (12)
K0←K0{C*} (13)。
基于以上区别技术特征,权利要求1实际解决的技术问题是:如何提高区域分割的准确性和精度。
对比文件2公开了一种边缘检测和分级图像分割方法,并具体公开了如下技术特征:
本文的边缘探测器基于光谱聚类将局部信息和全局信息框架结合起来(参见第898页摘要),在边缘探测时,定义函数通过测量图像中的亮度、颜色和纹理的差异来预测图像中每个像素为边界的概率(相当于利用颜色、纹理和亮度特征,结合局部信息和全局信息估计每个像素是边缘的概率)(参见第902页左栏第3节第1段)。
通过下面的公式计算得到轮廓信息gpb: (14)(参见第904页右栏第1段),本文介绍了一个新的分水岭变换方法OWT用来从边缘探测结果中产生一系列原始区域(相当于步骤S200:使用分水岭算法利用轮廓信息gPb分割图像)(参见第905页右栏第2段)。
通过公式进行分割(相当于步骤S201,隐含公开了估计出图像中任意一点(x,y)在方向θ上是轮廓的概率,求出该点轮廓检测的最大值)(参见第905页右栏最后两行,第906页左栏第1段);利用数学形态学,以区域中E(x,y)的最小值为“集水盆地”计算每个区域,每个“集水盆地”对应一个区域,记为P0;两个集水盆地交汇处是“分水岭”,记为K0(相当于步骤202)(参见第906页左栏第1段);层次分割中的最底层表示最弱的边缘轮廓因此造成图像的过分割情况(相当于步骤S203中分水岭算法产生过度分割的问题,隐含公开了,将本不应该是边的地方标记为分水岭)(参见第907页左栏倒数第2段第5-7行),本文层次法通过基于“贪心图”的区域合并算法(相当于采用区域合并算法),定义一个初始图,其中节点为多个区域P0,连接线为分隔相邻区域的分水岭K0,权值W(K0)为区域间相异性的度量值(相当于W(K0)描述了相邻两个区域之间的相异性),定义两个相邻区域之间的差异性为它们共用边K0的平均能量,由OWT对权值W(K0)进行初始化(相当于W(K0)表示每条分水岭的权值,并隐含公开了,由分水岭上点的总能量除以分水岭上点的个数而得),算法根据相似度对连接线进行排序并迭代地合并最相似的区域(参见第907页左栏最后一段-右栏第3段)。
区域合并的具体算法包括:1、找到权重最小的边(前面描述了对连接线进行排序,此处找到权重最小的边,因此相当于隐含公开了将分水岭按照其权值,由小到大存入队列),假定R1和R2由边C*分割,且R=R1∪R2,若合并则更新(相当于公式(12)-(13))(参见第907页右栏第1-4段)(相当于隐含公开了S300:利用基于边缘的区域融合算法将图像中不同区域分割开来,同时分别把不同区域分割成若干个子区域)。
由此可见,对比文件2公开了以上区别技术特征中的一部分,并且以上技术特征在对比文件2和在本申请为解决其技术问题所起的作用相同,都是通过将边缘探测和分水岭结合的分层方法进行高质量的图像分割,有效解决了过度分割问题,提高了分割的准确度和精度。尽管对比文件2是针对图像上一般区域的边界提取及划分,而对比文件1涉及的是对阴影和非阴影区域的分割,但是本领域技术人员在对比文件1公开的阴影和非阴影区域的分割和检测的基础上,为了解决如何提高区域分割的准确性和精度的技术问题时,有动机从对比文件2所公开的图像中一般区域分割的技术方案中获得启示,在对比文件1的阴影、非阴影区域分割中应用对比文件2的分割方法,从而实现更高准确度和精度的分割,也就是说对比文件2给出了将以上技术特征用于对比文件1以解决其技术问题的启示。此外,由于对比文件2涉及的是图像上一般区域的分割,因此涉及了亮度、颜色、纹理三个通道,但是本领域技术人员在进行图像上阴影和非阴影分割时,能够想到省略对阴影、非阴影分割影响较弱的颜色特征,仅保留亮度、纹理两个通道参与算法运算,从而减少计算的复杂度和计算量。
此外,对比文件2未公开在无向图G中加入集水盆地的能量值E(P0)(初始能量为0),即G=(P0,K0,W(K0),E(P0)),也未公开基于能量值的区域合并具体条件和合并后更新能量值的步骤。但是,众所周知,在图像处理领域中,通常会使用“能量值”的概念,用于表征图像中的所需要关注某类或某些信息的大小或分布等特性(例如,灰度、纹路等,不同的能量含义取决于不同的能量方程),因此,为了表征每个分割区域的某种关注特性,并根据此特性来判断是否进行区域合并,本领域技术人员能够想到采用能量值来表征该特性,并在合并算法中将该能量值作为考量因素,即,容易想到在对比文件2的无向图中进一步加入集水盆地的能量值E(P0),形成G=(P0,K0,W(K0),E(P0)),并基于该能量值来进行两个图像区域是否应当合并的判断:当某一区域的能量为0,说明该能量所表征的该图像区域的特性为0,也就是说,该区域没有单独存在的必要,应当合并至与其相邻的图像区域中;而当两个区域之间的能量差值较小时(例如,差值小到比其中一个较小能量区域的能量值与一个τ系数的线性乘积还要小),也说明这两个区域差异性很小,可以将此两个区域进行合并;因此,虽然对比文件2也没有公开合并条件以下两个条件:如果min{E(R1),E(R2)}≠0则W(K0)≤τ·min{E(R1),E(R2)},其中τ为一个常数;或min{E(R1)E(R2)}=0,但是该合并条件是本领域技术人员根据常规的逻辑推理即可获得的。此外,区域合并的原则是将能量小的区域合并起来形成一个大的区域,因此区域合并以后,合并后的区域能量应当不会小于合并前的单个区域的能量或是两个区域的差异能量,因此在合并后用合并前最大的能量来更新合并后的区域能量,即,在区域合并后更新E(R)=max{E(R1),E(R2),W(C*)},是常规更新方式。因此,以上区别技术特征中未被对比文件2公开的部分特征属于本领域常规技术手段。
由此,在对比文件1的基础上结合对比文件2和本领域常规技术手段得出该权利要求1要求保护的技术方案,对本领域的技术人员来说是显而易见的,因此该权利要求所要求保护的技术方案不具有突出的实质性特点和显著的进步,因而不具备创造性。
2-2-2、权利要求2不具备创造性,不符合专利法第22条第3款的规定。
权利要求2是权利要求1的从属权利要求,对比文件2公开了如下技术特征:3.1提取亮度、颜色和纹理梯度,通过计算原始图像的方向梯度信息G(x,y,θ)构建阴影边缘检测器Pb,阴影边缘检测器的构建方法是在图像中一点(x,y)为中心画一圆,该圆被方向为θ的直径分割为两个半圆(相当于步骤S101)(参见对比文件2第902页第3.1节第1-5行);计算这两个半圆的柱状图g和h之间的距离得到方向梯度G:(相当于步骤102)(参见第902页右栏第3-5行);为亮度、颜色和纹理通道中的每一个,考虑三个尺度的梯度,然后线性地将这些局部信息结合至一个面向多等级的单个信号中:其中,s代表尺度,i代表特征通道(亮度、颜色、纹理基元);Gi,σ(i,s)(x,y,θ)测量了以(x,y)为中心、σ(I,s)为半径大小、θ为直径方向的两个半圆之间的差异;αi,s则是衡量了各个梯度信息的相对贡献;在每个点上,选取梯度信息G的最大值作为该点的mPb值:(相当于步骤S103)(参见第903页右栏第1段);构建一个稀疏矩阵W,将半径r内的像素i和j通过下面的公式联系起来,:,其中,代表的是i和j之间的联系,ρ是常数,设定r=5,ρ=0.1;定义Dii=∑jWij,通过计算得到特征向量{v0,v1,…,vn},和特征值(相当于步骤S104)(参见第903页第3.3节第2-3段);将每一个特征向量vk计算不同方向下的高斯滤波,得到方向信息然后,将不同特征向量下的方向信息叠加起来得到光谱信息sPb:(相当于步骤S105)(参见第903页右栏最后一行,第904页左栏第1段);最终的边界全局概率然后被设置为局部和光谱信号的加权求和:(相当于步骤S106)(参见第904页第3.3节最后一段)。由此可知,对比文件2公开了权利要求2的大部分特征,仅是表述上稍有区别。本领域技术人员在利用对比文件2的方案进行图像中的阴影和非阴影分割时,能够想到省略对阴影、非阴影分割影响较弱的颜色特征,仅保留亮度、纹理两个通道参与算法运算,从而减少计算的复杂度和计算量。因此,在其引用的权利要求1不具备创造性的基础上,权利要求2不具备专利法第二十二条第三款规定的创造性。
2-2-3、权利要求3不具备创造性,不符合专利法第22条第3款的规定。
权利要求3是权利要求1的从属权利要求,对比文件1公开了如下技术特征:通过能量方程得到最终的阴影检测结果,能量方程是由图割算法解得(参见第2036页左栏2.3节):
表示分类器对于两区域光照相同的估计,表示分类器对于两区域光照不同的估计(参见第2036页左栏第2-5行),是单区域分类器权衡单区域是否为阴影的置信度,{i,j}∈Esame表示相同光照的两个区域,{i,j}∈Ediff表示不同光照的两个区域(参见第2035页左栏第1段);y={-1,1}n,当为1时表示该区域是阴影区域(参见第2034页右栏第2节第2段)。对比文件1公开的以上特征只是在表述方式上与权利要求3的附加技术特征稍有区别,但是其实质上已经明确或隐含公开了权利要求3的附加技术特征,因此,在其引用的权利要求1不具备创造性的基础上,权利要求3不具备专利法第二十二条第三款规定的创造性。
2-2-4、权利要求4不具备创造性,不符合专利法第22条第3款的规定。
权利要求4是权利要求1的从属权利要求,对比文件1公开了如下技术特征:一个图像I可分割为前景F和背景B基于以下公式:和(相当于公式(18)-(19),隐含公开了将前景标记为非阴影,背景标记为阴影),Ld和Le分别表示直射光和环境光,Ri是该像素点的表面反射率,Ki是阴影系数,Ki=1表示该像素在非阴影区域(参见对比文件1第2036页右栏第1段);计算下述能量公式的最小值:(相当于公式20),表示阴影标签,为阴影区域,为非阴影,阴影探测过程得到一个二值阴影图,对于每个像素i,分配一个为1或0,在本文中将设置为0.01(隐含公开了kT是k的转置,k是ki组成的向量,里每个元素的值就是公式里得到的yk),D(i,i)是一个对角阵,D(i,i)=0表示像素i是阴影区域的边缘,D(i,i)=1则表示其它所有点,L是抠图的拉普拉斯矩阵(参见第2036页右栏第3.2节至2037页左栏第1段)。r=Ld/Le是直射光和环境光的比值(相当于Ld是直射光,Le是环境光)(参见第2037页左栏第3.3节第1段)。
由此可见,对比文件1公开了权利要求4附加技术特征中的大部分特征。至于是用0和1中的哪一个表示阴影区域的边缘像素,哪一个表示其他所有点,均为本领域技术人员的常规设定;此外,每个元素的值的取值范围变为[0、1],也就是说一部分像素的标签由1或0变为了一个0到1区间范围的值,标签仍为0或1的就表示阴影区域和非阴影区域,标签值在0和1之间的表示半影区域,这是本领域阴影区域标记时的常规技术手段。因此,在其引用的权利要求1不具备创造性的基础上,权利要求4也不具备创造性。
2-2-5、权利要求5不具备创造性,不符合专利法第22条第3款的规定。
权利要求5是权利要求4的从属权利要求,对比文件1公开了如下技术特征:根据阴影模型,可以通过计算比率和k值来点亮每个像素,每个像素值为:
其中,r=Ld/Le是直射光和环境光的比值,Ii表示第i个像素原本的值,所以,计算得到r就可将阴影去除; 已知 ,如果两个像素点的反射系数相同,即Ri=Rj,则 (相当于权利要求5的附加技术特征)(参见对比文件1第2037页左栏第3.3节)。
因此,在其引用的权利要求4不具备创造性的基础上,权利要求5也不具备创造性。
对复审请求人相关意见的评述
针对复审请求人的相关意见,合议组认同复审请求人认定的权利要求1与对比文件1之间的区别技术特征及相应的技术问题,但认为:
首先,关于对比文件1,对比文件1采用均值漂移算法分割图像,然后使用训练分类器,估计每个区域为阴影的概率(相当于步骤S300中把阴影区域和非阴影区域分割成若干个子区域)(参见第2034页右栏最后一段)。也就是说,对比文件1的方案中需要分割图像,那么也会面对图像区域分割不精确从而产生的过度分割的问题,因此,本领域技术人员在实施对比文件1的方案时会产生对过度分割区域进行合并的动机。
其次,关于对比文件2:
1)对比文件2在其论文的第2部分“PREVIOUS WORK”中介绍了已有技术中多个不同类型的图像分割算法,其中提及均值漂移方法为其中一种替代方法。而合议组用于评价本申请创造性的引用部分为对比文件2的第3部分“CONTOUR DETECTION”,其中提出了相对于现有技术改进的解决方案,采用的是分水岭算法,该解决方案并不需要应用于均值漂移方法构建的聚类框架中。
2)对比文件2涉及的是图像中一般区域的分割算法,并不专门针对于阴影和非阴影区域的分割,因此其在解决方案中考虑了亮度、颜色、纹理三个通道的特征。但是,本领域技术人员能够注意到,阴影和非阴影的图像区域相比,亮度特征的变化非常明显,是区分阴影、非阴影的重要特征;纹理特征有助于识别处于不同光照环境下的相同材质的物体,正如对比文件1第2035页左栏第2.2段中所记载的,相同材质的物体在被光照射或在光线被遮挡的情况下会表现出不同的亮度和颜色,但是其纹理不会改变,因此可以借助纹理特征来识别具有相似纹理的不同区域,并认定这些不同区域中亮度较暗的区域为阴影区域,因此纹理特征也是区分阴影、非阴影的重要特征;而物体的颜色特征虽然也会跟随光照作出改变,但是阴影和非阴影的本质区别在于光照被遮挡时光亮度的变化而不是颜色变化,阴影和非阴影区域在颜色上的区别度并不大;此外,颜色变化的影响因素众多,除了光照强度以外,还包括材料材质等因素,若考虑颜色特征,其进一步带来的计算复杂度会大大增加;因此本领域技术人员为了减小计算量,容易想到在对比文件2的方案中去除区分度不大、并且带来更大计算复杂度的颜色特征,仅保留相对于阴影和非阴影检测较为重要的亮度和纹理两个特征。
3)应当注意到,在对比文件2的方案中,明确公开了:利用数学形态学,以区域中E(x,y)的最小值为“集水盆地”计算每个区域,每个“集水盆地”对应一个区域,记为P0;两个集水盆地交汇处是“分水岭”,记为K0(相当于步骤202)(参见第906页左栏第1段);层次分割中的最底层表示最弱的边缘轮廓因此造成图像的过分割情况(相当于步骤S203中分水岭算法产生过度分割的问题,隐含公开了,将本不应该是边的地方标记为分水岭)(参见第907页左栏倒数第2段第5-7行),本文层次法通过基于“贪心图”的区域合并算法(相当于采用区域合并算法),定义一个初始图,其中节点为多个区域P0,连接线为分隔相邻区域的分水岭K0,权值W(K0)为区域间相异性的度量值(相当于W(K0)描述了相邻两个区域之间的相异性),定义两个相邻区域之间的差异性为它们共用边K0的平均能量,由OWT对权值W(K0)进行初始化(相当于W(K0)表示每条分水岭的权值,并隐含公开了,由分水岭上点的总能量除以分水岭上点的个数而得),算法根据相似度对连接线进行排序并迭代地合并最相似的区域(参见第907页左栏最后一段-右栏第3段)。区域合并的具体算法包括:1、找到权重最小的边(前面描述了对连接线进行排序,此处找到权重最小的边,因此相当于隐含公开了将分水岭按照其权值,由小到大存入队列),假定R1和R2由边C*分割,且R=R1∪R2,若合并则更新(相当于公式(12)-(13))(参见第907页右栏第1-4段)(相当于隐含公开了S300:利用基于边缘的区域融合算法将图像中不同区域分割开来,同时分别把不同区域分割成若干个子区域)。也就是说,对比文件2明确公开了其方案可以基于两个相邻区域质检的相异性并利用区域合并算法解决图像的过度分割的问题。由此可见,本申请权利要求中采用的算法过程与对比文件2是极其相似的。因此,复审请求人认为“对比文件2解决轮廓分割不明显,与本申请的过度分割问题有本质区别,并且对比文件2没有分割区域合并的技术启示,更不具有利用W(K0)构建无向图,将分水岭按照其权值,由小到大存入队列以实现分割区域合并的技术启示,本领域技术人员根据常规逻辑推理无法从对比文件2中获得本申请通过寻找权重最小的边C*=argminW(C),并结合每条分水岭的权值W(K0),对集水盆地的能量值进行更新的技术启示”,是不恰当的。
3)本申请权利要求1进一步在对比文件2的无向图G中加入集水盆地的能量值E(P0) (初始能量为0),即G=(P0,K0,W(K0),E(P0)),并进一步给出了基于能量值的区域合并具体条件和合并后更新能量值的步骤。但是,众所周知,在图像处理领域中,通常会使用“能量值”的概念,用于表征图像中的所需要关注某类或某些信息的大小或分布等特性(例如,灰度、纹路等,不同的能量含义取决于不同的能量方程),因此,为了表征每个分割区域的某种关注特性,并根据此特性来判断是否进行区域合并,本领域技术人员能够想到采用能量值来表征该特性,并在合并算法中将该能量值作为考量因素,即,容易想到在对比文件2的无向图中进一步加入集水盆地的能量值E(P0),形成G=(P0,K0,W(K0),E(P0)),并基于该能量值来进行两个图像区域是否应当合并的判断:当某一区域的能量为0,说明该能量所表征的该图像区域的特性为0,也就是说,该区域没有单独存在的必要,应当合并至与其相邻的图像区域中;而当两个区域之间的能量差值较小时(例如,差值小到比其中一个较小能量区域的能量值与一个τ系数的线性乘积还要小),也说明这两个区域差异性很小,可以将此两个区域进行合并;因此,虽然对比文件2没有公开合并条件为以下两个条件:如果min{E(R1),E(R2)}≠0则W(K0)≤τ·min{E(R1),E(R2)},其中τ为一个常数;或min{E(R1)E(R2)}=0,但是该合并条件是本领域技术人员根据常规的逻辑推理即可获得的。此外,区域合并的原则是将能量小的区域合并起来形成一个大的区域,因此区域合并以后,合并后的区域能量应当不会小于合并前的单个区域的能量或是两个区域的差异能量,因此在合并后用合并前最大的能量来更新合并后的区域能量,即,在区域合并后更新E(R)=max{E(R1),E(R2),W(C*)},是常规更新方式。因此,以上区别技术特征中未被对比文件2公开的部分特征属于本领域常规技术手段。
因此,合议组对复审请求人的意见不予支持。
三、决定
维持国家知识产权局于2017年09月06日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。