发明创造名称：基于NSCT及深度信息激励PCNN的多聚焦图像融合方法
外观设计名称：
决定号：198991
决定日：2019-12-27
委内编号：1F273004
优先权日：
申请（专利）号：201610039111.2
申请日：2016-01-20
复审请求人：中国矿业大学
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：姜楠
合议组组长：甘文珍
参审员：刘浩然
国际分类号：G06T5/50；G06N3/04
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与最接近的现有技术相比存在区别技术特征，其中，部分区别技术特征被其他对比文件公开，其余区别技术特征属于本领域的公知常识，现有技术给出了将上述区别技术特征应用到所述最接近现有技术中以解决其存在的技术问题的技术启示，则该项权利要求请求保护的技术方案不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
全文：
本复审请求涉及申请号为201610039111.2，名称为“基于NSCT及深度信息激励PCNN的多聚焦图像融合方法”的发明专利申请。申请人为中国矿业大学（下称复审请求人）。本申请的申请日为2016年01月20日，公开日为2016年05月04日。
经实质审查，国家知识产权局原审查部门于2018年11月29日发出驳回决定，驳回了本申请，其理由是：（1）独立权利要求1与对比文件1（“基于NSCT和PCNN的红外与可见光图像融合方法”，李美丽等，光电工程，第37卷第6期，第90-95页，2010年06月30日）的区别技术特征是本领域的惯用技术手段，在对比文件1的基础上结合本领域的惯用技术手段得到权利要求1的技术方案是显而易见的，因此，权利要求1不具备专利法第22条第3款规定的创造性；（2）权利要求2的附加技术特征被对比文件1公开, 因此，权利要求2不具备专利法第22条第3款规定的创造性；（3）权利要求3与对比文件1相比进一步的区别技术特征为：（a）步骤（1）：PCNN模型初始化，设定参数的初始值和迭代次数；（b） 步骤（2）和步骤（3）。区别技术特征（a）是本领域公知常识，区别技术特征（b）被对比文件4（“Multi-focus image fusion based on nonsubsampled shearlet transform and pulse coupled neural network with self-similarity and depth information”，Liu Shuai Qi等，《http://scientificadvances.co.in》，第47-65页，2015年04月30日）、对比文件5（“High quality multi-focus image fusion using self-similarity and depth information”，Di Guo等，《Optics Communications》，第138-144页，2014年10月22日）、以及对比文件6（“Defocus map estimation from a single image”，Shaojie Zhuo等，《Pattern Recognition》，第1852-1858页，2011年03月21日）公开，在对比文件1的基础上结合对比文件4-6以及本领域公知常识得到权利要求3的技术方案是显而易见的，因此，权利要求3不具备专利法第22条第3款规定的创造性。
驳回决定所依据的文本为：申请日2016年01月20日提交的权利要求第1-3项、说明书第1-72段、说明书附图图1-5、说明书摘要和摘要附图。驳回决定所针对的权利要求书如下：
“1. 一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法其特征在于，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带和高频子带采取不同的融合规则得到融合子带系数，高频子带采用改进的PCNN模型确定融合系数，最后通过非下采样Contourlet逆变换得到融合图像。
2. 根据权利要求1，本发明方法包含以下具体步骤：
(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像IA和IB进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的高频子带图像；
(2)对低频子带图像IA-lf和IB-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像IF-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度，能量表达式为：
I(i,j)为边缘矩阵元素；
(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像和分别为源图像分解后的第k尺度、l方向上的高频子图像；
(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像IF。
3. 根据权利要求2，高频子带图像融合规则采用的改进PCNN模型的融合策略，其具体步骤如下：
(1)PCNN模型初始化，设定参数的初始值和迭代次数；
(2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度值作为输入对象；
(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入，用I(i,j)表示图像在(i,j)处的系数，SML的定义如下：
引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：
R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，σ0表示重模糊核的标准偏差，称为重模糊尺度，则PCNN的输入项Fij定义为：
Fij＝SML(i,j)*[d(r)]-2
N为区域窗口大小；
(4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定，本文将采取像素的拉普拉斯能量(laplace_energy,LE)以及可见度(visibility,VI)作为神经元的链接强度值；
其中f(u,v)为(u,v)处的像素值，ω为以(x,y)为中心的窗口，mk为窗口中的像素灰度平均值，N为该窗口中总的像素数，拉普拉斯能量越大，该局部图像越清晰；
(5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像pcnnALE及pcnnAVI值，图像A的pcnnA＝(pcnnALE pcnnAVI)/2；同理也可以计算图像B的pcnnB＝(pcnnBLE pcnnBVI)/2，pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数。”
申请人（下称复审请求人）对上述驳回决定不服，于2019年01月19日向国家知识产权局提出了复审请求，并提交了修改的权利要求书，将原从属权利要求2-3补入独立权利要求1中，并补入部分说明书的内容。复审请求人认为：对比文件1采用不同改进的PCNN模型来确定融合系数，即使将该技术推广到多聚焦图像融合方法，也与本技术方案不同。本申请权利要求1与对比文件1所采用的模型、参数、公式等均有不同，本技术方案相对于对比文件1实际解决的技术问题是，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带与高频子带采用与现有技术不同的模型、参数、公式和方法确定融合系数，最后通过非下采样Contourlet逆变换得到融合图像。修改后的权利要求书如下：
“1. 一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法，其特征在于，对多聚焦的源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带和高频子带采取不同的融合规则得到融合子带系数，低频子带采用基于子带系数的边缘信息能量来得到融合后的低频子带图像，高频子带采用一种新的PCNN模型确定融合系数，其中，图像的每个像素点对应一个神经元，将改进拉普拉斯能量和与图像深度信息结合的因子作为神经元输入，各源图像输入网络后进行相同的迭代次数，根据神经元的点火次数选取较大的那个神经元对应的输入的图像的像素值作为得到的融合系数，最后通过非下采样Contourlet逆变换得到融合图像；
本发明方法包含以下具体步骤：
(1)在对同一场景的多聚焦图像进行配准的预处理基础上，分别对多聚焦图像IA和IB进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的高频子带图像；
(2)对低频子带图像IA-lf和IB-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像IF-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度，能量表达式为：
I(i,j)为边缘矩阵元素；
(3)高频子带图像和采用改进的PCNN进行融合得到融合后的高频子带图像和分别为源图像分解后的第k尺度、l方向上的高频子图像；
(4)逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像IF。
其中，高频子带图像融合规则采用的改进PCNN模型的融合策略，其具体步骤如下：
(1)PCNN模型初始化，设定参数的初始值和迭代次数；
(2)将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度值作为输入对象；
(3)将改进拉普拉斯能量和(SML)与图像深度信息d(r)结合的因子作为神经元输入，用I(i,j)表示图像在(i,j)处的系数，SML的定义如下：
引入的深度信息可用来移除图像的不清晰边缘，深度信息d(r)的定义如下：
R(r)表示输入的散焦图像的梯度和它的高斯核重模糊图像梯度的比值，σ0表示重模糊核的标准偏差，称为重模糊尺度，则PCNN的输入项Fij定义为：
Fij＝SML(i,j)*[d(r)]-2
N为区域窗口大小；
(4)与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定，本文将采取像素的拉普拉斯能量(laplace_energy,LE)以及可见度(visibility,VI)作为神经元的链接强度值；
其中f(u,v)为(u,v)处的像素值，ω为以(x,y)为中心的窗口，mk为窗口中的像素灰度平均值，N为该窗口中总的像素数，拉普拉斯能量越大，该局部图像越清晰；
(5)取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像pcnnALE及pcnnAVI值，图像A的pcnnA＝(pcnnALE pcnnAVI)/2；同理也可以计算图像B的pcnnB＝(pcnnBLE pcnnBVI)/2，pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数。”
经形式审查合格，国家知识产权局于2019年02月19日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年10月22日向复审请求人发出复审通知书，指出权利要求1相对于对比文件1、对比文件5、对比文件6和本领域公知常识的结合不具备专利法第22条第3款规定的创造性。并针对复审请求人的意见进行了答复：虽然对比文件1没有公开本申请的全部步骤，但其公开了采用NSCT和改进的PCNN进行图像融合的方案，其区别仅在于对于高频子带图像融合规则所采用的改进PCNN模型的部分步骤，但是所述区别部分属于本领域公知常识（区别2）），部分被对比文件5和对比文件6公开（区别1）、3））。虽然对比文件1公开的是红外与可见光图像进行融合，本申请和对比文件5公开的是多聚焦图像融合，其实质均是将多个图像融合，属于相同的领域，本领域技术人员面对如何进行多聚焦图像融合的技术问题时，容易想到参考对比文件1的图像融合方式，此外，复审请求人所述的与对比文件1的PCNN模型的不同之处主要在于引入了深度信息以移除图像的不清晰边缘，然而，对比文件5和对比文件6公开了该部分内容，其作用也是在图像融合过程中使图像更清晰，如上所述，本领域技术人员在对比文件1、对比文件5、对比文件6及公知常识的基础上，获得本申请的技术方案是显而易见的，其带来的技术效果也是可以预料的。
复审请求人针对复审通知书于2019年11月21日提交了意见陈述书，并未提交修改文本。复审请求人认为：本申请权利要求1与对比文件1的不同在于：所处理的源图像不同，本申请对多聚焦的源图像进行多尺度方向的非下采样Contourlet变换，因此不会在精度等指标上有损失，而且，本方法对低频子带与高频子带采用了与现有技术都不同的模型和方法来确定融合系数，这是一种在技术上的创新，最后，利用非下采样Contourlet逆变换得到融合图像。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人在答复复审通知书时并未提交修改文本，本复审决定所针对的审查文本与复审通知书所针对的审查文本相同，即：申请日2016年01月20日提交的说明书第1-72段、说明书附图图1-5、说明书摘要、摘要附图；2019年01月19日提交的权利要求第1项。
（二）关于创造性
专利法第22条第3款规定：“创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步”。
如果一项权利要求请求保护的技术方案与最接近的现有技术相比存在区别技术特征，其中，部分区别技术特征被其他对比文件公开，其余区别技术特征属于本领域的公知常识，现有技术给出了将上述区别技术特征应用到所述最接近现有技术中以解决其存在的技术问题的技术启示，则该项权利要求请求保护的技术方案不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
合议组在本复审决定中引用的对比文件为驳回决定、复审通知书中引用的对比文件1、对比文件5、和对比文件6，即：
对比文件1：“基于 NSCT 和 PCNN 的红外与可见光图像融合方法”，李美丽等，光电工程，第37卷第6期，第90-95页，2010年06月30日
对比文件5：“High quality multi-focus image fusion using self-similarity and depth information”，Di Guo等，《Optics Communications》，第138-144页，2014年10月22日
对比文件6：“Defocus map estimation from a single image”，Shaojie Zhuo等，《Pattern Recognition》，第1852-1858页，2011年03月21日
其中，对比文件1作为最接近的现有技术。
权利要求1请求保护一种基于非下采样Contourlet变换及深度信息激励PCNN的多聚焦图像融合方法，对比文件1公开了一种基于 NSCT和PCNN的图像融合方法，并具体公开了(参见第90页第1段-第93页倒数第3段)：
非采样Contourlet变换首先采用非采样塔式滤波器组对图像进行多尺度分解，然后再采用非采样方向滤波器组对得到的各尺度子带图像进行方向分解，如图1所示。输入图像和一个二维滤波器模板卷积后得到原始图像的低频近似图像，原始图像和低频图像的差值则是高频细节平面。然后，将非采样方向滤波器组作用于高频细节平面，得到图像的方向性细节特征。图像经N级NSCT分解后可得到个与原始输入图像尺寸大小相同的子带图像，其中lj为尺度j下的方向分解级数（即将源图像分解为低频子带图像和一系列不同分辨率的高频子带图像）。
1) 分解：对已配准的两幅源图像A和 B进行NSCT分解，得到不同尺度、方向子带系数， 其中和分别为 A 和 B 的低频子带系数， 和分别为A和B尺度i上第j个方向子带系数(即公开了在对同一场景的图像进行配准的预处理基础上，分别对图像IA和IB进行多尺度、多方向的非下采样Contourlet变换，两图各分解为一幅低频子带图像和一系列不同分辨率的子带图像)；
2) 融合：对低频子带系数和各带通子带系数分别采用3.1和3.2的融合规则得到融合图像F的NSCT的系数（结合前述可知，进行NSCT分解得到的各带通子带系数即为高频子带系数，即公开了对源图像进行多尺度多方向的非下采样Contourlet变换后，对低频子带和高频子带采取不同的融合规则得到融合子带系数）。
3. 1低频子带系数融合规则
目前人们对低频分量常采用简单的平均法，由于没有考虑图像的边缘等特征，这样就会在一定程度上降低图像的对比度。因此，本文对低频子带系数采用基于边缘的选择方案。对源图像 A 的低频子带系数定义一个变量 EA：
同样，对于图像B可定义变量 EB，变量 E 在一定程度上反映了图像在水平、垂直和对角线方向的边缘信息。因此为了较好地保留原图像中的细节，可对两幅图像的低频子带系数计算出变量E，并选择E较大的尺度系数作为融合图像的低频子带系数，这样就能在融合图像中最大程度的保留原图像的边缘信息。融合函数表达为：
(由以上内容可知，图像分解后的低频子带系数与卷积模板进行卷积得到的结果可认为是图像的边缘矩阵元素；并且融合函数表达式可表示融合后的低频子带图像，上述内容即公开了低频子带采用基于子带系数的边缘信息能量来得到融合后的低频子带图像，对低频子带图像IA-lf和IB-lf采用基于子带系数的边缘信息能量来得到融合后的低频子带图像IF-lf，而没有采用传统方法平均法，因为该方法没有考虑图像边缘的信息，降低了图像的对比度，能量表达式为：)。
3. 2带通子带系数融合规则
带通子带系数融合规则采用改进的基于PCNN的融合方法，和分别为A和B尺度i上第j个方向子带系数（即高频子带采用一种新的PCNN模型确定融合系数，采用改进的PCNN进行融合得到融合后的高频子带图像和分别为源图像分解后的第k尺度、l方向上的高频子图像）。
3) 反变换：对F的NSCT 的系数进行非采样 Contourlet 逆变换，得到融合图像F(即逆变换，对得到的高频及低频图像采取非下采样Contourlet逆变换，得到融合后的图像IF)。
PCNN用于图像处理时，是一个单层二维的局部连接的网络，神经元的个数等于输入图像中的像素点的个数，神经元与像素点一一对应。n次迭代后，人们常利用(i,j)神经元总的点火次数来表示图像对应点处的信息。经过PCNN点火由神经元总的点火次数构成的点火映射图作为PCNN的输出（即公开了将高频子带图像作为输入图像，每个像素点对应一个神经元，但不是将像素点的灰度值作为输入对象）
PCNN 中神经元链接强度的取值与对应像素的特征有一定的关系，而不是固定的常数。一个特征仅能衡量图像的一个方面，且拉普拉斯能量(Energy of Laplacian，EOL)比梯度能量更能有效的衡量区域的清晰度。因此本文利用像素的 EOL 和可见度(Visibility，VI)分别作为PCNN中对应神经元链接强度的值。像素点( x ,y)处的 EOL 和 VI 分别定义如下：
式中：f (u ,v)为(u ,v)处的像素值，ω为以(x,y)为中心的窗口，mk为窗口ω中所有像素灰度平均值，N为窗口ω中总像素数。拉普拉斯能量反映了图像局部的清晰度，拉普拉斯能量越大，图像越清晰(即公开了与原始PCNN模型不同，本发明的PCNN模型神经元的链接强度并没有取相同的固定常数值，而是由对应的像素特征所决定，本文将采取像素的拉普拉斯能量(laplace_energy,LE)以及可见度(visibility,VI)作为神经元的链接强度值:
其中f(u，v)为(u，v)处的像素值，ω为以(x，y)为中心的窗口，mk为窗口中的像素灰度平均值，N为该窗口中总的像素数，拉普拉斯能量越大，该局部图像越清晰)。
改进的基于PCNN的融合步骤如下:
1)对待融合的两幅图像I1和I2归一化分别记为I1’和I2’。令I1’作为第一个神经网络PCNN1和第二个神经网络PCNN2中各神经元的反馈输入，I2’作为第三个神经网络PCNN3和第四个神经网络PCNN4中各神经元的反馈输入;
2）计算I1’和I2’中每个像素的EOL，并将其分别作为PCNN1和PCNN3中相应神经元的连接强度值;计算I1’和I2’中每个像素的VI，并将其分别作为PCNN2和PCNN4中相应神经元的连接强度值；
3)设 PCNNi的输出为 Oi(i =1,2,3,4)，则由加权函数可得I1 和I2 对应的新点火映射图 和：，其中 (本文中选取)；
4)采用如下规则选取融合系数：
（即公开了取得以拉普拉斯能量及可见度作为神经元的链接强度后，分别计算相应的图像pcnnALE及pcnnAVI值，图像A的pcnnA＝(pcnnALE pcnnAVI)/2；同理也可以计算图像B的pcnnB＝(pcnnBLE pcnnBVI)/2，pcnnA与pcnnB二者中较大的系数作为最终的NSCT系数；根据神经元的点火次数选取较大的那个神经元对应的输入的图像的像素值作为得到的融合系数）。
该权利要求与对比文件1相比的区别为：
1）源图像为多聚焦图像。
2）PCNN模型初始化，设定参数的初始值和迭代次数，以及各源图像输入网络后进行相同的迭代次数。
3）改进PCNN模型的融合策略的步骤（3）。
基于上述区别技术特征可以确定本申请实际解决的技术问题为：选择何种图像进行融合，如何对PCNN模型初始化，以及在图像融合过程中如何使图像更清晰。
对于区别1）、3），对比文件5公开了一种使用自相似度和深度信息进行高质量多焦点图的融合（即公开了源图像为多聚焦图像）(参见第2-3节)：处的SML定义为：
，
边缘位置的深度信息d(r)由以下公式计算:
其中，R(r)表示散焦图像的梯度与重模糊函数的比值，具体参见参考文献[25]，而参考文献[25]，即对比文件6公开了(参见第3节)：
其中， 表示高斯重模糊核的标准差，即重模糊度。
此外，对比文件5还公开了(参见第2.2节)：深度信息可以用作图像清晰度指标的细化
，
其中，M(r)是SML。通过将深度信息引入到图像融合中，模糊伪影被显着去除。
综上所述，无论是将红外与可见光图像进行融合或是将多聚焦图像融合，其实质均是将多图像融合，均属于图像融合领域，并且，上述对比文件5和对比文件6公开的内容也是通过将深度信息引入到图像融合中来使得图像更清晰，因此，对比文件5和6给出了将上述区别技术特征应用到对比文件1中以解决其技术问题的技术启示。
对于区别2），在本领域中，设定参数初始值和迭代次数，以及源图像输入网络后进行相同的迭代次数是本领域的公知常识，例如，《数字图像处理 MATLAB版》（闫敬文，北京：国防工业出版社，2007年02月)属于现代计算机科学与技术教材系列，其公开了基于PCNN的高频域融合算法中进行设定参数初始值和迭代次数，以及对源图像输入网络后进行相同迭代次数的步骤（参见第192-193页，第8.4.6.3节）。
由此可见，在对比文件1的基础上结合对比文件5、对比文件6以及本领域公知常识得出权利要求1的技术方案，对本领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
（三）关于复审请求人的意见
对于复审请求人的意见（参见案由部分），合议组认为：虽然对比文件1和本申请所处理的源图像不同，但对比文件5已经公开了对多聚焦图像进行融合，并且，无论是红外与可见光图像进行融合，还是多聚焦图像融合，其实质均是将反映同一场景下的多个图像进行融合，均属于图像融合领域。此外，本申请权利要求1中对图像进行多尺度方向的非下采样Contourlet变换、对低频子带与高频子带采用的模型和方法以确定融合系数、以及利用非下采样Contourlet逆变换得到融合图像的相关步骤或被对比文件1、对比文件5、对比文件6公开，或属于本领域公知常识，本领域技术人员在对比文件1、对比文件5、对比文件6及公知常识的基础上，获得本申请的技术方案是显而易见的，进而其带来的技术效果也是可以预料的。因此，合议组对于复审请求人的意见不予接受。
三、决定
维持国家知识产权局于2018年11月29日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
