发明创造名称：一种基于自适应字典学习的多传感信息融合方法
外观设计名称：
决定号：183179
决定日：2019-06-24
委内编号：1F253588
优先权日：
申请（专利）号：201410742256.X
申请日：2014-12-04
复审请求人：河西学院
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：刘宇儒
合议组组长：宋朝
参审员：赵洋
国际分类号：G06T5/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点：如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在多个区别技术特征，而上述多个区别技术特征均属于本领域的公知常识，则该权利要求请求保护的技术方案相对于上述对比文件和公知常识的结合不具有突出的实质性特点，不具备创造性。
全文：
本复审请求涉及申请号为201410742256X，名称为“一种基于自适应字典学习的多传感信息融合方法”的发明专利申请（下称本申请）。本申请的申请人为河西学院，申请日为2014年12月04日，公开日为2015年03月25日。
经实质审查，国家知识产权局实质审查部门于2018年03月19日发出驳回决定，以权利要求1不具备专利法第22条第3款规定的创造性为由驳回了本申请。驳回决定所依据的文本为：申请日2014年12月04日提交的说明书第1-4页、说明书附图第1页、说明书摘要、摘要附图，以及2017年10月17日提交的权利要求第1项。
驳回决定所针对的权利要求书的内容如下：
“1. 一种基于自适应字典学习的多传感信息融合方法，其特征在于，步骤为：
估计输入图像的最大噪声方差；
图像分块；
字典学习；
自适应稀疏编码；
数据融合；
图像块重构；
图像重建；
所述图像分块包括：
将所有待融合图像分别按照原子大小逐像素分块；
将块按列向量方式排成样本矩阵；
由样本矩阵构成样本集；
所述字典学习包括：
从样本集中随机取若干个样本构成新的训练样本；
对新训练样本去均值，然后经迭代运算获取自适应字典；
所述稀疏编码包括：
将样本矩阵在自适应字典上采用ASP算法实现稀疏分解，获得稀疏系数矩阵；
所述数据融合包括：
将稀疏系数矩阵采用一定的融合规则选择特征显著性系数作为融合系数；
所述图像块重构包括：
将融合稀疏与过完备字典的卷积实现块重构，并得到重构图像块向量；
所述图像重构包括：
将重构图像块向量、恢复为图像块数据、加均值并按照分块时的顺序重新排列；
对重叠块取平均实现图像重建，获得最后的融合图像。”
驳回决定中引用的对比文件为：
对比文件1：“自适应字典学习的多聚焦图像融合”，严春满等，《中国图象图形学报》，2012年第17卷第9期，第1144-1149页，公开日期：2012年09月30日。
驳回决定的具体理由为：权利要求1与对比文件1的区别技术特征在于：1）多传感信息融合；而对比文件1为多聚焦图像信息融合；2）所述稀疏编码包括，将样本矩阵在自适应字典上采用ASP算法实现稀疏分解，获得稀疏系数矩阵；而对比文件1为OMP算法。上述区别技术特征1）是本领域的公知常识，上述区别技术特征2）是本领域技术人员在对比文件1公开内容的基础上结合本领域的公知常识容易想到的。因此，权利要求1不具备专利法第22条第3款规定的创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2018年06月06日向国家知识产权局提出了复审请求，提交了意见陈述书和权利要求书全文修改替换页。复审请求人认为：（1）本申请采用多传感信息融合，通过图像传感器多次采集同一目标的图像，利用不同传感器的数据间的互补性和冗余性，将不同的传感器的数据进行融合。对比文件1中的多聚焦图像融合是指当摄像机对与镜头相距不同的两个目标A和B进行拍摄时，通常经过两次拍摄，使其中一幅图片聚焦在目标A，另一幅图片聚焦在目标B，再对拍摄的两幅图片进行融合处理。（2）本申请将稀疏系数矩阵采用一定的融合规则选择特征显著性系数作为融合系数，所述融合规则基于区域能量的加权系数的自适应选取。本申请基于区域能量的融合方法，在确定融合的权值时充分考虑了区域能量的分布，如果某一区域能量较大，则对应的加权系数也会较大，若区域能量较小，则对应的加权系数也会较小，符合原始图像本身特征对加权系数影响的特点。（3）本申请通过提供一种基于自适应字典学习的多传感信息融合方法，得到高质量的融合图像，更有利于人眼的观察。
复审请求人2018年06月06日提交的权利要求书的内容如下：
“1. 一种基于自适应字典学习的多传感信息融合方法，其特征在于，步骤为：估计输入图像的最大噪声方差；
图像分块；
字典学习；
自适应稀疏编码；
数据融合；
图像块重构；
图像重建；
所述图像分块包括：
将所有待融合图像分别按照原子大小逐像素分块；
将块按列向量方式排成样本矩阵；
由样本矩阵构成样本集；
所述字典学习包括：
从样本集中随机取若干个样本构成新的训练样本；
对新训练样本去均值，然后经迭代运算获取自适应字典；
所述稀疏编码包括：
将样本矩阵在自适应字典上采用ASP算法实现稀疏分解，获得稀疏系数矩阵；
所述数据融合包括：
将稀疏系数矩阵采用一定的融合规则选择特征显著性系数作为融合系数，所述融合规则基于区域能量的加权系数的自适应选取；
所述图像块重构包括：
将融合稀疏与过完备字典的卷积实现块重构，并得到重构图像块向量；所述图像重构包括：
将重构图像块向量、恢复为图像块数据、加均值并按照分块时的顺序重新排列；
对重叠块取平均实现图像重建，获得最后的融合图像。”
经形式审查合格，国家知识产权局于2018年06月19日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局依法成立合议组对本案进行审理。
合议组于2019年04月22日向复审请求人发出复审通知书，指出：权利要求1不具备专利法第22条第3款规定的创造性。针对复审请求人的复审请求意见，合议组认为：（1）本申请和对比文件1一样并非必然是针对同一目标，而是针对同一场景。多传感器数据融合就是把分布在不同位置的多个传感器所提供的局部数据资源加以整合，来获得整个场景的完整图像，从而获得目标场景的完整描述信息，因此本申请的多幅图像也并非必然是针对同一目标的。对比文件1指出，多聚焦图像融合是指将同一场景不同聚焦情况下获得的多幅图像综合成一幅全景相对清晰的图像的过程，通过综合利用不同图像之间的互补信息和冗余信息，可获得对该场景更为全面准确的描述，因此，对比文件1也是用于实现完整场景信息的整合和描述。而在本领域，通过多个图像传感器（相机）获取图像，从而利用相应的多个传感信息进行图像融合，属于本领域的公知常识。（2）对比文件1“模值取大”的融合规则只是融合规则中的一种，在本领域，加权融合规则也是一种常见的融合规则。例如，在A和B两幅图像经小波分解后的同一特征域上，其局部区域间的匹配度小于阈值时，说明这一特征域在该区域上的能量差别较大，此时通常选择“能量大”的区域中心像素的小波系数作为融合后这一特征域上的中心像素的小波系数，即“模值取大”的融合规则。反之，说明这一特征域上的在该区域上的能量相近或差别不大，此时通常采用“加权融合算子”来确定这一特征域在该区域上的中心像素的小波系数。本领域技术人员可以根据实际情况选择合适的融合规则，当选择区域能量的加权融合规则时，若两幅图像A和B的中心位置的局域能量分别为EA和EB，则图像A和B的加权系数通常对应的公式分别为EA/（EA EB）和EB /（EA EB），根据上述加权系数公式可知当图像A的某一区域能量较大，则图像A对应的加权系数也会较大，若当图像A的区域能量较小，则图像A对应的加权系数也会较小，因此这种加权算子的融合规则是自适应的，加权系数相当于是自适应选取的，属于本领域的公知常识。（3）对比文件1也公开了一种基于自适应字典学习的多幅图像信息融合方法，对比文件1中的图像过完备稀疏表示的迭代运算过程中可同时获得训练样本的过完备字典及稀疏系数。对比文件1中通过综合利用同一场景下的多幅不同图像之间的互补信息和冗余信息，可获得对该场景更为全面准确的描述，也可以获得复审请求人所陈述的上述技术效果。即便如前述审查意见分析本申请与对比文件1存在区别，但是这些区别所带来的不同也是本领域技术人员可以预期的，不会给本申请带来创造性。
复审请求人于2019年05月28日提交了答复上述复审通知书的意见陈述书，未提交修改文件。复审请求人意见陈述如下：（1）本申请公开的基于自适应字典学习的多传感信息融合方法利用基于区域能量的融合方法，将稀疏系数矩阵采用一定的融合规则选择特征显著性系数作为融合系数，融合规则基于区域能量的加权系数的自适应选取，在确定融合的权值时充分考虑了区域能量的分布，根据能量分布的大小合理分配加权系数，如果某一区域能量较大，则对应的加权系数也会较大，若区域能量较小，则对应的加权系数也会较小，符合原始图像本身特征对加权系数影响的特点。（2）本申请采用多传感信息融合，通过图像传感器多次采集同一目标的图像，利用不同传感器的数据间的互补性和冗余性，将不同的传感器的数据进行融合。对比文件1中的多聚焦图像融合是指当摄像机对与镜头相距不同的两个目标A和B进行拍摄时，通常经过两次拍摄，使其中一幅图片聚焦在目标A，另一幅图片聚焦在目标B，再对拍摄的两幅图片进行融合处理。（3）因此，对比文件1提供的图像融合方法达不到本申请中方法实现的融合图像场景清晰、信息量大，更利于人眼的观察、融合过程简单高效的效果。
在上述程序的基础上，合议组认为本案事实已经清楚，可以依法作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人于2018年06月06日提交了权利要求书的全文修改替换页，经审查，所作修改符合专利法实施细则第61条第1款和专利法第33条的规定。本复审请求审查决定所依据的文本为：申请日2014年12月04日提交的说明书第1-4页、说明书附图第1页、说明书摘要、摘要附图，以及2018年06月06日提交的权利要求第1项。
2、关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在多个区别技术特征，而上述多个区别技术特征均属于本领域的公知常识，则该权利要求请求保护的技术方案相对于上述对比文件和公知常识的结合不具有突出的实质性特点，不具备创造性。
本复审请求审查决定引用的对比文件与驳回决定和复审通知书中引用的对比文件相同，即：
对比文件1：“自适应字典学习的多聚焦图像融合”，严春满等，《中国图象图形学报》，2012年第17卷第9期，第1144-1149页，公开日期：2012年09月30日。
2.1、权利要求1请求保护一种基于自适应字典学习的多传感器信息融合方法，对比文件1公开了一种自适应字典学习的多聚焦图像融合方法，并披露了如下技术特征（参见对比文件1第1144-1146页）：
多聚焦图像融合通过综合利用不同图像之间的互补信息和冗余信息，可获得对该场景更为全面、准确的描述。
以两幅已经配准好的多聚焦图像而言，其具体融合过程如下：
1）估计输入图像的最大噪声方差；2）图像分块；3）字典学习；4）稀疏编码；5）数据融合；6）图像块重构；7）图像重建。
（1）稀疏编码；（2）字典更新：重复步骤（1）、（2）直至到达最大迭代次数，获得样本集的稀疏编码矩阵A及自适应字典（由此可见，通过稀疏编码、字典更新能得到相应的自适应字典，因此，该稀疏编码属于“自适应稀疏编码”）。
图像分块。若原子大小设定为M，M=n×n’，那么，需要将待融合图像a、b分别按照原子大小逐像素分为P1及P2个n×n大小的块，将块按列向量方式排成样本矩阵X1及X2，并由X1及X2构成样本集F，F=[X1，X2]（相当于“所述图像分块包括：将所述待融合图像分别按照原子大小逐像素分块；将块按列向量方式排成样本矩阵；由样本矩阵构成样本集”）。
字典学习。从F中随机取P个样本构成新的训练样本X，X的大小为M×N，先对X去均值，然后依照第1节的步骤经迭代运算获取自适应字典D（相当于“所述字典学习包括：从样本集中随机取若干个样本构成新的训练样本；对新训练样本去均值，然后经迭代运算获取自适应字典”）。
稀疏编码。将X1及X2在字典D上采用OMP算法实现稀疏分解，获得稀疏系数矩阵A1及A2，其每一列对应一个图像块（即公开了“所述稀疏编码包括：将样本矩阵在自适应字典上采用OMP算法实现稀疏分解，获得稀疏系数矩阵”）。
数据融合。将A1及A2采用一定的融合规则选择特征显著性系数作为融合系数A（相当于 “所述数据融合包括：将稀疏系数矩阵采用一定的融合规则选择特征显著性系数作为融合系数”）。
图像块重构。融合系数与过完备字典的卷积实现块重构，即 ， 为融合后的重构图像块向量（相当于“所述图像块重构包括：将融合稀疏与过完备字典的卷积实现块重构，并得到重构图像块向量”）。
图像重建。将恢复为图像块数据、加均值并按照分块时的顺序重新排列，对重叠块取平均实现图像重建，获得最后的融合图像f（相当于“所述图像重构包括：将重构图像块向量、恢复为图像块数据、加均值并按照分块时的顺序重新排列；对重叠块取平均实现图像重建，获得最后的融合图像”）。
由此可见，该权利要求的技术方案与对比文件1相比，其区别技术特征为：1）权利要求1是多传感信息融合；而对比文件1为多聚焦图像信息融合；2）权利要求1采用ASP算法实现稀疏分解，而对比文件1为OMP算法实现稀疏分解。3）所述融合规则基于区域能量的加权系数的自适应选取。基于上述区别技术特征，可以确定该权利要求实际解决的技术问题为：1）如何进行图像融合；2）采用何种算法实现稀疏分解；3）选取何种融合规则。
对于上述区别技术特征1），在本领域，通过多个图像传感器（相机）获取图像，从而利用相应的传感信息进行多传感器图像融合，属于本领域的公知常识。
对于上述区别技术特征2），对比文件1已经公开了“所述稀疏编码包括，将样本矩阵在自适应字典上采用OMP算法实现稀疏分解，获得稀疏系数矩阵”。而且，本领域技术人员公知， ASP算法是常见的稀疏分析算法，2012年Giryes把稀疏综合模型下子空间追踪类推到稀疏补分析模型中，提出分析子空间追踪（ Analysis Subspace Pursuit，ASP）算法，使得算法的重构性能有一定提高，给出了保证算法收敛的充分条件、重构误差上界。因此，本领域技术人员容易想到，采用ASP算法替换原有的OMP算法实现稀疏分解，这属于本领域的常规选择，属于本领域的公知常识。
对于上述区别技术特征3），对比文件1指出了将A1及A2采用一定的融合规则选择特征显著性系数作为融合系数A。这里融合规则选取的是“模值取大”的融合规则，即选取A1和A2对应位置绝对值最大的系数作为融合系数。然而，对比文件1“模值取大”的融合规则只是融合规则中的一种，在本领域，加权融合规则也是一种常见的融合规则。本领域技术人员可以根据实际情况选择合适的融合规则，加权融合算子的融合规则是自适应的，加权系数相当于是自适应选取的，属于本领域的公知常识。
由此可知，在对比文件1的基础上结合本领域的公知常识，得到权利要求1要求保护的技术方案对本领域技术人员而言是显而易见的。因此，权利要求1不具有突出的实质性特点，不具备专利法第22条第3款规定的创造性。
3、关于复审请求人意见陈述
对此，合议组认为：
（1）虽然对比文件1中公开的融合规则是“模值取大”的融合规则，但是在本领域，加权融合规则也是一种常见的融合规则。例如，在A和B两幅图像经小波分解后的同一特征域上，其局部区域间的匹配度小于阈值时，说明这一特征域在该区域上的能量差别较大，此时通常选择“能量大”的区域中心像素的小波系数作为融合后这一特征域上的中心像素的小波系数，即“模值取大”的融合规则。反之，说明这一特征域上的在该区域上的能量相近或差别不大，此时通常采用“加权融合算子”来确定这一特征域在该区域上的中心像素的小波系数。本领域技术人员可以根据实际情况选择合适的融合规则，当选择区域能量的加权融合规则时，若两幅图像A和B的中心位置的局域能量分别为EA和EB，则图像A和B的加权系数通常对应的公式分别为EA/（EA EB）和EB /（EA EB），根据上述加权系数公式可知当图像A的某一区域能量较大，则图像A对应的加权系数也会较大，若当图像A的区域能量较小，则图像A对应的加权系数也会较小，因此这种加权算子的融合规则是自适应的，加权系数相当于是自适应选取的，属于本领域的公知常识。
（2）多传感器数据融合就是把分布在不同位置的多个传感器所提供的局部数据资源加以整合，来获得整个场景的完整图像，从而获得目标场景的完整描述信息，因此本申请的多幅图像实际上也并非如复审请求人所陈述的必然是针对同一目标的，而是和对比文件1一样是针对同一场景。对比文件1指出，多聚焦图像融合是指将同一场景不同聚焦情况下获得的多幅图像综合成一幅全景相对清晰的图像的过程，通过综合利用不同图像之间的互补信息和冗余信息，可获得对该场景更为全面准确的描述，因此，对比文件1也是用于实现完整场景信息的整合和描述。而在本领域，通过多个图像传感器（相机）获取图像，从而利用相应的多个传感信息进行图像融合，属于本领域的公知常识。
（3）对比文件1也公开了一种基于自适应字典学习的多幅图像信息融合方法，对比文件1中的图像过完备稀疏表示的迭代运算过程中可同时获得训练样本的过完备字典及稀疏系数。对比文件1中通过综合利用同一场景下的多幅不同图像之间的互补信息和冗余信息，可获得对该场景更为全面准确的描述，因此也可以获得复审请求人所陈述的上述技术效果。
基于以上事实和理由，本案合议组依法作出如下决定。
三、决定
维持国家知识产权局于2018年03月19日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
