发明创造名称：一种单分子图像纠偏方法
外观设计名称：
决定号：200741
决定日：2020-01-14
委内编号：1F266843
优先权日：
申请（专利）号：201510501154.3
申请日：2015-08-14
复审请求人：深圳市瀚海基因生物科技有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：李晨
合议组组长：甘文珍
参审员：张焰
国际分类号：G06T5/50
外观设计分类号：
法律依据：专利法第二十二条第三款
决定要点：如果一项权利要求相对于最接近的现有技术存在区别，部分区别是基于其他对比文件容易想到的，其余区别属于本领域的常用技术手段，并且现有技术整体上给出了将上述区别应用到该最接近的现有技术中以解决其技术问题的启示，则该权利要求不具备创造性。
全文：
本复审请求涉及申请号为201510501154.3、名称为“一种单分子图像纠偏方法”的发明专利申请（下称本申请）。申请人为深圳市瀚海基因生物科技有限公司。本申请的申请日为2015年08月14日，公开日为2016年02月03日。
经实质审查，国家知识产权局原审查部门于2018年08月15日对本申请发出了驳回决定，指出权利要求1-4相对于对比文件1（CN101377848A，公开日为2009年03月04日）、对比文件2（CN101751572A，公开日为2010年06月23日）和本领域常用技术手段的结合不具备专利法第二十二条第三款规定的创造性。驳回决定所依据的文本为：申请日2015年08月14日提交的摘要附图、说明书摘要；2015年12月14日提交的说明书第1-113段、说明书附图图1-5；2017年09月30日提交的权利要求第1-4项。驳回决定所针对的权利要求书如下：
“1. 一种单分子图像纠偏方法，其特征在于，所述方法包括：
计算第一图像的每一像素点对应的亮度值矩阵与预设矩阵的相似度值，得到第一相似度值矩阵；
将所述第一相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第一相似度值矩阵中的每一相似度值对应的比较结果；
根据所述第一相似度值矩阵中的每一相似度值对应的比较结果，对所述第一相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第一图像对应的第一目标二值化矩阵；
计算第二图像的每一像素点对应的亮度值矩阵与所述预设矩阵的相似度值，得到第二相似度值矩阵；
将所述第二相似度值矩阵中的每一相似度值与所述预设阈值进行比较，得到所述第二相似度值矩阵中的每一相似度值对应的比较结果；
根据所述第二相似度值矩阵中的每一相似度值对应的比较结果，对所述第二相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第二图像对应的第二目标二值化矩阵，其中，所述每一像素点对应的亮度值矩阵为以该像素点的亮度值为中心的拥有预设行数以及预设列数的像素点亮度值的矩阵；
对所述第一目标二值化矩阵和所述第二目标二值化矩阵分别进行二维离散傅里叶变换，得到与所述第一目标二值化矩阵对应的第一傅里叶矩阵，并得到与所述第二目标二值化矩阵对应的第二傅里叶矩阵；
根据所述第一傅里叶矩阵和所述第二傅里叶矩阵获取所述第二图像相对于所述第一图像的偏移量；
根据所述偏移量对所述第二图像进行纠偏。
2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一傅里叶矩阵和所述第二傅里叶矩阵获取所述第二图像相对于所述第一图像的偏移量，包括：
将所述第二傅里叶矩阵的共轭矩阵和所述第一傅里叶矩阵进行点乘，得到点乘矩阵；
对所述点乘矩阵进行二维离散傅里叶逆变换，得到逆变换矩阵；
以所述逆变换矩阵的中心为原点，以水平方向为横坐标轴，以垂直方向为纵坐标轴，将所述逆变换矩阵的第一象限的元素与第三象限的元素进行整体互换，并将所述逆变换矩阵的第二象限的元素与第四象限的元素进行整体互换，以得到目标矩阵；
获取所述目标矩阵中最大值的坐标作为目标坐标，并将所述目标坐标与所述目标矩阵的中心坐标的差值作为所述第二图像相对于所述第一图像的偏移量。
3. 根据权利要求1所述的方法，其特征在于，所述根据所述第一相似度值矩阵中的每一相似度值对应的比较结果，对所述第一相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第一图像对应的第一目标二值化矩阵，包括：
针对所述第一相似度值矩阵中的每一相似度值，当所述相似度值对应的比较结果为所述相似度值大于或等于所述预设阈值时，将所述相似度值二值化为1，当所述相似度值对应的比较结果为所述相似度值小于所述预设阈值时，将所述相似度值二值化为0，以得到与所述第一图片对应的第一目标二值化矩阵。
4. 根据权利要求3所述的方法，其特征在于，所述根据所述第二相似度值矩阵中的每一相似度值对应的比较结果，对所述第二相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第二图像对应的第二目标二值化矩阵，包括：
针对所述第二相似度值矩阵中的每一相似度值，当所述相似度值对应的比较结果为所述相似度值大于或等于所述预设阈值时，将所述相似度值二值化为1，当所述相似度值对应的比较结果为所述相似度值小于所述预设阈值时，将所述相似度值二值化为0，以得到与所述第二图片对应的第二目标二值化矩阵。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年11月22日向国家知识产权局提出了复审请求，但没有修改申请文件。复审请求人认为所有的权利要求具备创造性，具体理由为：
（a）对比文件1涉及天文图像的处理，其在采集的整幅图像中选取特征区域，而本申请涉及的单分子图像在初始阶段没有选取所谓的特征区域，而是对整幅图像全部进行处理。对比文件1处理的图像与本申请处理的图像不同，图像特点也不同。对比文件1的挑选特征区域与本申请的技术方案存在完全相反的技术教导。
（b）权利要求1与对比文件1的区别包括：计算第一图像的每一像素点对应的亮度值矩阵与预设矩阵的相似度值，得到第一相似度值矩阵；计算第二图像的每一像素点对应的亮度值矩阵与预设矩阵的相似度值，得到第二相似度值矩阵；将所述第一相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第一相似度值矩阵中的每一相似度值对应的比较结果，根据所述第一相似度值矩阵中的每一相似度值对应的比较结果，对所述第一相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第一图像对应的第一目标二值化矩阵；将所述第二相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第二相似度值矩阵中的每一相似度值对应的比较结果，根据所述第二相似度值矩阵中的每一相似度值对应的比较结果，对所述第二相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第二图像对应的第二目标二值化矩阵；其中，所述每一像素点对应的亮度值矩阵为以该像素点的亮度值为中心的拥有预设行数以及预设列数的像素点亮度值矩阵。该区别未被对比文件2公开。本申请每个像素点都对应一个亮度矩阵，每幅图像根据其分辨率具有多个亮度值矩阵，对比文件2不涉及两个亮度值矩阵进行相似度值比较。
经形式审查合格，国家知识产权局于2018年11月28日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为：对比文件1与本申请都涉及图像处理领域，处理对象均为数字图像，其算法具有借鉴启示。本申请的计算得到相似度值矩阵的过程，与对比文件2公开的高斯滤波过程本质相同。因此原审查部门坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年10月11日向复审请求人发出复审通知书，指出权利要求1-4相对于对比文件1、2及本领域常用技术手段的结合不具备专利法第二十二条第三款规定的创造性。
复审请求人于2019年11月13日提交了意见陈述书，但未修改申请文件。复审请求人认为：
（a）对比文件1与权利要求1的技术思路不同。对比文件1在图像中选取特征区域，通常是天文活动明显、像素灰度变化明显的图像区域；而本申请的单分子图像的处理没有选取特征区域，是对整幅图像全部进行处理。对比文件1与本申请拍摄图像领域不同，针对的被摄物、图像规格等都不相同，在实际处理中，并不能够直接采用通用的方法进行图像处理。本领域技术人员应该是知晓在不同时刻拍摄图像分子存在位置偏移的缺陷，但并不知晓对比文件1中天文观测中获取图像的缺陷的处理方法即对比文件2中图标处理方法是否适用于本申请中生物领域的图像处理。本申请所涉及的单分子图像，分子尺寸较图像上非目标物的尺寸小很多，其亮度也相对较弱，无法利用对比文件1中的“特征区域”进行图像纠偏，相反，如待处理对象出现“特征区域”，还会被认为视野有杂质或干扰。即本申请需要对整幅图像处理而不能选取“特征区域”。
（b）对比文件2未提及纠偏，其目的也不是纠正同一被摄物在不同时刻的图像中存在位置偏差的技术问题。对比文件2公开的是对采集的图像进行灰度二值化等处理，而对比文件1没有进行灰度值处理的需求，本领域技术人员也不会选择对比文件2进行结合。
(c) 对比文件2公开的高斯滤波的平滑滤噪处理，与两个矩阵的相似度计算不相关。对比文件2的高斯滤波解决的问题是处理图像质量差，使图像检测的结果更准确，而本申请权利要求1中第一图像和/或第二图像每一像素点对应的亮度值和预设矩阵的相似度值得到相似度矩阵的过程含有双向筛选像素点的过程，与对比文件2的方案不同。对比文件2中二值化的具体值的选取也与权利要求1不同。对比文件2未公开本申请中每个像素点都对应一个亮度值矩阵。
综上，权利要求1-4具备创造性。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人在复审审查阶段没有提交过对申请文件的修改，因此，本复审决定所依据的审查文本与驳回决定针对的审查文本相同，即：申请日2015年08月14日提交的摘要附图、说明书摘要；2015年12月14日提交的说明书第1-113段、说明书附图图1-5；2017年09月30日提交的权利要求第1-4项。
（二）关于专利法第二十二条第三款
专利法第二十二条第三款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求相对于最接近的现有技术存在区别，部分区别是基于其他对比文件容易想到的，其余区别属于本领域的常用技术手段，并且现有技术整体上给出了将上述区别应用到该最接近的现有技术中以解决其技术问题的启示，则该权利要求不具备创造性。
本复审决定引用的对比文件与驳回决定和复审通知书中引用的对比文件相同，即：
对比文件1：CN101377848A，公开日为2009年03月04日；
对比文件2：CN101751572A，公开日为2010年06月23日。
其中对比文件1为权利要求1-4最接近的现有技术。
1、权利要求1不具备专利法第二十二条第三款规定的创造性。
权利要求1请求保护一种单分子图像纠偏方法。
对比文件1公开了以下内容（参见说明书第3页第14行—第4页倒数第3行）：
采集来自CCD的图像；
将所选取的特征区域确认为基准图像的特征区域，对该特征区域中的图像数据进行快速傅立叶变换(FFT)，并保存FFT所得结果。由步骤103和步骤104可知，确定基准图像的方法实际上就是判断收到的图像是否是第一张，如果是，就确定该图像为基准图像（即第一图像）；否则，就确定该图像为目标图像（第二图像）；
在公式(2)中H(u，v)是h(x，y)的傅里叶变换形式，G*(x，y)是g(x，y)的傅里叶变换的共轭。由相关函数在频域运算的形式推知，可以通过快速傅里叶变换算法实现相关运算，在此处只需要对G(x，y)取共轭（即对所述第一目标矩阵和所述第二目标矩阵分别进行二维离散傅里叶变换，得到与所述第一目标矩阵对应的第一傅里叶矩阵，并得到与所述第二目标矩阵对应的第二傅里叶矩阵），得到G*(x，y)，然后与H(u，v)进行点乘，即可获得相关函数的傅里叶变换R(u，v)。在R(u，v)的逆变换矩阵(相关矩阵)中的最大值所在的位置即是两幅图像相关性最强的位置；
对步骤106中得到的相关运算结果进行快速傅立叶逆变换(IFFT)，找出IFFT结果中的最大值；
在R(u，v)的逆变换矩阵(相关矩阵)中的最大值所在的位置即是两幅图像相关性最强的位置，由此可以将找出的所述最大值所处的坐标值作为目标图像与基准图像之间的位置偏移量（即根据所述第一傅里叶矩阵和所述第二傅里叶矩阵获取所述第二图像相对于所述第一图像的偏移量），并根据该位置偏移量对目标图像与基准图像进行移位叠加处理（即图像纠偏方法，根据所述偏移量对所述第二图像进行纠偏）。
该权利要求所要求保护的技术方案与对比文件1的区别在于：
（1）计算第一图像的每一像素点对应的亮度值矩阵与预设矩阵的相似度值，得到第一相似度值矩阵；计算第二图像的每一像素点对应的亮度值矩阵与预设矩阵的相似度值，得到第二相似度值矩阵；将所述第一相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第一相似度值矩阵中的每一相似度值对应的比较结果，根据所述第一相似度值矩阵中的每一相似度值对应的比较结果，对所述第一相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第一图像对应的第一目标二值化矩阵；将所述第二相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第二相似度值矩阵中的每一相似度值对应的比较结果，根据所述第二相似度值矩阵中的每一相似度值对应的比较结果，对所述第二相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第二图像对应的第二目标二值化矩阵；
（2）权利要求1的方法用于单分子图像处理，而对比文件1的方法用于天文观测数据的图像处理。
基于以上区别，可知该权利要求实际解决的问题在于：如何进行图像数据的预处理，并如何将以上图像处理算法用于多个领域或场景。
对于上述区别（1），对比文件2公开了（参见说明书第51-61、97-99段）以下内容：
步骤S501中，对采集的图像进行平滑滤噪处理，以消除图像拍摄过程中产生的噪音。采用3×3的高斯(Gauss)低通滤波模板（相当于预设矩阵）对采集的图像进行平滑滤噪处理。
本领域技术人员知晓，以上为对图像进行高斯滤波的平滑滤噪处理，其实质就是两个矩阵的相关运算，本质上等同于两个矩阵的相似度诸多算法中常见的一种。
归一化模块942对平滑滤噪模块941处理后的图像进行灰度归一化处理；二值化模块943对归一化模块942处理后的图像进行灰度二值化处理（即将所述第一相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第一相似度值矩阵中的每一相似度值对应的比较结果，根据所述第一相似度值矩阵中的每一相似度值对应的比较结果，对所述第一相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第一图像对应的第一目标二值化矩阵；将所述第二相似度值矩阵中的每一相似度值与预设阈值进行比较，得到所述第二相似度值矩阵中的每一相似度值对应的比较结果，根据所述第二相似度值矩阵中的每一相似度值对应的比较结果，对所述第二相似度值矩阵中的每一相似度值进行二值化处理，以得到与所述第二图像对应的第二目标二值化矩阵）。
所以对比文件2公开了对于基准图像和目标图像进行图像预处理的过程，而该预处理的过程，实质计算过程就是计算代表图像某点像素的邻域矩阵与高斯矩阵的相关性计算（计算相似值矩阵），然后再与预设阈值比较得到二值化目标矩阵。所以，对比文件2给出了对图像进行预处理的启示，并且给出了具体的预处理方法。因此区别（1）是基于对比文件2的启示容易想到的。
对于区别（2），其限定了算法的应用对象，对比文件1、2公开的算法被广泛的用于模式识别中的图像纠偏和图像预处理阶段。对于图像预处理阶段，任何应用对象的图像都被预处理算法视为强度数据，对于对比文件1、2中的算法，本领域技术人员容易想到将其应用于单分子图像数据中，即区别技术特征（2）为惯用手段。
并且选择图像的特征区域进行对比纠偏，还是选择图像的全部区域来进行对比纠偏，都是本领域常用的方法，本领域技术人员常规地，都会结合被处理图像自身的特点和处理效率的需求，在这两种方法中进行选择。而直接对图像的全部区域进行对比纠偏处理，则可以简化处理步骤却增加了运算量，这也是本领域技术人员可以预期的。
由此可知，在对比文件1的基础上结合对比文件2公开的内容以及本领域的惯用手段，得出该权利要求的技术方案，对本技术领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具有突出的实质性特点和显著的进步，因而不具备创造性。
2、权利要求2-4不具备专利法第二十二条第三款规定的创造性。
对于权利要求2：
如前所述，对比文件1公开了：
在公式(2)中H(u，v)是h(x，y)的傅里叶变换形式，G*(x，y)是g(x，y)的傅里叶变换的共轭。由相关函数在频域运算的形式推知，可以通过快速傅里叶变换算法实现相关运算，在此处只需要对G(x，y)取共轭，得到G*(x，y)，然后与H(u，v)进行点乘（即将所述第二傅里叶矩阵的共轭矩阵和所述第一傅里叶矩阵进行点乘，得到点乘矩阵），即可获得相关函数的傅里叶变换R(u，v)。在R(u，v)的逆变换矩阵(相关矩阵)中的最大值所在的位置即是两幅图像相关性最强的位置；
对步骤106中得到的相关运算结果进行快速傅立叶逆变换(IFFT)（即对所述点乘矩阵进行二维离散傅里叶逆变换，得到逆变换矩阵），找出IFFT结果中的最大值；
在R(u，v)的逆变换矩阵(相关矩阵)中的最大值所在的位置即是两幅图像相关性最强的位置，由此可以将找出的所述最大值所处的坐标值作为目标图像与基准图像之间的位置偏移量（即获取所述目标矩阵中最大值的坐标作为目标坐标，并将所述目标坐标与所述目标矩阵的中心坐标的差值作为所述第二图像相对于所述第一图像的偏移量），并根据该位置偏移量对目标图像与基准图像进行移位叠加处理。
对比文件1与本申请都在频域进行了共轭点乘运算，逆变换后的结果为相比较的两幅图像进行卷积运算，相当于中心对称变换后的相关运算，“以所述逆变换矩阵的中心为原点，以水平方向为横坐标轴，以垂直方向为纵坐标轴，将所述逆变换矩阵的第一象限的元素与第三象限的元素进行整体互换，并将所述逆变换矩阵的第二象限的元素与第四象限的元素进行整体互换，以得到目标矩阵”这样的处理相当于对第二图像中心变换的修正，这是在对比文件1处理方法上的逻辑延伸，为惯用手段。
因此，在其引用的权利要求1不具备创造性的情况下，该权利要求也不具备创造性。
对于权利要求3、权利要求4：其进一步限定了目标二值化矩阵的具体元素值为0或1及其条件。
如前所述，对比文件2公开了：二值化模块943对归一化模块942处理后的图像进行灰度二值化处理(参见图7中灰度二值化处理后的图像，即只包含黑白两色)。但是对比文件2并未公开二值化后的值为0或1。但是，本领域技术人员公知：图像二值化处理就是将256个亮度级别的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像，即只含有黑0和白1两个灰度值。而且这种用来比较的适当阈值的选取，也是本领域技术人员根据需要可以自行设定的。
因此，在权利要求1不具备创造性的情况下，权利要求3、4也不具备创造性。
（三）关于复审请求人的意见陈述的评述
关于复审请求人的意见（参见案由部分），合议组认为：
关于观点（a），对比文件1处理天文影像数据，本申请处理单分子图像，二者都属于图像处理领域，处理的图像都为数字图像，对比文件1和本申请均不涉及图像采集时传感器的具体结构，也不涉及分子结构、天体结构、纹理等与特定学科相关的知识；二者在图像纠偏方面，都适用于通用的图像处理算法，并且由于目标形状及背景相似性，算法针对不同的处理对象时，具有借鉴启示作用。
并且选择图像的特征区域进行对比纠偏，还是选择图像的全部区域来进行对比纠偏，都是本领域常用的方法，本领域技术人员常规地，都会结合被处理图像自身的特点和处理效率的需求，在这两种方法中进行选择。而直接对图像的全部区域进行对比纠偏处理，则可以简化处理步骤却增加了运算量，这也是本领域技术人员可以预期的。而且，本申请权利要求1将图像数据也做了离散傅里叶变换，变换后得到的频域数据并做了二值化处理，其实质也是提取了特征区域。
关于观点（b），复审请求人所述每个像素点都对应一个亮度矩阵，所谓亮度矩阵对应的是每一个像素点与其邻域共同构成的相关性计算的窗口，即与模板重合的区域。对比文件2公开了对于基准图像和目标图像进行图像预处理的过程，而该预处理的过程，实质计算过程就是计算代表图像某点像素的邻域矩阵与高斯矩阵的相关性计算（计算两个矩阵的相似值比较），然后再与预设阈值比较得到二值化目标矩阵。合议组认为对比文件2给出的启示是，在对两张图像在纠偏之前，需要对图像进行预处理的启示。其实并不限于是对图像进行纠偏处理，而是指对于图像处理之前，可普遍采用图像预处理步骤。对比文件2公开了对于基准图像和目标图像进行图像预处理的过程，因此合议组认为对比文件2给出了该启示。所以，对比文件2解决的问题是否是纠偏并不重要。
关于观点（c），复审请求人所谓的“双向筛选”在权利要求1中应为依据计算的相似度，来筛选区分像素点。但权利要求和说明书中并未限定具体的相似度计算方式，也未体现“双向筛选”的具体方式，权利要求1中的“相似度”计算涵盖了宽泛的保护范围。至于二值化处理后具体数值的表示，合议组观点详见对权利要求3-4的创造性评述。
综上，合议组对以上意见陈述不予支持。
三、决定
维持国家知识产权局于2018年08月15日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第四十一条第二款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
