发明创造名称：基于估计补偿的三维人脸动态重建方法
外观设计名称：
决定号：202105
决定日：2020-01-09
委内编号：1F269759
优先权日：
申请（专利）号：201610004303.X
申请日：2016-01-05
复审请求人：安阳师范学院
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：张明霞
合议组组长：吴少鸿
参审员：金霞
国际分类号：G06K9/00,G06T17/00,G06T7/20
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求与作为最接近现有技术的对比文件之间存在区别技术特征，但是该区别技术特征中部分被另一对比文件所公开且所起作用相同，其余部分为本领域的公知常识，则该权利要求的方案对本领域技术人员而言是显而易见的，不具备创造性。
全文：
本复审请求涉及申请号为201610004303.X，名称为“基于估计补偿的三维人脸动态重建方法”的发明专利申请（下称本申请）。本申请的申请人为安阳师范学院，申请日为2016年01月05日，公开日为2016年06月08日。
经实质审查，国家知识产权局实审审查部门于2018年10月24日发出驳回决定，以权利要求1不符合专利法第22条第3款的规定为由驳回了本申请。驳回理由具体为：权利要求1与对比文件1相比，区别特征在于：人脸图像内的特征点的坐标通过ASM算法获得。而该区别特征已被对比文件2公开且所起作用相同。因此，权利要求1不具备创造性。驳回决定所依据的文本为：2018年07月09日提交的权利要求第1项，申请日2016年01月05日提交的说明书第1-11页、说明书附图第1页、说明书摘要及摘要附图。
驳回决定所引用的对比文件为：
对比文件1：“基于动态图像序列的非刚体运动重建研究”，石信增，中国优秀硕士学位论文全文数据库 信息科技辑，第06期，第I138-1877页，公开日为2012年06月15日；
对比文件2：“三维人脸识别系统研究”，许然，中国优秀硕士学位论文全文数据库 信息科技辑，第06期，第I138-1953页，公开日为2012年06月15日。
驳回决定所针对的权利要求书的内容如下：
“1. 基于估计补偿的三维人脸动态重建方法，其特征在于按照以下步骤进行：
步骤1，获取人脸图像，使用离散元方法计算形变程度，获得平移以及旋转运动的三维场景的形变程度值；调整人脸图像坐标确保图像坐标系的原点处于人脸的形心位置，过滤平移向量，得到的检测矩阵为其中，M、B为参数向量；K值预测方法：
第i帧人脸图像内全部特征点的坐标通过ASM算法获得，并用列向量 描述：
上式简写成：
式中，以及分别用于描述特征矩阵的第1、2行，M′为参数向量，B′为人脸图像序列的形状，T为常数，ξ表示特征点的噪声，其是均值为零的随机过程；
容易得出，人脸图像序列的形状B′具有稳定性，采用下式能够获取的相关系数矩阵：
Cξ表示噪声协方差矩阵，追踪角点j，uij平移速度，vij平移速率，针对设置的Ii阵图像的xij,
依据Hessian矩阵的逆可预测第i帧图像中第j个特征点的噪声协方差，即
其中，E代表噪声协方差中的期望，I为噪声协方差中的模式分量，σ为标准偏差；
1-(5)式乘上一个尺度因子看成是噪声协方差，采用下式获取噪声协方差矩阵：
其中，F为常量，σ为标准偏差，c为噪声协方差矩阵中的分量，
噪声协方差矩阵的逆运算过程为：
综合分析1-(3)以及1-(7)得：
式中
三维人脸运动的B′TE[MTM]B的秩最大值是6K，μi(H)用于描述矩阵H的第i个特征值，则获取
矩阵H存在6K个高于1的特征值，对该矩阵高于1的特征值数量进行汇总，再除以6能够获取K预测值；
步骤2，计算非刚体人脸的形心，获得加权系数同两个方向上的协方差存在关联；将人脸的形心看成坐标原点，过滤摄像机产生的平移向量，分析图像各帧人脸图像中的特征点噪声，再设置坐标原点：
式1-(12)看成第i帧人脸图像中全部特征点坐标的加权和，其中，ai、bi为各帧人脸图像中的特征点噪声分量，λij用于描述同噪声关联的加权系数，对最小协方差点进行分析，获取λij值，对各个特征点非方向性的径向误差进行分析，表示噪声协方差矩阵Qij主对角元素的和：
其中：xij为第i行第j个样本，为平均样本集；分析获取λij：
通过上式得加权系数同两个方向上的协方差和间存在关联，噪声大特征点具有较高的价值度；
步骤3：对人脸数据在运动中丢失的问题进行处理，完成人体轮廓图的获取；通过α-β-γ滤波器追踪特征点运动，取特征点的后续x以及y坐标，在时间点t，估算各追踪点在时间点t 1的位置，分析估算区域的人脸特征点能否完成匹配，及时调整滤波器参数，得到相应特征点的运动轨迹，如果缺失某个特征点数据xij，则采用位置估算值可及时调整其位置信息，并将特征点的协方差改成：
其中，Qij-1、Qij 1为所选特征点前一个和后一个的协方差。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年12月20日向国家知识产权局提出了复审请求，未对申请文件进行修改。复审请求人认为：（1）对比文件1和对比文件2解决的技术问题、采取的技术手段、达到的技术效果均与本申请权利要求1中的技术方案不同，对比文件1和2结合不能轻易得到本申请的技术方案，本申请取得了预料不到的技术效果：通过动态图像序列中恢复非刚体的三维人脸缺失特征点结构，在极小的特征空间内，通过特征点间的动态联系，对缺失的特征点进行估计补偿重建，弥补由于形状基估计不准带来的重建特征缺失、三维人脸重建效果差等。（2）在先阅读了本申请的技术方案后，进行逐个搜索，自然会找到类似的技术方案，再用对比文件1推倒本申请的技术方案本身是不合理的，犯了“事后诸葛亮”的错误。
经形式审查合格，国家知识产权局于2019年01月11日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年07月22日向复审请求人发出复审通知书，指出权利要求1不具备专利法第22条第3款规定的创造性。在复审通知书中引用的对比文件与驳回决定中的相同。在复审通知书中，合议组指出：（1）对比文件1已经公开了本申请方案几乎所有的技术特征，各步骤的细节、公式也几乎完全公开，本申请与权利要求1的区别仅在于获取特征点的方式以及特征点的协方差的计算，而对比文件2中公开了ASM算法来获取特征点坐标的内容，且相应特征在对比文件2中所起的作用与在权利要求1的方案中所起的作用相同，因此，对比文件2给出了采用ASM算法提取特征点的启示，另外，特征点的协方差的计算也属于本领域采用的公知计算方式。因此，在对比文件1的基础上，结合对比文件2及本领域的公知常识得到权利要求1的方案对本领域技术人员而言是显而易见的，对比文件1的方案也同样达到了本申请所达到的技术效果，权利要求1不具备创造性。（2）《专利审查指南》第二部分第四章第3.2.1.1节中，对于一项发明是否具备创造性的判断，要从最接近的现有技术和发明实际解决的技术问题出发，判断要求保护的发明对本领域技术人员是否显而易见。而获取最接近的现有技术是需要通过检索现有技术来得到的。对于本案而言，从最接近的对比文件1及基于区别特征确定的实际解决的技术问题出发，对比文件2以及本领域的公知常识给出了技术启示，因此可以确定在对比文件1的基础上结合对比文件2和本领域的公知常识得到权利要求1的方案是显而易见的，不具备创造性。
复审请求人于2019年08月29日提交了意见陈述书，未对申请文件进行修改。复审请求人指出：（1）对比文件1和本申请的技术领域不同，对比文件1属于计算机视觉技术领域，是一个综合性学科，而本申请属于人脸识别技术领域，涉及基于估计补偿的三维人脸动态重建方法。（2）对比文件1与本申请解决的技术问题不同。本申请解决的技术问题有3个：①获取人脸图像，使用离散元方法计算形变程度，获得平移以及旋转运动的三维场景的形变程度值；②计算非刚体人脸的形心，获得加权系数同两个方向上的协方差存在关联；③对人脸数据在运动中丢失的问题进行处理，完成人体轮廓图的获取。（3）对比文件1与本申请采用的技术手段不同，所取得的技术效果也不同。（4）对比文件1不能作为本申请最接近的现有技术，并且，本申请与权利要求1的区别：检测矩阵的秩小于等于3K（若Zm＞3K，n＞3K），是复审请求人通过大量数据的计算总结出来的一个比较合适的参数值。并且，复审通知书中错误地认为权利要求1相对于对比文件1实际解决的技术问题是如何获取特征点坐标，其属于技术手段而非技术问题。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
决定的理由
（一）审查文本的认定
复审请求人在复审程序阶段未对申请文件进行修改。本复审请求审查决定所针对的审查文本与驳回决定和复审通知书所针对的审查文本相同，即：2018年07月09日提交的权利要求第1项，申请日2016年01月05日提交的说明书第1-11页、说明书附图第1页、说明书摘要及摘要附图。
（二）关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求与作为最接近现有技术的对比文件之间存在区别技术特征，但是该区别技术特征中部分被另一对比文件所公开且所起作用相同，其余部分为本领域的公知常识，则该权利要求的方案对本领域技术人员而言是显而易见的，不具备创造性。
本复审请求审查决定所引用的对比文件与驳回决定以及复审通知书中引用的对比文件相同，即：
对比文件1：“基于动态图像序列的非刚体运动重建研究”，石信增，中国优秀硕士学位论文全文数据库 信息科技辑，第06期，第I138-1877页，公开日为2012年06月15日；
对比文件2：“三维人脸识别系统研究”，许然，中国优秀硕士学位论文全文数据库 信息科技辑，第06期，第I138-1953页，公开日为2012年06月15日。
1、权利要求1不具备专利法第22条第3款规定的创造性。
权利要求1请求保护一种基于估计补偿的三维人脸动态重建方法，对比文件1公开了一种基于动态图像序列的非刚体运动重建方法，其中（参见本论文正文第24-29页）具体披露了：在对人体活动图像序列的运动重建时，获取多帧人体活动图像，基于跟踪特征点可以把非刚体表示成K个刚性形状基的加权线性组合，进行非刚体形变程度估计，用秩分析法求出的非刚体形状基数目可以估计非刚体的形变程度，非刚体形变程度估计实际上就是对K值的估计，可用K来估计形状序列的形变程度，把经过平移和旋转运动的三维场景的形变程度定义为；
对每幅图像坐标进行变换，使图像坐标系的原点位于该幅图像点集的质心，把平移向量消掉。把F 帧图像的所有特征点都叠加起来并且用矩阵的形式表示，将矩阵简写得到：，非刚体的测量矩阵W 的秩最大为3K。在秩约束的条件下对W 进行奇异值分解可得到M 和B。
把第i帧图像中所有特征点的坐标表示成一个列向量，
于是可得到：
，
该式可简写为，
并且可以毫无疑义地确定，Qij-1、Qij 1为所选特征点前一个和后一个的协方差。
综上可见，对比文件1已披露了权利要求1方案中的绝大部分特征，基于上述对比文件1的公开内容，权利要求1与对比文件1的区别特征仅在于：（1）人脸图像内的特征点的坐标通过ASM算法获得；（2）步骤2中，xij为第i行第j个样本，为平均样本集。基于上述区别特征可以确定，权利要求1实际解决的技术问题是：如何获取各帧的特征点坐标以及如何计算特征点的协方差。
对于区别特征（1）：对比文件2公开了一种三维人脸识别系统，并具体公开了如下技术特征（参见本论文正文第6页）：采用ASM 算法进行人脸特征点提取，用于之后的人脸模型的建立。由此可见，上述区别特征（1）已被对比文件2公开，且该特征在对比文件2中所起的作用与其在权利要求1的方案中所起的作用相同，都是采用ASM 算法获取人脸图像的特征点坐标，也即对比文件2给出了将该特征应用于对比文件1以解决相应技术问题的启示。
对于区别特征（2）：在本领域中，根据特征点数据以及特征点平均样本集计算特征点的协方差是本领域的公知常识。
因而，在对比文件1的基础上，结合对比文件2以及本领域的公知常识得到权利要求1所要求保护的技术方案，对本领域的技术人员来说是显而易见的，即该权利要求所要求保护的技术方案不具有突出的实质性特点。因此，权利要求1不具备专利法第22条第3款规定的创造性。
（三）关于复审请求人相关意见的答复
针对复审请求人答复复审通知书的意见，合议组认为：（1）复审请求人声称的人脸识别技术领域属于计算机视觉技术领域中的具体细分领域，而且对比文件1在课题的意义及背景部分中也明确介绍了：物体的三维运动重建问题，是从图像序列中恢复物体的三维结构与摄像机运动信息是计算机视觉领域的重要研究内容之一，其研究本质是利用二维图像序列来重建物体的三维结构。而在现实世界中，很多场景是动态的，重建对象是非刚性的，譬如各种表情变换的面部等，对于这类动态场景和非刚性物体很难应用传统的重建算法直接进行重建，近年来，非刚体的跟踪、建模与识别已成为计算机视觉与模式识别领域中的热点问题。由此可见，对比文件1中所涉及的技术领域，与本申请的技术领域相同，均涉及人脸识别技术领域。（2）首先，复审请求人所声称的三个问题，实质属于技术手段，分别对应于权利要求1中的步骤1-3中的第一个特征，其分别已在对比文件1第24-29页“第三章 非刚体运动形变程度”中第3.2.1-3节公开，具体可参见对于权利要求1的评述部分。其次，本申请在说明书第[0006]段中声称的问题为：由于形状基估计不准带来的重建特征缺失、三维人脸重建效果差、鲁棒性不强。该问题在对比文件1的第9-10页“第1.3.5节 存在的问题”中也已被完全公开，因此，对比文件1所要解决的问题与本申请所要解决的问题相同。（3）本申请所采用的技术手段，已经被对比文件1公开，具体可参见对于权利要求1的评述部分，并且对比文件1也取得了相应的技术效果。（4）如前述意见以及对于权利要求1的评述可知，对比文件1与本申请所涉及的技术领域相同，所要解决的技术问题相同，技术效果相同，并且公开了本申请绝大部分的技术特征，因此，对比文件1属于与本申请最接近的现有技术。而且对比文件1已明确公开了“测量矩阵的秩不大于3K（假设2F>3K，P>3K）”（参见对比文件1正文第25页第3.2.1节），可见，复审请求人所认为的区别技术特征已被对比文件1明确公开。另外，如何获取特征点坐标，其属于权利要求1相对于对比文件1实际要解决的技术问题，不是技术手段，比如采用ASM 算法进行人脸特征点坐标的提取，其属于解决该问题的技术手段。
综上所述，复审请求人的意见陈述不具有说服力，合议组不予支持。
三、决定
维持国家知识产权局于2018年10月24日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
