发明创造名称：使用色度成形法的内视镜立体视觉化系统及方法
外观设计名称：
决定号：191101
决定日：2019-09-25
委内编号：1F275988
优先权日：
申请（专利）号：201510372762.9
申请日：2015-06-30
复审请求人：明士股份有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：盛钊
合议组组长：苏青
参审员：程华
国际分类号：H04N13/00，H04N13/04，G02B27/22
外观设计分类号：
法律依据：专利法第22条第3款
决定要点：如果权利要求保护的技术方案与最接近的现有技术相比存在区别特征，一部分区别特征被另一篇对比文件公开，一部分区别特征属于本领域公知常识，则该项权利要求不具备专利法第22条第3款规定的创造性。
全文：
本复审请求涉及申请号为201510372762.9，名称为“使用色度成形法的内视镜立体视觉化系统及方法”的发明专利申请，下称本申请。申请人为明士股份有限公司。本申请的申请日为2015年06月30日，公开日为2017年01月11日。
经实质审查，国家知识产权局原审查部门于2018年12月03日发出驳回决定，驳回了本申请，其理由是：权利要求1-3相对于对比文件1（TW201509360A，公开日为2015年03月16日）和对比文件2（“Metric depth recovery from monocular images using Shape-from-Shading and specularities”, Marco Visentini-Scarzanella等, Image Processing (ICIP), 2012 19th IEEE International Conference on,p25-29, Oct.2012，公开日为2012年10月03日）以及公知常识的结合不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为：申请日2015年06月30日提交的说明书摘要、说明书第1-44段、摘要附图、说明书附图第1-2页；2018年03月30日提交的权利要求第1-3项。
驳回决定所针对的权利要求书如下：
“1. 一种使用色度成形法的内视镜立体视觉化系统，其特征在于，包含有：
一影像转换装置，其具有一内视镜输入端、一2D/3D影像转换单元与一影像输出端，该内视镜输入端用以连接一单镜头内视镜，以通过该单镜头内视镜取得一平面影像，该2D/3D影像转换单元是以内建一色度成形法产生平面影像的深度地图，利用所述深度地图产生视差图，并依据所述视差图产生左眼或右眼影像的立体影像，该生成的左眼与右眼影像转换为交错影像，该影像输出端连接有一立体显示器，该立体显示器用以显示经2D/3D影像转换单元转换后的立体影像；
其中，该色度成形法是指2D/3D影像转换单元计算平面影像的光源与其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以得到该深度地图，
其中，该色度成形法以下列的描述完成光照分布的计算：
假设相机位置C(α，β，γ)，在影像空间域x＝(x，y)有表面法向量n和光源向量l，其三维点M在影像平面中相依的像素点为m可以被描述成：
其中u(x)代表x点的深度，ux，uy是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；
其中：ρ是表面的反射率，通过置换v＝lnu，可以获得 Hamiltonian方程式：
其中，
经由迭代运算方程式即可产生光照分布的深度影像，该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量。
2. 一种使用色度成形法的内视镜立体视觉化方法，其特征在于，包含有：
撷取平面影像：以一影像撷取装置取得一内视镜相机的平面影像；
利用色度成形法产生深度地图：通过色度成形法计算该平面影像的光源及其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算的结果，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以提高相对位置判断的准确性，经运算后的结果是一相对的深度地图，该深度地图中像素值包含像素强度、光源方向及坐标的自然对数，并以快速解方程式以及平行运算加速其迭代过程；
利用深度地图产生视差图：该深度地图是一由灰阶影像组成，其表示为第三维度上物体的前后关系，该深度地图在转成立体影像过程会产生一视差图，该视差图的像素值与深度地图成反比但与相机的焦距及两眼间距成正比；以及
产生立体视觉的左右影像：从立体影像获得的视差图用以产生立体影像的左右眼影像，该视差图的像素值亦代表两眼间各像素点的偏移，进而产生左眼或右眼影像的立体影像，该生成的左眼与右眼影像转换为交错影像，
其中，该色度成形法以下列的描述完成光照分布的计算：
假设相机位置C(α，β，γ)，在影像空间域x＝(x，y)有表面法向量n和光源向量l，其三维点M在影像平面中相依的像素点为m可以被描述成：
其中u(x)代表x点的深度，ux，uy是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；
其中：ρ是表面的反射率，通过置换v＝lnu，可以获得Hamiltonian方程式：
其中，
经由迭代运算方程式即可产生光照分布的深度影像，该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量。
3. 根据权利要求2所述的使用色度成形法的内视镜立体视觉化方法，其特征在于，在撷取平面影像步骤之前是执行一内视镜相机校正步骤，该内视镜相机校正是使用一相机校正法计算该内视镜相机内部参数，该相机校正法以一校正模板的旋转与平移进行相机姿态估测，再以非线性解求得该相机的内部参数与外部参数。”
申请人（下称复审请求人）对上述驳回决定不服,于2019年03月11日向国家知识产权局提出了复审请求。复审请求人认为：（1）本申请是通过单镜头内视镜取得平面影像后，通过2D/3D影像转换单元以内建色度成形法产生平面影像的深度地图，利用深度地图产生视差图，并依据视差图产生为交错影像的左眼或右眼影像的立体影像，无须对器官进行三维模型重建，及深度地图无须再结合平面影像来生成立体影像，而对比文件1是利用已知影像中相对应的器官进行三维模型重建，参考其三维模型的深度讯息再结合2D内视镜影像生成立体影像，未揭示撷取平面影像后，产生平面影像的深度地图，从而无法利用深度地图产生视差图，更不可能依据视差图产生交错影像的左眼影像或右眼影像的立体影像；本申请中的迭代运算是由像素值进行梯度重复迭代运算而取得分布资讯，而对比文件1公开的是“取得虚拟三维模型体积与初始画面的配对：系以最近迭带点演算法的转换匹配方式，取得起始画面的影像与虚拟三维模型间的匹配关系”，两者迭代运算的作用不同；（2）对比文件2中色度成形法重建深度地图的公式与对比文件1中色度成形法的作用不同，本领域技术人员无动机结合；（3）“该色度成形法是指2D/3D影像转换单元计算平面影像的光源与其阴影分布资讯，该分布资讯是由像素值进行梯度重复迭代运算，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以得到该深度地图”不是本领域的公知常识。
经形式审查合格，国家知识产权局于2019年03月20日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年08月02日向复审请求人发出复审通知书，指出：权利要求1-3相对于对比文件1和2及公知常识的结合不具备专利法第22条第3款规定的创造性。并对复审请求人的意见作出回应。
复审请求人于2019年09月10日提交了意见陈述书，但未修改申请文件。复审请求人认为：本申请提供了一种技术构思不同的技术方案，本申请与对比文件1具有不同的技术手段，虽然对比文件2公开了利用shape from shading重建深度地图的方法，但在现有技术上来说，重建深度地图的方法，其主要为用于重建三维表面，而非本申请利用深度地图计算视差，生成左视影像或右视影像，并搭配立体显示器，用于立体视像成像中使用。本申请在上述结合后，其相较于对比文件1更省略了利用CT或MRI等影像来形成三维模型及立体结构，不需要进行模型匹配及对位的步骤。本申请产生预料不到的技术效果，进而具有突出的实质性特点和显著的进步，应具备创造性。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
审查文本的认定
由于复审请求人在复审程序中未对申请文件作出修改，因此本复审决定所针对的文本与驳回决定针对的文本相同，即：申请日2015年06月30日提交的说明书摘要、说明书第1-44段、摘要附图、说明书附图1-2；2018年03月30日提交的权利要求第1-3项。
具体理由的阐述
专利法第22条第3款规定：“创造性，是指同申请日以前已有的技术相比，该发明有突出的实质性特点和显著的进步，该实用新型有实质性特点和进步”。
本复审决定引用的对比文件与复审通知书和驳回决定相同，即对比文件1、对比文件2。
1）、权利要求1请求保护一种使用色度成形法的内视镜立体视觉化系统，对比文件1公开了一种单镜头内视镜立体视觉化系统及其方法，并具体公开了以下技术内容（参见说明书第1-19段及图1-2）：包括一影像转换装置，其具有一2D/3D影像转换单元、一内视镜连接端及复数影像输出界面（即一影像转化装置，其具有一内视镜输入端、一2D/3D影像转换单元与一影像输出端），该内视镜连接端用以连接一单镜头内视镜，以透过单镜头内视镜取得2D影像，该2D/3D影像转换单元用以转换2D影像为3D影像，其中一影像输出界面连接有一3D显示器，用以显示经2D/3D影像转换单元转换的3D影像（即该影像输出端连接有一立体显示器，该立体显示器用以显示经2D/3D影像转换单元转换后的立体影像），针对起始画面利用色度成形法重复迭代模拟虚拟三维模型的形态，该起始画面的影像是来自于内视镜相机拍摄的二维影像，利用影像中光照分布的描述来推估二维影像的深度结构（即该2D/3D影像转换单元是以内建一色度成形法产生平面影像的深度，该色度成形法是指计算平面影像的光源与其阴影分布资讯），透过二维影像加深度渲染以得到起始画面的影像的形状模型，并以最近迭代点演算法找出其相对的二维影像与虚拟三维模型之间的转换关系，利用内视镜的二维影像特征点匹配并以相机姿态估测定位虚拟三维模型中的相机坐标，计算深度地图，产生视差图，形成具有左右影像的立体影像（即利用深度地图产生视差图，并依据所述视差图产生左眼或右眼影像的立体影像）。
由此可见，该权利要求与对比文件1之间的区别在于：（1）该分布资讯是由像素值进行梯度重复迭代运算，经结合光源照射的方向与位置资讯，再加入光源照射方向估测直接得到深度地图，用于生成视差图，该色度成形法以下列的描述完成光照分布的计算：假设相机位置C(α，β，γ)，在影像空间域x＝(x，y)有表面法向量n和光源向量l，其三维点M在影像平面中相依的像素点为m可以被描述成： ；
；，
其中u(x)代表x点的深度，ux，uy是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；
其中：ρ是表面的反射率，通过置换v＝lnu，可以获得 Hamiltonian方程式：
其中，
经由迭代运算方程式即可产生光照分布的深度影像，该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量。
（2）生成的左眼与右眼影像转换为交错影像。
基于上述区别可以确定，该权利要求所要求保护的技术方案实际解决的技术问题是如何利用色度成形法生成立体影像。
针对上述区别（1），对比文件2公开了一种利用色度成形法重建深度地图的方法，并具体公开了以下技术内容（参见正文第1-6节）：相机C的位置为（），有参数表面法向量n和光源向量l，三维点M在影像平面中的像素点m被描述成：
，其中u（x）代表x点的深度，ux，uy是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；
其中：ρ是表面的反射率，通过置换v＝lnu，可以获得Hamiltonian方程式：
其中，
经由迭代运算方程式即可产生光照分布的深度影像（即该分布资讯是由像素值进行梯度重复迭代运算，结合光源照射的方向与位置资讯，加入光源照射方向估测得到深度地图），该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量，且上述特征在对比文件2中所起的作用与其在本申请中为解决其技术问题所起的作用相同，都是利用色度成形法得到深度影像；对于本领域技术人员来说，根据二维影像和深度来生成三维影像的方式有多种，其中对比文件1中的三维建模方式以及本申请中的根据深度信息直接生成视差图，从而得到左右眼影像，都属于立体视觉领域的常规技术手段，属于本领域的公知常识。
针对上述区别（2），对于本领域技术人员来说，交错影像的立体显示方式，是一种常规的立体显示方式，将左右眼影像转换为交错影像，属于本领域的公知常识。
综上，在对比文件1的基础上结合对比文件2及上述公知常识，从而得到该权利要求所要求保护的技术方案，对于本领域技术人员来说是显而易见的。因此，该权利要求不具备突出的实质性特点和显著的进步，不符合专利法第22条第3款有关创造性的规定。
2）、权利要求2请求保护一种使用色度成形法的内视镜立体视觉化方法，对比文件1公开了一种单镜头内视镜立体视觉化系统及其方法，并具体公开了以下技术内容（参见说明书第1-19段及图1-2）：包括一影像转换装置，其具有一2D/3D影像转换单元、一内视镜连接端及复数影像输出界面，该内视镜连接端用以连接一单镜头内视镜，以透过单镜头内视镜取得2D影像（即撷取平面影像，以一影像撷取装置取得一内视镜相机的平面影像），该2D/3D影像转换单元用以转换2D影像为3D影像，其中一影像输出界面连接有一3D显示器，用以显示经2D/3D影像转换单元转换的3D影像，针对起始画面利用色度成形法重复迭代模拟虚拟三维模型的形态，该起始画面的影像是来自于内视镜相机拍摄的二维影像，利用影像中光照分布的描述来推估二维影像的深度结构（即利用色度成形法产生深度，通过色度成形法计算该平面影像的光源及其阴影分布资讯），透过二维影像加深度渲染以得到起始画面的影像的形状模型，并以最近迭代点演算法找出其相对的二维影像与虚拟三维模型之间的转换关系，利用内视镜的二维影像特征点匹配并以相机姿态估测定位虚拟三维模型中的相机坐标，把深度场景透过z-near与z-far用2D灰阶影像显示深度地图，产生视差图，该视差图可以用来计算左右眼的偏移量藉此模拟出相对视角的左右影像，形成具有左右影像的立体影像（即利用深度地图产生视差图，该深度地图由灰阶影像组成，其表示为第三维度上物体的前后关系，该深度地图在转成立体影像过程会产生一视差图，视差图的像素值与深度地图必然成反比且与相机的焦距及两眼间距成正比，产生立体视觉的左右影像，从立体影像获得的视差图用于产生立体影像的左右眼影像，该视差图的像素值亦代表两眼间各像素点的偏移，进而产生左眼或右眼影像的立体影像）。
由此可见，该权利要求与对比文件1之间的区别在于：（1）该分布资讯是由像素值进行梯度重复迭代运算的结果，经结合光源照射的方向与位置资讯，再加入光源照射方向估测以提高相对位置判断的准确性，经运算后的结果是一相对的深度地图，用于生成视差图，该深度地图中像素值包含像素强度、光源方向及坐标的自然对数，并以快速解方程式以及平行运算加速其迭代过程；该色度成形法以下列的描述完成光照分布的计算：假设相机位置C(α，β，γ)，在影像空间域x＝(x，y)有表面法向量n和光源向量l，其三维点M在影像平面中相依的像素点为m可以被描述成：；
其中u(x)代表x点的深度，ux，uy是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；
其中：ρ是表面的反射率，通过置换v＝lnu，可以获得 Hamiltonian方程式：
其中，
经由迭代运算方程式即可产生光照分布的深度影像，该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量。（2）生成的左眼与右眼影像转换为交错影像。基于上述区别可以确定，该权利要求所要求保护的技术方案实际解决的技术问题是如何利用色度成形法生成立体影像。
针对上述区别（1），对比文件2公开了一种利用色度成形法重建深度地图的方法，并具体公开了以下技术内容（参见正文第1-6节）：相机C的位置为 (α，β，γ)，有参数表面法向量n和光源向量l，三维点M在影像平面中的像素点m被描述成：，
其中u（x）代表x点的深度，ux，uy是空间导数。故影像的照射方程式就可以用来解不包含光源和表面反射的距离衰减的Lambertian SFS；
其中：ρ是表面的反射率，通过置换v＝lnu，可以获得Hamiltonian方程式：
其中，
经由迭代运算方程式即可产生光照分布的深度影像（即该分布资讯是由像素值进行梯度重复迭代运算，结合光源照射的方向与位置资讯，加入光源照射方向估测得到深度地图），得到的深度影像中必然包括像素强度、光源方向及坐标，该内视镜的光源与内视镜的相机向量几乎相同，在此可以被简化成具有相同向量，且上述特征在对比文件2中所起的作用与其在本申请中为解决其技术问题所起的作用相同，都是利用色度成形法得到深度影像；而对于本领域技术人员来说，根据二维影像和深度来生成三维影像的方式有多种，其中对比文件1中的三维建模方式以及本申请中的根据深度信息直接生成视差图，从而得到左右眼影像，都属于立体视觉领域的常规技术手段，属于本领域的公知常识；以及所述坐标为坐标的自然对数，属于本领域的公知常识。
针对上述区别（2），对于本领域技术人员来说，交错影像的立体显示方式，是一种常规的立体显示方式，将左右眼影像转换为交错影像，属于本领域的公知常识。
综上，在对比文件1的基础上结合对比文件2及上述公知常识，从而得到该权利要求所要求保护的技术方案，对于本领域技术人员来说是显而易见的。因此，该权利要求不具备突出的实质性特点和显著的进步，不符合专利法第22条第3款有关创造性的规定。
3）、权利要求3对权利要求2作了进一步限定，对比文件1中还公开了以下技术内容（参见说明书第1-19段及图1-2）：在对起始画面利用色度成形法模拟虚拟三维模型的形态之前，进行内视镜相机校正，利用相机校正法计算内视镜相机的内部参数，该相机校正法是利用一校正模板的旋转与平移进行相机运动估测，并以非线性解取得相机本身的内部与外部参数。因此，在其引用的权利要求不具备创造性时，该从属权利要求也不具备专利法第22条第3款规定的创造性。
4、针对复审请求人意见答复
合议组认为，对比文件1已经公开了：利用深度地图产生视差图，并依据视差图产生左眼或右眼影像（参见说明书第18段），而利用色度成形法产生深度地图已经被对比文件2所公开，计算过程与本申请相同，且对于本领域技术人员来说，交错影像的立体显示方式，是一种常规的立体显示方式，将左右眼影像转换为交错影像，属于本领域的公知常识。因而，本领域技术人员容易想到结合对比文件1、对比文件2的内容，即利用色度成形法计算得到深度地图，再利用二维影像和深度地图得到左眼影像或右眼影像，从而生成交错影像；对比文件1和对比文件2均涉及通过色度成形法利用相应算法重建三维模型，因此本领域技术人员根据对比文件2给出的重建深度地图的公式，有动机对比文件1中重复迭代的方式进行改进，从而得到权利要求1要求保护的技术方案，并且该技术方案同样可达到省略利用CT或MRI等影像来形成三维模型及立体结构，不需要进行模型匹配及对位的步骤的效果。因此，复审请求人的意见合议组不予支持。
三、决定
维持国家知识产权局于2018年12月03日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
