发明创造名称：一种显示控制装置及其控制方法、显示控制系统
外观设计名称：
决定号：198031
决定日：2019-12-18
委内编号：1F275291
优先权日：
申请（专利）号：201610041709.5
申请日：2016-01-21
复审请求人：京东方科技集团股份有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：李铎
合议组组长：巩瑜
参审员：刘曼
国际分类号：G06F3/01
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在区别技术特征，但该区别技术特征属于本领域的公知常识，则该权利要求相对于上述对比文件和本领域的公知常识的结合是显而易见的，不具备创造性。
全文：
本复审请求涉及申请号为201610041709.5，名称为“一种显示控制装置及其控制方法、显示控制系统”的发明专利申请（下称本申请）。本申请的申请人为京东方科技集团股份有限公司，申请日为2016年01月21日，公开日为2016年04月27日。
经实质审查，国家知识产权局实质审查部门于2018年11月19日发出驳回决定，以权利要求1-16不具备专利法第22条第3款规定的创造性为由驳回了本申请。驳回决定所依据的文本为：申请日2016年01月21日提交的说明书第1-19页、说明书附图第1-9页、说明书摘要、摘要附图，以及2018年09月17日提交的权利要求第1-16项。
驳回决定所针对的权利要求书内容如下：
“1. 一种显示控制方法，其特征在于，包括：
获取眼睛注视当前显示图像时，显示图像上的注视位置，以及注视所述当前显示图像时的当前脑电波；所述显示图像包括图像主内容和操作图标；
当所述当前脑电波的特征参数满足预设条件时，根据所述当前脑电波确定所述当前脑电波对应的控制指令；
根据所述控制指令对所述注视位置的显示图像执行相应的操作；
所述显示控制方法为可穿戴设备执行的显示控制方法，所述获取当眼睛注视显示图像时，显示图像上的注视位置包括：
获取眼部图像，确定瞳孔位置，具体包括：在可穿戴设备的显示面板上分别设置位于不同位置的三个红外光源，所述红外光源发出的光线能够用户眼睛角膜上形成高亮度反射点，即光斑，通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R，再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出通孔的瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定；
根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定；
根据所述视线方向与所述显示图像的映射关系，得出所述眼睛在所述显示图像的注视位置。
2. 根据权利要求1所述的显示控制方法，其特征在于，所述根据所述当前脑电波确定所述当前脑电波对应的控制指令包括：
确定所述当前脑电波的特征参数；
将所述当前脑电波的特征参数与脑电波数据集中的预设脑电波的特征参数进行匹配；所述脑电波数据集预存有预设脑电波的特征参数与控制指令的对应关系；
当所述当前脑电波的特征参数与所述预设脑电波的特征参数相匹配时，获取相匹配的预设脑电波所对应的控制指令。
3. 根据权利要求2所述的显示控制方法，其特征在于，在获取当前脑电波之前，所述方法还包括：确定所述预设脑电波的特征参数，并存储；建立所述脑电波数据集。
4. 根据权利要求1所述的显示控制方法，所述特征参数为脑电波的频率、振幅中的至少一种。
5. 一种显示控制装置，其特征在于，包括：
获取模块，用于获取眼睛注视当前显示图像时，显示图像上的注视位置，以及注视所述当前显示图像时的当前脑电波；所述显示图像包括图像主内容和操作图标；
确定模块，用于当所述当前脑电波的特征参数满足预设条件时，根据所述当前脑电波确定所述当前脑电波对应的控制指令；
执行模块，用于根据所述控制指令，对所述注视位置的显示图像执行相应的操作；
所述获取模块包括：眼部图像采集子模块、视线确定子模块、位置计算元件子模块；
所述眼部图像采集子模块用于获取眼部图像，确定瞳孔位置，具体包括：在可穿戴设备的显示面板上分别设置位于不同位置的三个红外光源，所述红外光源发出的光线能够用户眼睛角膜上形成高亮度反射点，即光斑，通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R，再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出通孔的瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定；
所述视线确定子模块与所述眼部图像采集子模块相连接，用于计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定；
所述位置计算子模块与所述视线确定子模块相连接，用于根据所述视线方向与所述显示图像的映射关系，得出所述眼睛在所述显示图像的注视位置。
6. 根据权利要求5所述的显示控制装置，其特征在于，还包括存储模块，所述获取模块包括用于获取所述当前脑电波的脑电波采集子模块，所述确定模块包括特征参数获取子模块以及指令汇编子模块；
所述特征参数获取子模块连接所述脑电波采集子模块，用于确定所述当前脑电波和预设脑电波的特征参数；
所述指令汇编子模块连接所述特征参数获取子模块，用于建立脑电波数据集，所述脑电波数据集预存有预设脑电波的特征参数与控制指令的对应关系；
所述存储模块连接所述特征参数获取子模块和所述指令汇编子模块，用于存储所述控制指令、所述特征参数以及所述脑电波数据集。
7. 根据权利要求6所述的显示控制装置，其特征在于，所述确定模块还包括特征匹配子模块；
所述特征匹配子模块连接所述特征参数获取子模块和所述存储模块，用于将所述特征参数获取子模块获取到的当前脑电波的特征参数与所述存储模块中脑电波数据集中的预设脑电波的特征参数进行匹配。
8. 根据权利要求7所述的显示控制装置，其特征在于，所述确定模块还包括指令获取子模块，与所述特征匹配子模块和所述存储模块相连接，用于当所述当前脑电波的特征参数与所述预设脑电波的特征参数相匹配时，从所述存储模块中获取相匹配的预设脑电波所对应的控制指令。
9. 一种显示控制系统，其特征在于，包括：显示设备、可穿戴设备、控制器；
所述显示设备用于显示图像，作为当前显示图像；
所述可穿戴设备用于获取眼睛注视当前显示图像时显示图像上的注视位置，以及获取眼睛注视所述当前显示图像时的当前脑电波；所述显示图像包括图像主内容和操作图标；
所述控制器用于当所述当前脑电波的特征参数满足预设条件时，根据所述当前脑电波确定所述当前脑电波对应的控制指令；根据所述控制指令对所述注视位置的显示图像执行相应的操作；
所述可穿戴设备还用于获取当眼睛注视显示图像时，显示图像上的注视位置，包括：
获取眼部图像，确定瞳孔位置，具体包括：在可穿戴设备的显示面板上分别设置位于不同位置的三个红外光源，所述红外光源发出的光线能够用户眼睛角膜上形成高亮度反射点，即光斑，通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R，再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出通孔的瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定；
根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定；
根据所述视线方向与所述显示图像的映射关系，得出所述眼睛在所述显示图像的注视位置。
10. 根据权利要求9所述的显示控制系统，其特征在于，所述显示设备与所述可穿戴设备分离式设置，且通过有线或无线方式连接，用于信息交互，所述控制器设置在所述显示设备中。
11. 根据权利要求10所述的显示控制系统，其特征在于，所述可穿戴设备包括头戴支架，所述头戴支架上设置有用于采集当前脑电波的脑电波采集回路、用于采集人眼成像的图像采集器，以及用于根据所述图像采集器采集的图像确定眼睛在显示图像上的注视位置的处理器；所述处理器还用于将所述当前脑电波和所述注视位置发送至所述显示设备。
12. 根据权利要求9所述的显示控制系统，其特征在于，所述可穿戴设备包括头戴支架，所述头戴支架上集成有所述显示设备和所述控制器。
13. 根据权利要求12所述的显示控制系统，其特征在于，所述头戴支架上设置有用于采集当前脑电波的脑电波采集回路、用于采集人眼成像的图像采集器，以及用于根据所述图像采集器采集的图像确定眼睛在显示图像上的注视位置的处理器；所述处理器还用于将所述当前脑电波和所述注视位置发送至所述显示设备。
14. 根据权利要求11或13所述的显示控制系统，其特征在于，所述脑电波采集回路由前额传感器以及至少一个耳垂传感器构成。
15. 根据权利要求11或13所述的显示控制系统，其特征在于，所述图像采集器为CCD图像传感器或CMOS图像传感器。
16. 根据权利要求15所述的显示控制系统，其特征在于，所述图像采集器和所述显示设备上设置有红外光光源。”
驳回决定中引用了如下对比文件：
对比文件1：CN 102749990A，公开日为2012年10月24日。
驳回决定的具体理由是：（1）独立权利要求1与对比文件1的区别技术特征为：显示图像上的注视位置；所述显示图像包括图像主内容和操作图标；所述显示控制方法为可穿戴设备执行的显示控制方法，所述获取当眼睛注视显示图像时，显示图像上的注视位置包括：获取眼部图像，确定瞳孔位置，具体包括：在可穿戴设备的显示面板上分别设置位于不同位置的三个红外光源，所述红外光源发出的光线能够在用户眼睛角膜上形成高亮度反射点，即光斑，通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R，再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出通孔的瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定；根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定；根据所述视线方向与所述显示图像的映射关系，得出所述眼睛在所述显示图像的注视位置。上述区别技术特征属于本领域公知常识。因此权利要求1不具备创造性。从属权利要求2-4的附加技术特征属于本领域的公知常识。因此权利要求2-4也不具备创造性。（2）基于与评述权利要求1类似的理由，产品独立权利要求5和独立权利要求9也不具备创造性。从属权利要求6-8，10-16的附加技术特征或者被对比文件1公开，或者属于本领域的公知常识。因此权利要求6-8，10-16也不具备创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2019年03月01日向国家知识产权局提出了复审请求，同时提交了权利要求书的全文修改替换页。具体修改内容为：在从属权利要求2和6中分别增加特征“脑电波的特征参数为脑电波的频率”。复审请求人认为：（1）驳回决定中引用了论文集中的一篇论文作为公知常识证据，该证据没有在驳回决定前通知申请人，因此驳回不符合听证原则。（2）本申请使用的是脑控和眼球控制，并给出了眼球控制的模型及算法，但对比文件1利用的是线性眼控（两眼之间的某一点作为基准点，以基准点变化操控鼠标的左右移动），这与本申请的眼球控制完全不同，更不可能有本申请的控制模型及算法。（3）本申请的显示图像包括图像主内容和操作图标，用户眼睛注视当前显示图像上的注视位置是为了依据该位置的操作图标来对图像主内容进行对应的操作的，而非是确定需要被操作的对象。对比文件1的显示图像不包括操作图标，用户眼睛注视当前显示图像上的注视位置仅仅是确定需要被操作的对象，而非依据该位置的操作图标来对图像主内容进行相应的操作。（4）本申请权利要求2的技术方案可以使得不同频率的脑电波对应多个控制指令，而无需借助眼部肌肉的运动，但对比文件1无法实现这一技术。因此，本申请具备创造性。
复审请求人提出复审请求时修改的权利要求2、6的内容如下：
“2. 根据权利要求1所述的显示控制方法，其特征在于，所述根据所述当前脑电波确定所述当前脑电波对应的控制指令包括：
确定所述当前脑电波的特征参数；
将所述当前脑电波的特征参数与脑电波数据集中的预设脑电波的特征参数进行匹配；所述脑电波数据集预存有预设脑电波的特征参数与控制指令的对应关系；
当所述当前脑电波的特征参数与所述预设脑电波的特征参数相匹配时，获取相匹配的预设脑电波所对应的控制指令；
脑电波的特征参数为脑电波的频率。”
“6. 根据权利要求5所述的显示控制装置，其特征在于，还包括存储模块，所述获取模块包括用于获取所述当前脑电波的脑电波采集子模块，所述确定模块包括特征参数获取子模块以及指令汇编子模块；
所述特征参数获取子模块连接所述脑电波采集子模块，用于确定所述当前脑电波和预设脑电波的特征参数；
所述指令汇编子模块连接所述特征参数获取子模块，用于建立脑电波数据集，所述脑电波数据集预存有预设脑电波的特征参数与控制指令的对应关系；
所述存储模块连接所述特征参数获取子模块和所述指令汇编子模块，用于存储所述控制指令、所述特征参数以及所述脑电波数据集；
脑电波的特征参数为脑电波的频率。”
经形式审查合格，国家知识产权局于2019年03月06日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局依法成立合议组对本案进行审理。
合议组于2019年09月09日向复审请求人发出复审通知书，指出：（1）独立权利要求1与对比文件1的区别技术特征为：显示图像包括的内容不同，显示控制方法的执行主体不同，并具体限定了启动确定脑电波对应的控制指令的条件以及确定视线方向的过程。然而这些区别技术特征是本领域的公知常识，因此权利要求1不具备专利法第22条第3款规定的创造性。（2）从属权利要求2-4的附加技术特征或者被对比文件1公开，或者属于本领域的公知常识，因此权利要求2-4也不具备专利法第22条第3款规定的创造性。（3）权利要求5是对应方法权利要求1的产品权利要求，从属权利要求6-8的附加技术特征中的各个模块实现的功能对应于方法从属权利要求2-3的附加技术特征，而各个模块之间的连接关系是实现相应功能的公知辅助手段。因此权利要求5-8也不具备专利法第22条第3款规定的创造性。（4）权利要求9与对比文件1的区别和权利要求1与对比文件1的区别相同，从属权利要求10-16的附加技术特征或者被对比文件1公开，或者属于本领域的公知常识，因此权利要求9-16也不具备专利法第22条第3款规定的创造性。针对复审请求人提出复审请求时的意见陈述，合议组认为：（1）驳回决定中给出的证据仅用于辅助证明相应技术手段是本领域的公知常识，其得出权利要求1不具备创造性的结论是基于对比文件1与该公知常识的结合而不是将对比文件1与该论文相结合得出结论。因此，该驳回符合听证原则。（2）对比文件1公开的基于初始用户输入和二次用户输入提供用户反馈的方法，当初始输入为视线、二次输入为脑电波时同样是脑控和眼球控制。同时，由对比文件1记载的内容不能得到对比文件1利用的是线性眼控。（3）首先，参见对权利要求1的评述可知，在显示图像中同时包括图像主内容和操作图标是本领域的公知常识。其次，权利要求1中并没有限定依据注视位置的操作图标来对图像主内容进行对应的操作。而从单击操作图标产生对应操作上看，操作图标本身也是需要被操作的对象。最后，即使申请人根据说明书的记载进一步限定操作图标的类型及其对应操作关系，其也是本领域控制显示图像的公知常识。（4）首先，对比文件1公开了脑电波可以被关联到不同的对象动作（举起和放下对象、移动对象、旋转对象等等）。不同动作必然对应不同控制指令，为了实现对不同控制指令的关联，必须对采集到的脑电波加以区分。而脑电波作为一种公知的电波，频率和振幅是反映其特征的基本参数。因此本领域技术人员容易想到使用不同频率的脑电波对应多个控制指令。其次，由对比文件1记载的内容不能得到其方案需要借助眼部肌肉的运动来关联脑电波和多个控制指令。
复审请求人于2019年10月21日提交了意见陈述书，但未修改申请文件。复审请求人认为：
（1）根据《专利审查指南》相关章节的规定，如果首次提供技术词典、技术手册、教科书等所属技术领域中的公知常识性证据，则必然违反听证原则。本驳回决定中引用的是论文集中的一篇论文，而非审查指南中明确限定的教科书，也不是工具书，不可以作为公知常识证据。也就是说，该驳回决定引入了新的证据，而该证据没有在驳回决定之前通知申请人，也没有给申请人至少一次陈述意见和/或修改申请文件的机会。因此该驳回决定不符合听证原则。
（2）本申请使用的是脑电波 眼球控制的方法来控制显示，该方法是用户的眼球转动再结合当前用户的脑电波进行控制，用户除眼球外的其他部位，如用户的头是不动的。而对比文件1没有追踪用户的眼球，本领域技术人员也不能判断出对比文件1中用户是仅眼睛动还是除眼睛外的其他部位，如用户的头动进而带动眼睛动。同时对比文件1中也没有公开用户的眼睛如何捕捉图片，也没有给出近红外线具体如何实现追踪用户的眼睛。而本申请通过具体的坐标系的确立给出了眼球控制的模型及算法。因此，权利要求1具备创造性。
在上述程序的基础上，本案合议组认为事实已经清楚，可以依法作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人于答复复审通知书时未修改申请文件，本复审请求审查决定所依据的文本与复审通知书所依据的文本相同，即：申请日2016年01月21日提交的说明书第1-19页、说明书附图第1-9页、说明书摘要、摘要附图，以及2019年03月01日提交的权利要求第1-16项。
2、关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在区别技术特征，但该区别技术特征属于本领域的公知常识，则该权利要求相对于上述对比文件和本领域的公知常识的结合是显而易见的，不具备创造性。
本复审请求审查决定所引用的对比文件与驳回决定以及复审通知书中引用的对比文件相同，即：
对比文件1：CN 102749990A，公开日为2012年10月24日。
2.1、权利要求1请求保护一种显示控制方法，对比文件1公开一种基于初始用户输入和二次用户输入提供用户反馈的方法，当初始输入为视线、二次输入为脑电波时，涉及基于视线和脑电波修改显示的用户界面（相当于一种显示控制方法），并具体公开了以下技术特征（参见说明书第[0003]-[0004]、[0022]、[0028]-[0063]段，图1-5）：在用户界面显示对象（相当于显示图像包括图像主内容），接收反映对象选择的用户视线和接收反映对象交互的脑电波（相当于获取注视所述当前显示图像时的当前脑电波），分析用户视线和脑电波，将上述选择和交互关联到用户界面，基于上述关联修改用户界面中的对象（相当于根据所述当前脑电波确定所述当前脑电波对应的控制指令；根据所述控制指令对所述注视位置的显示图像执行相应的操作）。其中基于用户视线选择对象的过程具体包括：视线传感器212追踪用户的眼睛。视线传感器212可以包括光源，例如近红外线二极管（相当于红外光源），以照射眼睛，具体为视网膜，导致可见的反射，以及包括摄像头，该摄像头捕捉显示反射的眼睛图片（相当于获取眼部图像）。随后，通过计算设备204分析图片，以识别光的反射，并计算视线方向。作为选择，视线传感器212本身可以分析数据，以计算视线方向。计算设备204的对象探测逻辑220进行光线投射分析，以确定在屏幕上视线的位置（根据视线方向确定屏幕上视线的位置时必然利用了所述视线方向与所述显示图像的映射关系，否则无法确定屏幕上视线的位置。因而，上述内容相当于获取眼睛注视当前显示图像时，显示图像上的注视位置；以及根据所述视线方向与所述显示图像的映射关系，得出所述眼睛在所述显示图像的注视位置）。视线传感器212为摄像头和光源，并设置在显示器附近。在另外的实施例中，视线传感器212一体化于显示器208中。在另一个实施例中，视线传感器212为用户戴着的眼镜（相当于可穿戴设备），该眼镜包括摄像头和光源。其中基于脑电波与对象交互的过程具体包括：脑电波可以被关联到对象动作，例如举起和放下对象、移动对象、旋转对象等等；例如，用户可以盯着客户想移动的对象，用户可以利用其脑电波来移动该对象。对比文件1还公开了（参见说明书第[0031]段）：视线和手部姿态也可以用于选择虚拟按钮（虚拟按钮即操作图标，因此相当于显示图像包括操作图标）。
由此可见，权利要求1与对比文件1相比，其区别技术特征在于：1）权利要求1的显示图像包括图像主内容和操作图标，对比文件1的用户界面显示对象可分别为图像主内容和操作图标；2）权利要求1在当所述当前脑电波的特征参数满足预设条件时，根据所述当前脑电波确定所述当前脑电波对应的控制指令，即对确定脑电波对应的控制指令的操作限定了启动条件，对比文件1仅公开了将脑电波关联到对象动作，即仅公开了确定脑电波对应的控制指令；3）权利要求1将显示控制方法限定为可穿戴设备执行的显示控制方法。对确定视线方向的过程进行了具体限定，包括：获取眼部图像，确定瞳孔位置，具体包括：在可穿戴设备的显示面板上分别设置位于不同位置的三个红外光源以在用户眼睛角膜上形成光斑，通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R，再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定；根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定；对比文件1公开了在可穿戴设备上设置红外光源，所述红外光源发出的光线能够在用户眼睛上形成反射，获取眼部图像，从而完成视线方向的确定。
基于上述区别技术特征，权利要求1实际解决的技术问题是：如何配置显示图像、如何提高分析效率以及如何具体计算视线方向。
对于区别技术特征1），对比文件1公开了用户界面显示对象可分别为图像主内容和操作图标，且本领域技术人员公知同时包括图像主内容和操作图标的显示对象也是常见的交互对象，例如，Windows系统中的照片查看器、Word文档、IE浏览器的网页等，因而显示对象同时包括图像主内容和操作图标是本领域的公知常识。
对于区别技术特征2），本领域技术人员公知的是：人脑试图控制操作对象时的脑电波的相关参数必然不同于仅仅观看操作对象时的脑电波的相关参数。在对比文件1已经公开了将脑电波关联到对象动作的基础上，为了提高分析效率，先确定人脑有控制操作对象的意图，即当前脑电波的特征参数满足预设条件，再判断该意图具体为何种操作，这是本领域的惯用技术手段。
对于区别技术特征3），首先，对比文件1公开了可在显示面板上设置红外光源，也可在可穿戴设备上设置红外光源，可由可穿戴装置计算视线方向，由计算设备确定视线位置并执行控制操作。虽然对比文件1没有公开可穿戴设备具有显示面板以便将红外光源设置在可穿戴设备的显示面板上以及由可穿戴设备确定视线位置并执行控制操作，然而具有显示面板的可穿戴设备是本领域常见的可穿戴设备，因此本领域技术人员根据对比文件1公开的内容和本领域的公知常识容易想到在可穿戴设备的显示面板上设置红外光源，进而获得可穿戴设备执行的显示控制方法。其次，对比文件1在另一个实施例中还公开了如下内容：摄像头124利用红外线照射来追踪用户的视线128（即，用户眼睛108相对于显示器116的方向）。计算设备分析来自带红外照射的至少一个摄像头的输入，以确定用户观察的显示器132的区域，然后确定用户正在看着的具体对象140（参见说明书第[0028]段）。可见对比文件1公开了使用多个红外光源照射眼睛的特征。当使用多个红外光源时，其布设位置必然不同，否则没有必要设置多个光源。而三个红外光源是本领域技术人员经过有限次试验容易确定的设置数量。最后，根据本领域公知的球面反射成像原理，多个光源经角膜球面反射所成的多个像点在光源与角膜曲率中心O的连线上。也就是说，在角膜球面未知的情况下，可以由多条光源与像点连线的交点来确定中心O的位置。可见区别特征“通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R”是对该公知常识的常规应用实例。对于瞳孔中心检测，直接用椭圆拟合算法计算瞳孔中心位置以及最小二乘拟合都是本领域的惯用技术手段，而瞳孔与角膜曲率中心的距离近似曲率半径是本领域的公知常识。因此，区别特征“再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定”是对该公知常识的常规应用实例。根据本领域眼球光轴与视线关系的公知常识可知，角膜曲率中心O与瞳孔中心的连线即为光轴方向，而光轴和视轴间存在一个与个人特征无关的固定偏差角kappa，通过偏差角很容易求得视轴方向。可见区别特征“根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定”是对该公知常识的常规应用实例。
由此可知，在对比文件1的基础上结合本领域的公知常识得出该权利要求的技术方案，对本领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具有突出的实质性特点，不具备专利法第22条第3款规定的创造性。
2.2、权利要求2是权利要求1的从属权利要求，权利要求3是权利要求2的从属权利要求，权利要求4是权利要求1的从属权利要求。对比文件1公开了：利用头戴式装置（Emotiv EPOC headset），在用户头上设置若干对电极或其他传感器。收集的脑电波可以被关联到对象动作，例如举起和放下对象、移动对象、旋转对象等等（参见说明书第[0057]段）。而事先建立预存有预设脑电波的特征参数与控制指令的对应关系的脑电波数据集，并通过对当前脑电波特征参数的确定以及与数据集中的特征参数匹配以获得对应控制指令是本领域进行参数及其对应指令关联的惯用技术手段。另外，脑电波作为一种公知的电波，频率和振幅是反映其特征的基本参数。因此，在引用的权利要求不具备创造性时，权利要求2-4也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.3、权利要求5是对应方法权利要求1的产品权利要求。基于与评述权利要求1同样的理由，权利要求5也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.4、权利要求6是权利要求5的从属权利要求，权利要求7是权利要求6的从属权利要求，权利要求8是权利要求7的从属权利要求。其附加技术特征中的各个模块实现的功能对应于方法从属权利要求2-3的附加技术特征，而各个模块之间的连接关系是实现相应功能的公知辅助手段。因此，在引用的权利要求不具备创造性时，权利要求6-8也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.5、权利要求9请求保护一种显示控制系统，对比文件1公开一种基于初始用户输入和二次用户输入提供用户反馈的系统，当初始输入为视线、二次输入为脑电波时，涉及基于视线和脑电波修改显示的用户界面（相当于一种显示控制系统）。并具体公开了以下技术特征（参见说明书第[0003]-[0004]、[0022]、[0028]-[0063]段，图1-5）：系统400包括计算设备404，该计算设备404连接到显示器408，并提供显示在显示器408上的用户界面（相当于显示设备用于显示图像，作为当前显示图像）。系统400也包括与计算设备404连接的初始传感器412和二次传感器416。初始输入为视线，初始传感器412为视线追踪传感器212，其可以为用户戴着的眼镜（相当于可穿戴设备），二次传感器416可以为测量和产生脑电波图形的传感器（或多个传感器），例如，利用头戴式装置（Emotiv EPOC headset；相当于可穿戴设备），在用户头上设置若干对电极或其他传感器（相当于显示控制系统包括显示设备、可穿戴设备、控制器可穿戴设备）。计算设备404包括关联逻辑424（相当于控制器），该关联逻辑424将用户的意图动作或命令关联到用户界面，基于上述关联修改用户界面中的对象，其中计算设备404类似于计算设备204。在用户界面显示对象（相当于显示图像包括图像主内容），接收反映对象选择的用户视线和接收反映对象交互的脑电波（相当于所述可穿戴设备用于获取注视所述当前显示图像时的当前脑电波），分析用户视线和脑电波，将上述选择和交互关联到用户界面，基于上述关联修改用户界面中的对象（相当于所述控制器用于根据所述当前脑电波确定所述当前脑电波对应的控制指令；根据所述控制指令对所述注视位置的显示图像执行相应的操作）。其中基于用户视线选择对象的过程具体包括：视线传感器212追踪用户的眼睛。视线传感器212可以包括光源，例如近红外线二极管（相当于红外光源），以照射眼睛，具体为视网膜，导致可见的反射，以及包括摄像头，该摄像头捕捉显示反射的眼睛图片（相当于获取眼部图像）。随后，通过计算设备204分析图片，以识别光的反射，并计算视线方向。作为选择，视线传感器212本身可以分析数据，以计算视线方向。计算设备204的对象探测逻辑220进行光线投射分析，以确定在屏幕上视线的位置（根据视线方向确定屏幕上视线的位置时必然利用了所述视线方向与所述显示图像的映射关系，否则无法确定屏幕上视线的位置。因而，上述内容相当于获取眼睛注视当前显示图像时显示图像上的注视位置；以及根据所述视线方向与所述显示图像的映射关系，得出所述眼睛在所述显示图像的注视位置）。视线传感器212为摄像头和光源，并设置在显示器附近。在另外的实施例中，视线传感器212一体化于显示器208中。在另一个实施例中，视线传感器212为用户戴着的眼镜，该眼镜包括摄像头和光源。其中基于脑电波与对象交互的过程具体包括：脑电波可以被关联到对象动作，例如举起和放下对象、移动对象、旋转对象等等；例如，用户可以盯着客户想移动的对象，用户可以利用其脑电波来移动该对象。对比文件1还公开了（参见说明书第[0031]段）：视线和手部姿态也可以用于选择虚拟按钮（虚拟按钮即操作图标，因此相当于显示图像包括操作图标）。
由此可见，权利要求9与对比文件1相比，其区别技术特征在于：1）权利要求9的显示图像包括图像主内容和操作图标，对比文件1的用户界面显示对象可分别为图像主内容和操作图标；2）权利要求9在当所述当前脑电波的特征参数满足预设条件时，根据所述当前脑电波确定所述当前脑电波对应的控制指令，即对确定脑电波对应的控制指令的操作限定了启动条件，对比文件1仅公开了将脑电波关联到对象动作，即仅公开了确定脑电波对应的控制指令；3）权利要求9的可穿戴设备还用于获取眼睛注视当前显示图像时显示图像上的注视位置。对确定视线方向的过程进行了具体限定，包括：获取眼部图像，确定瞳孔位置，具体包括：在可穿戴设备的显示面板上分别设置位于不同位置的三个红外光源以在用户眼睛角膜上形成光斑，通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R，再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定；根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定；对比文件1公开了在可穿戴设备上设置红外光源，所述红外光源发出的光线能够在用户眼睛上形成反射，获取眼部图像，从而完成视线方向的确定。
基于上述区别技术特征，权利要求9实际解决的技术问题是：如何配置显示图像、如何提高分析效率以及如何具体计算视线方向。
对于区别技术特征1），对比文件1公开了用户界面显示对象可分别为图像主内容和操作图标，本领域技术人员公知同时包括图像主内容和操作图标的显示对象也是常见的交互对象，例如，Windows系统中的照片查看器、Word文档、IE浏览器的网页等，因而显示对象同时包括图像主内容和操作图标是本领域的公知常识。
对于区别技术特征2），本领域技术人员公知的是：人脑试图控制操作对象时的脑电波的相关参数必然不同于仅仅观看操作对象时的脑电波的相关参数。在对比文件1已经公开了将脑电波关联到对象动作的基础上，为了提高分析效率，先确定人脑有控制操作对象的意图，即当前脑电波的特征参数满足预设条件，再判断该意图具体为何种操作，这是本领域的惯用技术手段。
对于区别技术特征3），首先，对比文件1公开了可在显示面板上设置红外光源，也可在可穿戴设备上设置红外光源，可由可穿戴装置计算视线方向，由计算设备确定视线位置并执行控制操作。虽然对比文件1没有公开可穿戴设备具有显示面板以便将红外光源设置在可穿戴设备的显示面板上以及由可穿戴设备确定视线位置，然而具有显示面板的可穿戴设备是本领域常见的可穿戴设备，因此本领域技术人员根据对比文件1公开的内容和本领域的公知常识容易想到在可穿戴设备的显示面板上设置红外光源，进而由可穿戴设备获取眼睛注视当前显示图像时显示图像上的注视位置。其次，对比文件1在另一个实施例中还公开了如下内容：摄像头124利用红外线照射来追踪用户的视线128（即，用户眼睛108相对于显示器116的方向）。计算设备分析来自带红外照射的至少一个摄像头的输入，以确定用户观察的显示器132的区域，然后确定用户正在看着的具体对象140（参见说明书第[0028]段）。可见对比文件1公开了使用多个红外光源照射眼睛的特征。当使用多个红外光源时，其布设位置必然不同，否则没有必要设置多个光源。而三个红外光源是本领域技术人员经过有限次试验容易确定的设置数量。最后，根据本领域公知的球面反射成像原理，多个光源经角膜球面反射所成的多个像点在光源与角膜曲率中心O的连线上。也就是说，在角膜球面未知的情况下，可以由多条光源与像点连线的交点来确定中心O的位置。可见区别特征“通过三个光斑的位置以及用户与屏幕之间的距离求出用户眼球的曲率中心O点的坐标(XO、YO，ZO)以及用户眼球的曲率半径R”是对该公知常识的常规应用实例。对于瞳孔中心检测，直接用椭圆拟合算法计算瞳孔中心位置以及最小二乘拟合都是本领域的惯用技术手段，而瞳孔与角膜曲率中心的距离近似曲率半径是本领域的公知常识。因此，区别特征“再通过图像处理方法提取瞳孔的边界样本点，然后通过最小二乘的椭圆拟合方法对样本点进行椭圆拟合，从而求出瞳孔中心位置P的坐标(XP，YP)，瞳孔中心位置P在Z轴的坐标ZP近似为曲率中心O点在Z轴的坐标ZO与用户眼球的曲率半径R之差，从而得出瞳孔中心位置P的坐标(XP，YP，ZP)，完成瞳孔位置的确定”是对该公知常识的常规应用实例。根据本领域眼球光轴与视线关系的公知常识可知，角膜曲率中心O与瞳孔中心的连线即为光轴方向，而光轴和视轴间存在一个与个人特征无关的固定偏差角kappa，通过偏差角很容易求得视轴方向。可见区别特征“根据所述瞳孔位置计算出视线方向，包括通过瞳孔中心位置P的坐标(XP，YP，ZP)、眼球的曲率中心O点的坐标(XO、YO，ZO)确定出夹角，从而完成视线方向的确定”是对该公知常识的常规应用实例。
由此可知，在对比文件1的基础上结合本领域的公知常识得出该权利要求的技术方案，对本领域的技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具有突出的实质性特点，不具备专利法第22条第3款规定的创造性。
2.6、权利要求10是权利要求9的从属权利要求。对比文件1（参见说明书第[0053]段）公开了计算设备404连接到显示器408，初始传感器412和二次传感器416可以通过有线和/或无线连接到计算设备404（相当于所述显示设备与所述可穿戴设备分离式设置，且通过有线或无线方式连接，用于信息交互）。而将控制器设置在显示设备中是本领域的惯用技术手段。因此，在引用的权利要求不具备创造性时，权利要求10也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.7、权利要求11是权利要求10的从属权利要求。对比文件1公开的包括视线传感器212的眼镜和用于采集脑电波的头戴式装置必然包括头戴支架，因此相当于公开了可穿戴设备包括头戴支架。且对比文件1（参见说明书第[0035]-[0036]，[0053]-[0054]，[0057]段）公开了：二次传感器416可以为测量和产生脑电波图形的传感器（或多个传感器），例如脑电图（EEG）。例如，利用头戴式装置（Emotiv EPOC headset），在用户头上设置若干对电极或其他传感器以收集的脑电波数据（相当于头戴支架上设置有用于采集当前脑电波的脑电波采集回路）。初始输入为视线，初始传感器412为用户戴着的眼镜，视线传感器212包括摄像头，该摄像头捕捉显示反射的眼睛图片（相当于头戴支架上设置有用于采集人眼成像的图像采集器）；且视线传感器212本身可以分析图片，以计算视线方向；计算装置204的对象探测逻辑220进行光线投射分析，以确定在屏幕上视线的位置（相当于用于根据所述图像采集器采集的图像确定眼睛在显示图像上的注视位置的处理器）。而将处理器设置在头戴支架上是本领域的惯用手段。关联逻辑将用户的意图动作或命令关联到用户界面。例如，用户可以盯着客户想移动的对象，用户可以利用其脑电波来移动该对象（即隐含公开了接收了头戴装置发送来的当前脑电波和注视位置）。而将上述数据发送至包括控制器的显示设备是本领域的惯用选择。因此，在引用的权利要求不具备创造性时，权利要求11也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.8、权利要求12是权利要求9的从属权利要求。对比文件1公开的包括视线传感器212眼镜和用于采集脑电波的头戴式装置必然包括头戴支架。而在头戴支架上集成显示设备和控制器是配置虚拟现实显示可穿戴设备的惯用技术手段。因此，在引用的权利要求不具备创造性时，权利要求12也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.9、权利要求13是权利要求12的从属权利要求。对比文件1（参见说明书第[0035]-[0036]，[0053]-[0054]，[0057]段）公开了：二次传感器416可以为测量和产生脑电波图形的传感器（或多个传感器），例如脑电图（EEG）。例如，利用头戴式装置（Emotiv EPOC headset），在用户头上设置若干对电极或其他传感器以收集脑电波数据（相当于头戴支架上设置有用于采集当前脑电波的脑电波采集回路）。初始输入为视线，初始传感器412为用户戴着的眼镜，视线传感器212包括摄像头，该摄像头捕捉显示反射的眼睛图片（相当于头戴支架上设置有用于采集人眼成像的图像采集器）；且视线传感器212本身可以分析图片，以计算视线方向；计算设备204的对象探测逻辑220进行光线投射分析，以确定在屏幕上视线的位置（相当于用于根据所述图像采集器采集的图像确定眼睛在显示图像上的注视位置的处理器）。而将处理器设置在头戴支架上是本领域的惯用手段。关联逻辑将用户的意图动作或命令关联到用户界面。例如，用户可以盯着客户想移动的对象，用户可以利用其脑电波来移动该对象（隐含公开了接收了头戴装置发送来的当前脑电波和注视位置）。而将上述数据发送至包括控制器的显示设备是本领域的惯用选择。因此，在引用的权利要求不具备创造性时，权利要求13也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.10、权利要求14、15都是权利要求11或13的从属权利要求。其附加技术特征是本领域配置脑电波采集回路和图像采集器的惯用手段。因此，在引用的权利要求不具备创造性时，权利要求14、15也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
2.11、权利要求16是权利要求15的从属权利要求。对比文件1（参见说明书第[0028]，[0036]段）公开了：计算设备分析来自带红外照射的至少一个摄像头的输入（相当于图像采集器上设置有红外光光源）。用于捕捉眼睛视线数据的视线传感器为摄像头和光源，并设置在显示器附近或一体化于显示器208中（相当于显示设备上设置有红外光光源）。因此，在引用的权利要求不具备创造性时，权利要求16也不具有突出的实质性特点，因而不具备专利法第22条第3款规定的创造性。
3、关于复审请求人的意见陈述
对于复审请求人答复复审通知书时提出的意见，合议组认为：
（1）首先，驳回决定是基于对比文件1与本领域公知常识的结合，而不是基于对比文件1与《和谐人机环境2006》的结合，得出权利要求1不具备创造性的。其次，《专利审查指南》第二部分第八章第6.1.1节中的相关规定为“对于首次修改后再次修改涉及同类缺陷的，如果修改后的申请文件仍然存在足以用已通知过申请人的理由和证据予以驳回的缺陷，则审查员可以直接作出驳回决定，无需再次发出审查意见通知书，以兼顾听证原则与程序节约原则”。本申请在答复第一次审查意见通知书时增加了部分特征，该部分特征为本领域公知常识。在答复第二次审查意见通知书时又增加了特征，该增加特征中部分特征被对比文件1公开，其余特征依然为本领域公知常识。可见本申请的驳回时机符合《专利审查指南》的相关规定。最后，《专利审查指南》第四部分第二章第3.3节中的相关规定仅说明了前置审查意见相对于驳回决定可引入技术词典、技术手册、教科书来证明相关特征为公知常识，无法得出驳回决定相对于前次通知书首次评述某新增加的特征为本领域公知常识并给出公知常识性证据时违反听证原则。综上，合议组对复审请求人关于驳回不符合听证原则的意见不予接受。至于论文集能否作为公知常识性证据：首先，本申请的复审通知书和本复审请求审查决定均没有使用该论文集作为公知常识性证据；其次，即使论文集不能作为公知常识性证据，也不能因此得到涉及到的相关特征不是公知常识的结论。
（2）权利要求1仅具体限定了如何获取眼睛注视显示图像上的注视位置，至于是否仅眼球转动，权利要求1对此没有进行任何限定，也没有具体限定如何获取眼部图像。因此不存在复审请求人认为的由脑电波 眼球控制的方法来控制显示的区别。另外，权利要求1的红外线也仅用于在眼睛角膜上形成反射点以计算眼球曲率中心坐标和曲率半径，而对比文件1公开了基于红外线的反射来计算视线方向（具体参见对权利要求1的评述部分），在此基础上结合本领域公知的球面反射成像原理容易得到以上述区别（3）中的相应方法来计算视线方向。
因此，对于复审请求人陈述的理由，合议组不予支持。
基于上述事实和理由，合议组依法作出如下审查决定。
三、决定
维持国家知识产权局于2018年11月19日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
