发明创造名称：在视频会议期间修改参与者的外观
外观设计名称：
决定号：180227
决定日：2019-05-16
委内编号：1F267371
优先权日：2012-03-14；2013-03-13
申请（专利）号：201380014075.9
申请日：2013-03-13
复审请求人：谷歌有限责任公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：尚琴
合议组组长：苏玉磊
参审员：张晋华
国际分类号：H04N7/15,H04M11/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点：如果一项权利要求与作为最接近现有技术的对比文件相比存在区别特征，但这些区别特征部分被其他对比文件公开，部分属于本领域的惯用手段，本领域技术人员基于上述对比文件和本领域的惯用手段的结合得到该权利要求请求保护的技术方案是显而易见的，则该权利要求不具有突出的实质性特点和显著的进步，不具备创造性。
全文：
本复审请求审查决定涉及申请号为201380014075.9，名称为“在视频会议期间修改参与者的外观”的发明专利申请（下称本申请）。申请人为谷歌公司，后变更为谷歌有限责任公司。本申请为进入中国国家阶段的PCT申请，申请日为2013年03月13日，最早优先权日为2012年03月14日，进入中国国家阶段日为2014年09月12日，公开日为2014年11月26日。
经实质审查，国家知识产权局实质审查部门于2018年08月14日发出驳回决定，以权利要求1-18不具备专利法第22条第3款规定的创造性为由驳回了本申请。
驳回决定中引用的对比文件为：对比文件1：CN1419377A，公开日为2003年05月21日；对比文件2：CN1536852A，公开日为2004年10月13日。驳回决定所依据的文本为：2018年04月16日提交的权利要求第1-18项；2014年09月12日进入中国国家阶段时提交的国际申请的中文译文的说明书第1-54段（即，第1-14页），说明书附图第1-4页，说明书摘要和摘要附图。
驳回决定所针对的权利要求书的内容如下：
“1.一种方法，包括：
从媒体流获得至少一个帧，其中，所述至少一个帧包括第一面部和背景，并且其中，所述第一面部是与用户相关联的面部的图像；
确定在所述至少一个帧内的多个坐标，其中，所述多个坐标包括所述第一面部的坐标，并且其中，使用面部识别算法来执行所述多个坐标的所述确定；
获得至少一个媒体内容项目，其中，所述至少一个媒体内容项目包括至少一个替代面部，并且其中，所述替代面部与所述第一面部的动画版本相关联；
获得与所述至少一个媒体内容项目相关联的一个或多个参数；
跟踪所述多个坐标中的改变；
基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；
在保留所述背景的同时基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目，其中，所述至少一个媒体内容项目的所述增加包括下述中的一个或多个：将所述至少一个媒体内容项目叠加在所述至少一个帧上，以及将所述一个或多个帧的至少一部分替换为所述至少一个媒体内容项目；
基于与所述第一面部的所述动画版本相关联的语音特性获得表示对来自所述用户的音频的修改的至少一个音频内容项目；以及
向所述媒体流添加所述至少一个音频内容项目。
2.一种方法，包括：
从媒体流获得至少一个帧，其中，所述至少一个帧包括第一面部和背景，并且其中，所述第一面部是与用户相关联的面部的图像；
确定在所述至少一个帧内的多个坐标；
获得包括替代面部至少一个媒体内容项目；
获得与所述至少一个媒体内容项目相关联的一个或多个参数；
跟踪所述多个坐标中的改变；
基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；
在保留所述背景的同时通过替代所述第一面部的所述替代面部基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目；
基于与所述替代面部相关联的语音特性获得表示对来自所述用户的音频的修改的至少一个音频内容项目；以及
向所述媒体流添加所述至少一个音频内容项目。
3.根据权利要求2所述的方法，其中，所述多个坐标包括所述第一面部的坐标。
4.根据权利要求2所述的方法，其中，使用面部识别算法来执行所述多个坐标的所述确定，并且其中，所述多个坐标包括所述第一面部的坐标。
5.根据权利要求2所述的方法，其中，所述至少一个媒体内容项目包括至少一个替代面部。
6.根据权利要求2所述的方法，其中，所述替代面部与所述第一面部不同。
7.根据权利要求2所述的方法，其中，所述替代面部与不同于所述用户的人相关联。
8.根据权利要求2所述的方法，其中，所述替代面部与所述第一面部的动画版本相关联。
9.根据权利要求2所述的方法，其中，所述至少一个媒体内容项 目的所述增加包括下述中的一个或多个：
将所述至少一个媒体内容项目叠加在所述至少一个帧上；以及
将所述一个或多个帧的至少一部分替换为所述至少一个媒体内容项目。
10.根据权利要求2所述的方法，进一步包括：
获得与所述至少一个媒体内容项目相关联的至少一个音频内容项目；以及
向所述媒体流增加所述至少一个音频内容项目。
11.一种系统，包括：
一个或多个处理器；以及
用于由所述一个或多个处理器执行的在一个或多个有形介质中编码的逻辑，并且所述逻辑在被执行时可操作用于执行操作，所述操作包括：
从媒体流获得至少一个帧，其中，所述至少一个帧包括第一面部和背景，并且其中，所述第一面部是与用户相关联的面部的图像；
确定在所述至少一个帧内的多个坐标；
获得至少一个媒体内容项目；
获得与所述至少一个媒体内容项目相关联的一个或多个参数；
跟踪所述多个坐标中的改变；
基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；
在保留所述背景的同时基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目；
获得表示对来自所述用户的音频的修改的至少一个音频内容项目；以及
向所述媒体流添加所述至少一个音频内容项目。
12.根据权利要求11所述的系统，其中，所述多个坐标包括所述 第一面部的坐标。
13.根据权利要求11所述的系统，其中，使用面部识别算法来执行所述多个坐标的所述确定，并且其中，所述多个坐标包括所述第一面部的坐标。
14.根据权利要求11所述的系统，其中，所述至少一个媒体内容项目包括至少一个替代面部。
15.根据权利要求11所述的系统，其中，所述至少一个媒体内容项目包括至少一个替代面部，并且其中，所述替代面部与所述第一面部不同。
16. 根据权利要求11所述的系统，其中，所述至少一个媒体内容项目包括至少一个替代面部，并且其中，所述替代面部与不同于所述用户的人相关联。
17.根据权利要求11所述的系统，其中，所述至少一个媒体内容项目包括至少一个替代面部，并且其中，所述替代面部与所述第一面部的动画版本相关联。
18.根据权利要求11所述的系统，其中，所述至少一个媒体内容项目的所述增加包括下述中的一个或多个：
将所述至少一个媒体内容项目叠加在所述至少一个帧上；以及
将所述一个或多个帧的至少一部分替换为所述至少一个媒体内容项目。”
驳回决定的主要理由是：（1）独立权利要求1、2、11与对比文件1的区别特征部分被对比文件2公开，其余部分属于本领域的惯用手段，因此，在对比文件1的基础上结合对比文件2以及本领域的惯用手段，权利要求1、2、11不具备专利法第22条第3款规定的创造性。（2）从属权利要求3-10、12-18的附加技术特征，被对比文件1或对比文件2公开，或者属于本领域的惯用手段，因此权利要求3-10、12-18不具备专利法第22条第3款规定的创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2018年11月29日向国家知识产权局提出了复审请求，未提交修改的申请文件。复审请求人主要认为：对比文件1和对比文件2均未公开或者教导权利要求1中的特征：“获得与所述至少一个媒体内容项目相关联的一个或多个参数；跟踪所述多个坐标中的改变；基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；在保留所述背景的同时基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目”，上述特征也不属于本领域的惯用手段。
经形式审查合格，国家知识产权局于2018年12月07日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年02月11日向复审请求人发出复审通知书。复审通知书所依据的文本和所引用的对比文件均与驳回决定相同。复审通知书中指出：权利要求1-18相对于对比文件1、对比文件2和本领域的惯用手段的结合不具备专利法第22条第3款规定的创造性。对于复审请求人的意见，合议组也进行了答复。
复审请求人于2019年03月26日提交了意见陈述书，同时提交了经修改的权利要求书，其中在权利要求1、2中分别增加了特征：“和所述第一面部的一个或多个面部元素的坐标”或“其中，所述多个坐标包括所述第一面部的一个或多个面部元素的坐标”以及“其中，所述一个或多个参数限定以下中的至少一个：所述替代面部的大小和尺寸、所述替代面部的形状以及所述替代面部的一个或多个面部元素”，在权利要求11中增加特征：“其中，所述多个坐标包括所述第一面部的一个或多个面部元素的坐标”以及“其中，所述一个或多个参数限定以下中的至少一个：所述至少一个媒体内容项目的大小和尺寸、所述至少一个媒体内容项目的形状以及所述至少一个媒体内容项目的一个或多个面部元素”。
复审请求人主要认为：对比文件1和2都没有公开、教导或暗示本申请的修改后的权利要求1所记载的基于限定“所述替代面部的一个或多个面部元素”的“一个或多个参数”以及“所述第一面部的一个或多个面部元素的坐标”的“改变”来“修改”“规定的计算机图像（CG）符号或符号图像”。并且，权利要求1中的至少如上所述的区别技术特征不能被简单地认为属于本领域的惯用手段，从而包括了这些区别技术特征的权利要求1的整个技术方案并不是显而易见的。
复审请求人于2019年03月26日提交的权利要求1、2、11的内容如下：
“1.一种方法，包括：
从媒体流获得至少一个帧，其中，所述至少一个帧包括第一面部和背景，并且其中，所述第一面部是与用户相关联的面部的图像；
确定在所述至少一个帧内的多个坐标，其中，所述多个坐标包括所述第一面部的坐标和所述第一面部的一个或多个面部元素的坐标，并且其中，使用面部识别算法来执行所述多个坐标的所述确定；
获得至少一个媒体内容项目，其中，所述至少一个媒体内容项目包括至少一个替代面部，并且其中，所述替代面部与所述第一面部的动画版本相关联；
获得与所述至少一个媒体内容项目相关联的一个或多个参数，其中，所述一个或多个参数限定以下中的至少一个：所述替代面部的大小和尺寸、所述替代面部的形状以及所述替代面部的一个或多个面部元素；
跟踪所述多个坐标中的改变；
基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；
在保留所述背景的同时基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目，其中，所述至少一个媒体内容项目的所述增加包括下述中的一个或多个：将所述至少一个媒体内容项目叠加在所述至少一个帧上，以及将所述一个或多个帧的至少一部分替换为所述至少一个媒体内容项目；
基于与所述第一面部的所述动画版本相关联的语音特性获得表示对来自所述用户的音频的修改的至少一个音频内容项目；以及
向所述媒体流添加所述至少一个音频内容项目。
2.一种方法，包括：
从媒体流获得至少一个帧，其中，所述至少一个帧包括第一面部和背景，并且其中，所述第一面部是与用户相关联的面部的图像；
确定在所述至少一个帧内的多个坐标，其中，所述多个坐标包括所述第一面部的一个或多个面部元素的坐标；
获得包括替代面部至少一个媒体内容项目；
获得与所述至少一个媒体内容项目相关联的一个或多个参数，其中，所述一个或多个参数限定以下中的至少一个：所述替代面部的大小和尺寸、所述替代面部的形状以及所述替代面部的一个或多个面部元素；
跟踪所述多个坐标中的改变；
基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；
在保留所述背景的同时通过替代所述第一面部的所述替代面部基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目；
基于与所述替代面部相关联的语音特性获得表示对来自所述用户的音频的修改的至少一个音频内容项目；以及
向所述媒体流添加所述至少一个音频内容项目。”
“11.一种系统，包括：
一个或多个处理器；以及
用于由所述一个或多个处理器执行的在一个或多个有形介质中编码的逻辑，并且所述逻辑在被执行时可操作用于执行操作，所述操作包括：
从媒体流获得至少一个帧，其中，所述至少一个帧包括第一面部和背景，并且其中，所述第一面部是与用户相关联的面部的图像；
确定在所述至少一个帧内的多个坐标，其中，所述多个坐标包括所述第一面部的一个或多个面部元素的坐标；
获得至少一个媒体内容项目；
获得与所述至少一个媒体内容项目相关联的一个或多个参数，其中，所述一个或多个参数限定以下中的至少一个：所述至少一个媒体内容项目的大小和尺寸、所述至少一个媒体内容项目的形状以及所述 至少一个媒体内容项目的一个或多个面部元素；
跟踪所述多个坐标中的改变；
基于与所述至少一个媒体内容项目相关联的所述一个或多个参数以及所述多个坐标中的所述改变，修改所述至少一个媒体内容项目；
在保留所述背景的同时基于所述多个坐标向所述至少一个帧增加所述至少一个所修改的媒体内容项目；
获得表示对来自所述用户的音频的修改的至少一个音频内容项目；以及
向所述媒体流添加所述至少一个音频内容项目。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
决定的理由
（一）审查文本的认定
复审请求人于2019年03月26日提交了权利要求书的全文替换页，经审查，上述文本的修改之处符合专利法第33条的规定。本复审请求审查决定针对的文本是：2019年03月26日提交的权利要求第1-18项；2014年09月12日进入中国国家阶段时提交的国际申请的中文译文的说明书第1-14页，说明书附图第1-4页，说明书摘要和摘要附图。
（二）关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定引用的对比文件与驳回决定及复审通知书中所引用的对比文件相同，即：
对比文件1：CN1419377A，公开日为2003年05月21日；
对比文件2：CN1536852A，公开日为2004年10月13日。
1、权利要求1请求保护一种方法。对比文件1公开了一种使用图像的通信方法及装置，并具体公开了（参见说明书第1页第6行到第15页第13行，图1-12）：
图像输入单元4将至少一张以上的图像构成的图像序列输入到通信装置中，图像序列由多个静止图像（称为帧）的序列构成。发送数据处理单元6使从图像输入单元4输入的图像、区域提取单元5 提取的关注区域、从输入单元2输入的公开控制信息等形成关联的控制信息， 而且与图像合并来形成用于进行通信的数据。对于发送的对方，根据关注区域、非关注区域来实施加工，以便不能掌握作为非公开的区域的细节，并形成发送数据。
区域提取单元5从图像序列的图像中提取包含被摄体的一部分或全部的关注区域（相当于从媒体流获得至少一个帧）。关注区域是包含被摄体的一部分或全部的区域，而非关注区域是图像中关注区域以外的区域、背景等。在关注区域是头部或脸部区域的情况下（相当于至少一个帧包括第一面部和背景，第一面部是与用户关联的面部的图像），检测图像中的椭圆区域，进行头部检测。还存在根据颜色信息来检测脸部的方法（例如，检测肤色区域等）、 着眼于眼和嘴等的脸部部分的方法、模板匹配等公知的各种方法（相当于面部识别算法）。本发明的目的是实现保密，所以期望最好是将表现人物个性的场所、特别是脸部、头部、或其一部分作为关注区域。
图2表示使用的元数据描述格式。“区域信息”是表示成为对象的区域是关注区域或非关注区域这两者中的哪一个区域的信息。“区域指定信息”是表示成为对象的区域的图像中的位置的数据(例如，轮廓坐标列)（根据上述公开的内容，关注区域可以是脸部或其一部分，其位置数据通过轮廓坐标列表示，也就是根据轮廓坐标列确定图像中脸部区域或其一部分的位置，相当于确定在至少一个帧内的多个坐标，多个坐标包括第一面部的坐标和第一面部的一个或多个面部元素的坐标；而对比文件1中还公开了脸部区域通过肤色检测等方式识别，也就是说通过肤色检测等方式识别脸部区域的坐标位置，相当于使用面部识别算法来执行多个坐标的确定）。在预先知道成为对象区域的形状(矩形、多角形、椭圆等)的情况下，可考虑仅用表示该形状在哪里的充分的信息来表现。本发明不仅适用于一张图像，而且也适用于活动图像。这种情况下，在指定成为对象区域的信息中，不仅可以使用表示空间位置的信息，而且也可以使用表示时间的区间的信息或时间空间如何移动这样的信息（根据上述公开的内容，在适用于活动图像时，指定成为对象区域的信息中可以使用表示时间空间如何移动的信息，也就是对象区域（例如脸部）在某段时间的图像序列中的坐标位置移动变化信息，相当于跟踪多个坐标的改变）。
图9-11表示对关注区域（脸部区域）进行非公开的处理结果的例子。在图9（a)中使关注区域模糊不清，在图9（b）中在关注区域中加入马赛克，而在图9（c）中在关注区域中加入压纹。图10表示在关注区域的脸部区域上，重叠与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像的例子（根据上述公开的内容，在重叠之前必然会获取与关注区域的图像不同的规定的计算机图像（CG）符号或符号图像，相当于获得至少一个媒体内容项目，至少一个媒体内容项目包括至少一个替代面部，替代面部与第一面部的动画版本相关联）。图11表示在关注区域的脸部区域的眼睛部分上显示墨镜的CG或重叠图像。除了这些处理以外，还可考虑各种加工方法，但无论哪种方法，只要是进行使作为非公开区域的细节无法掌握的加工就可以（从图10、图11中可以看出，重叠的计算机图像（CG）符号或符号图像覆盖在关注区域之上，并且保留了图像背景，则重叠时必然是基于关注区域的坐标位置数据进行计算机图像（CG）符号或符号图像叠加以使得重叠的图像能够覆盖图像中的关注区域，相当于在保留背景的同时基于多个坐标向至少一个帧增加至少一个媒体内容项目，至少一个媒体内容项目的增加包括下述中的一个或多个：将至少一个媒体内容项目叠加在至少一个帧上）。
权利要求1所要求保护的技术方案与对比文件1公开的内容相比，区别在于：（1）基于与第一面部的动画版本相关联的语音特性获得表示对来自用户的音频的修改的至少一个音频内容项目；以及向媒体流添加至少一个音频内容项目；（2）获得与至少一个媒体内容项目相关联的一个或多个参数，其中，一个或多个参数限定以下中的至少一个：所述替代面部的大小和尺寸、所述替代面部的形状以及所述替代面部的一个或多个面部元素，基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变修改至少一个媒体内容项目，向至少一个帧增加至少一个所修改的媒体内容项目；（3）将一个或多个帧的至少一部分替换为至少一个媒体内容项目。基于上述区别可以确定，该权利要求所要求保护的技术方案相对于对比文件1实际解决的技术问题是：如何修改传输的数据以增强通话保密性以及如何适应性调整重叠图片以确保与变化的脸部匹配。
对于区别（1）：对比文件2公开了一种视频电话终端、视频电话系统及其屏幕显示设置方法，并具体公开了（参见说明书第7页第15行到第13页第26行，图4-5）：便携式电话1包括视频电话功能，以利用话音及图像进行通话。便携式电话1的存储器17存储人物数据173，例如人物的图像和话音数据。便携式电话1的代用图像显示控制器P3以与预先设置的人物运动同步的时序来显示运动特征，例如由照相机15所拍摄的图像中的人脸表情，以在显示器12 上产生运动影像。控制器P3还将终端1(自己的终端)的用户的声音转换成与该人物对应的声音，所述用户的声音从扬声器19输入。便携式电话1在通话期间使用代用图像（通过将来自照相机的用户运动的图像与人物的运动图像同步而在终端上产生的图像）来作为所显示的图像。参见图5，当电话1a通过接收/发送呼叫来处理与通信终端的通话时，从自己的电话1a的照相机15和/或麦克风18，输入用户A的脸部和身体的运动（步骤S1）。然后控制器14提取该运动的特征（步骤S2），如图6所示。代用图像显示控制器P3，即视频电话终端中的专用应用，执行处理来以实时方式将该运动的特征与预先设置到系统的人物X（图5中人物X显示为动画版本）的运动和声音同步（步骤S3）。通过此操作，用户A的脸部和身体的运动特征用作为代用图像的人物的运动来表达。控制器14的通信部分将此代用图像发送给通信终端，即便携式电话1b（步骤S4）。当收到代用图像时，电话1b使用此代用图像即人物X和话音来执行视频电话处理（步骤S5）。根据上述公开的内容可知，代用图像的人物数据包括图像和语音数据，便携式电话1a在通话期间将自己终端的用户的声音转换成与该人物对应的声音发送到电话1b，则便携式电话必然基于代用图像的人物的语音数据的语音特性获得对用户声音进行转换的声音数据并添加到通话数据中发送，相当于基于与第一面部的动画版本相关联的语音特性获得表示对来自用户的音频的修改的至少一个音频内容项目，向媒体流添加至少一个音频内容项目。可见，上述区别（1）被对比文件2公开，且上述特征在对比文件2中所起的作用也是对声音数据进行修改以增强通话保密性。
对于区别（2）：对比文件1已经公开了（参见同上）：本发明也适用于活动图像，在指定成为对象区域的信息中，也可以使用表示时间空间如何移动这样的信息。对比文件1公开了可以使用表示时间空间如何移动的信息来指定对象区域（即关注区域，如脸部或其部分），也就是说对比文件1的方案中可以指示出脸部的坐标位置数据随时间的变化。而对于本领域技术人员来，计算机图形（如CG图片）是使用坐标、运算关系及颜色描述的数据，因此计算机图形易于通过相关参数的设定进行任意的放大、缩小、变形、扭曲、移位和叠加等变换，例如设定大小、形状和具体的对象元素等来调整计算机图形的显示特性从而实现各种变换，这属于本领域的惯用手段。在对比文件1公开的能够指示脸部的坐标位置数据随时间的变化的技术方案的基础上，结合上述惯用手段，在将CG图片（即媒体内容项目）叠加到图像上以实现期望的遮挡或覆盖时（例如遮挡或覆盖脸部）的过程中，当活动图像中关注区域（例如脸部）发生变化、当前叠加的CG图片无法实现期望的遮挡和覆盖时，为了确保重叠图片与变化的脸部匹配以增强保密性等，本领域技术人员有动机，通过调整重叠CG图片的相关参数（例如，大小、尺寸、形状、对象元素）使之与变化后期望覆盖的关注区域匹配，以确保叠加的CG图片能够在活动图像中关注区域变化时持续覆盖整个关注区域，也就是，获得与至少一个媒体内容项目相关联的一个或多个参数，例如替代面部的大小和尺寸、形状以及一个或多个面部元素，基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变，修改至少一个媒体内容项目，向至少一个帧增加至少一个所修改的媒体内容项目。
对于区别（3）：在将图片覆盖到图像上时，将图片以替换的方式增加到期望覆盖的区域属于本领域的惯用手段。
因此，在对比文件1的基础上结合对比文件2和本领域的惯用手段以获得该权利要求所要求保护的技术方案，对于本领域技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具备突出的实质性特点和显著的进步，不符合专利法第22条第3款有关创造性的规定。
2、权利要求2请求保护一种方法。对比文件1公开了一种使用图像的通信方法及装置，并具体公开了（参见说明书第1页第6行到第15页第13行，图1-12）：
图像输入单元4将至少一张以上的图像构成的图像序列输入到通信装置中，图像序列由多个静止图像（称为帧）的序列构成。发送数据处理单元6使从图像输入单元4输入的图像、区域提取单元5 提取的关注区域、从输入单元2输入的公开控制信息等形成关联的控制信息， 而且与图像合并来形成用于进行通信的数据。对于发送的对方，根据关注区域、非关注区域来实施加工，以便不能掌握作为非公开的区域的细节，并形成发送数据。
区域提取单元5从图像序列的图像中提取包含被摄体的一部分或全部的关注区域（相当于从媒体流获得至少一个帧）。关注区域是包含被摄体的一部分或全部的区域，而非关注区域是图像中关注区域以外的区域、背景等。在关注区域是头部或脸部区域的情况下，检测图像中的椭圆区域，进行头部检测。还存在根据颜色信息来检测脸部的方法（例如，检测肤色区域等）、 着眼于眼和嘴等的脸部部分的方法、模板匹配等公知的各种方法。本发明的目的是实现保密，所以期望最好是将表现人物个性的场所、特别是脸部、头部、或其一部分作为关注区域。
图2表示使用的元数据描述格式。“区域信息”是表示成为对象的区域是关注区域或非关注区域这两者中的哪一个区域的信息。“区域指定信息”是表示成为对象的区域的图像中的位置的数据（例如，轮廓坐标列）（根据上述公开的内容可知，关注区域可以是脸部或其一部分，其位置数据通过轮廓坐标列表示，也就是根据轮廓坐标列确定图像中脸部区域或其一部分的位置，相当于确定在至少一个帧内的多个坐标，多个坐标包括第一面部的一个或多个面部元素的坐标）。在预先知道成为对象区域的形状（矩形、多角形、椭圆等）的情况下，可考虑仅用表示该形状在哪里的充分的信息来表现。本发明不仅适用于一张图像，而且也适用于活动图像。这种情况下，在指定成为对象区域的信息中，不仅可以使用表示空间位置的信息，而且也可以使用表示时间的区间的信息或时间空间如何移动这样的信息（根据上述公开的内容，在适用于活动图像时，指定成为对象区域的信息中可以使用表示时间空间如何移动的信息，也就是对象区域（例如脸部）在某段时间的图像序列中的坐标位置移动变化信息，相当于跟踪多个坐标的改变）。
图9-11表示对关注区域（脸部区域）进行非公开的处理结果的例子。在图9（a)中使关注区域模糊不清，在图9（b)中在关注区域中加入马赛克，而在图9（c）中在关注区域中加入压纹。图10表示在关注区域的脸部区域上，重叠与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像的例子（根据上述公开的内容，在重叠之前必然会获取与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像，相当于获得包括替代面部的至少一个媒体内容项目）。图11表示在关注区域的脸部区域的眼睛部分上显示墨镜的CG或重叠图像。除了这些处理以外，还可考虑各种加工方法，但无论哪种方法，只要是进行使作为非公开区域的细节无法掌握的加工就可以（从图10、图11中可以看出，重叠的计算机图像（CG)符号或符号图像覆盖在关注区域之上，并且保留了图像背景，则重叠时必然是基于关注区域的坐标位置数据进行计算机图像（CG)符号或符号图像叠加或者替换以使得重叠的图像能够覆盖图像中的关注区域，相当于在保留背景的同时通过替代第一面部的替代面部基于多个坐标向至少一个帧增加至少一个媒体内容项目）。
权利要求2所要求保护的技术方案与对比文件1公开的内容相比，区别在于：（1）基于替代面部相关联的语音特性获得表示对来自用户的音频的修改的至少一个音频内容项目，以及向媒体流添加至少一个音频内容项目；（2）获得与至少一个媒体内容项目相关联的一个或多个参数，其中，一个或多个参数限定以下中的至少一个：所述替代面部的大小和尺寸、所述替代面部的形状以及所述替代面部的一个或多个面部元素；基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变修改至少一个媒体内容项目，向至少一个帧增加至少一个所修改的媒体内容项目。基于上述区别可以确定，该权利要求所要求保护的技术方案相对于对比文件1实际解决的技术问题是：如何修改传输的数据以增强通话保密性以及如何适应性调整重叠图片以确保与变化的脸部匹配。
对于区别（1）：对比文件2公开了一种视频电话终端、视频电话系统及其屏幕显示设置方法，并具体公开了（参见说明书第7页第15行到第13页第26行，图4-5）：便携式电话1包括视频电话功能，以利用话音及图像进行通话。便携式电话1的存储器17存储人物数据173，例如人物的图像和话音数据。便携式电话1的代用图像显示控制器P3以与预先设置的人物运动同步的时序来显示运动特征，例如由照相机15所拍摄的图像中的人脸表情，以在显示器12 上产生运动影像。控制器P3还将终端1(自己的终端)的用户的声音转换成与该人物对应的声音，所述用户的声音从扬声器19输入。便携式电话1在通话期间使用代用图像（通过将来自照相机的用户运动的图像与人物的运动图像同步而在终端上产生的图像）来作为所显示的图像。参见图5，当电话1a通过接收/发送呼叫来处理与通信终端的通话时，从自己的电话1a的照相机15和/或麦克风18，输入用户A的脸部和身体的运动（步骤S1）。然后控制器14提取该运动的特征（步骤S2)，如图6所示。代用图像显示控制器P3，即视频电话终端中的专用应用，执行处理来以实时方式将该运动的特征与预先设置到系统的人物X（图5中人物X显示为动画版本）的运动和声音同步（步骤S3)。通过此操作，用户A的脸部和身体的运动特征用作为代用图像的人物的运动来表达。控制器14的通信部分将此代用图像发送给通信终端，即便携式电话1b（步骤S4)。当收到代用图像时，电话1b使用此代用图像即人物X和话音来执行视频电话处理（步骤S5)（根据上述公开的内容，代用图像的人物数据包括图像和语音数据，便携式电话1a在通话期间将自己终端的用户的声音转换成与该人物对应的声音发送到电话1b，则便携式电话必然基于代用图像的人物的语音数据的语音特性获得对用户声音进行转换的声音数据并添加到通话数据中发送，相当于基于替代面部相关联的语音特性获得表示对来自用户的音频的修改的至少一个音频内容项目，向媒体流添加至少一个音频内容项目）。可见，上述区别（1）被对比文件2公开，且上述特征在对比文件2中所起的作用也是对声音数据进行修改以增强通话保密性。
对于区别（2）：对比文件1已经公开了（参见同上）：本发明也适用于活动图像，在指定成为对象区域的信息中，也可以使用表示时间空间如何移动这样的信息。对比文件1公开了可以使用表示时间空间如何移动的信息来指定对象区域（即关注区域，如脸部或其部分），也就是说对比文件1的方案中可以指示出脸部的坐标位置数据随时间的变化。而对于本领域技术人员来，计算机图形（如CG图片）是使用坐标、运算关系及颜色描述的数据，因此计算机图形易于通过相关参数的设定进行任意的放大、缩小、变形、扭曲、移位和叠加等变换，例如设定大小、形状和具体的对象元素等来调整计算机图形的显示特性从而实现各种变换，这属于本领域的惯用手段。在对比文件1公开的能够指示脸部的坐标位置数据随时间的变化的技术方案的基础上，结合上述惯用手段，在将CG图片（即媒体内容项目）叠加到图像上以实现期望的遮挡或覆盖时（例如遮挡或覆盖脸部）的过程中，当活动图像中关注区域（例如脸部）发生变化、当前叠加的CG图片无法实现期望的遮挡和覆盖时，为了确保重叠图片与变化的脸部匹配以增强保密性等，本领域技术人员有动机调整重叠CG图片的相关参数（例如，大小、尺寸、形状、对象元素）使之与变化后期望覆盖的关注区域匹配，以确保叠加的CG图片能够在活动图像中关注区域变化时持续覆盖整个关注区域，也就是，获得与至少一个媒体内容项目相关联的一个或多个参数，其中，一个或多个参数限定以下中的至少一个：所述替代面部的大小和尺寸、形状以及一个或多个面部元素；并基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变，修改至少一个媒体内容项目，向至少一个帧增加至少一个所修改的媒体内容项目。
因此，在对比文件1的基础上结合对比文件2和本领域的惯用手段以获得该权利要求所要求保护的技术方案，对于本领域技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具备突出的实质性特点和显著的进步，不符合专利法第22条第3款有关创造性的规定。
3、权利要求3-8是权利要求2的从属权利要求。对比文件1公开了（参见同上）：“区域信息”是表示成为对象的区域是关注区域或非关注区域这两者中的哪一个区域的信息。“区域指定信息”是表示成为对象的区域的图像中的位置的数据(例如，轮廓坐标列)，关注区域可以是头或脸部区域（区域指定信息可以指定作为关注区域的头或脸部区域的轮廓坐标列，相当于多个坐标包括第一面部的坐标）。在关注区域是头部或脸部区域的情况下，还存在根据颜色信息来检测脸部的方法（例如，检测肤色区域等）（根据上述公开的内容，通过肤色检测等方式识别脸部区域的坐标位置，相当于使用面部识别算法来执行多个坐标的确定）。图10表示在关注区域的脸部区域上，重叠与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像的例子（从图10中可以看出，重叠的计算机图像（CG)符号或符号图像是一个替代面部，与图像序列中的脸部不同，与不同于用户的人相关联并与脸部的动画版本相关联，相当于媒体内容项目包括至少一个替代面部，替代面部与第一面部不同，替代面部与不同于用户的人相关联，替代面部与第一面部的动画版本相关联）。因此，在引用的权利要求不具备创造性时，权利要求3-8也不具备专利法第22条第3款规定的创造性。
4、权利要求9是权利要求2的从属权利要求。对比文件1公开了（参见同上）：图10表示在关注区域的脸部区域上，重叠与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像的例子（相当于将至少一个媒体内容项目叠加在至少一个帧上）。而通过替换的方式将图片增加到图像上期望覆盖的区域属于本领域的惯用手段。因此，在引用的权利要求不具备创造性时，权利要求9也不具备专利法第22条第3款规定的创造性。
5、权利要求10是权利要求2的从属权利要求。对比文件2公开了（参见同上）：便携式电话1在通话期间使用代用图像（通过将来自照相机的用户运动的图像与人物的运动图像同步而在终端上产生的图像）来作为所显示的图像。便携式电话1的控制器P3还将终端1(自己的终端)的用户的声音转换成与该人物对应的声音（相当于获得与至少一个媒体内容项目相关联的至少一个音频内容项目），所述用户的声音从扬声器19输入。控制器14的通信部分将代用图像发送给通信终端，即便携式电话1b（步骤S4)。当收到代用图像时，电话1b使用此代用图像即人物X和话音来执行视频电话处理（步骤S5) （根据上述公开的内容，便携式电话1a在通话期间将自己终端的用户的声音转换成与该人物对应的声音发送到电话1b，则便携式电话必然将用户声音转换生成的人物对应的声音数据添加到通话数据中发送，相当于向媒体流添加至少一个音频内容项目）。因此，在引用的权利要求不具备创造性时，权利要求10也不具备专利法第22条第3款规定的创造性。
6、权利要求11请求保护一种系统。对比文件1公开了一种使用图像的通信方法及装置，并具体公开了（参见说明书第1页第6行到第15页第13行，图1-12）：
图像输入单元4将至少一张以上的图像构成的图像序列输入到通信装置中，图像序列由多个静止图像（称为帧）的序列构成。发送数据处理单元6使从图像输入单元4输入的图像、区域提取单元5 提取的关注区域、从输入单元2输入的公开控制信息等形成关联的控制信息， 而且与图像合并来形成用于进行通信的数据。对于发送的对方，根据关注区域、非关注区域来实施加工，以便不能掌握作为非公开的区域的细节，并形成发送数据。
区域提取单元5从图像序列的图像中提取包含被摄体的一部分或全部的关注区域（相当于从媒体流获得至少一个帧）。关注区域是包含被摄体的一部分或全部的区域，而非关注区域是图像中关注区域以外的区域、背景等。在关注区域是头部或脸部区域的情况下（相当于至少一个帧包括第一面部和背景，第一面部是与用户相关联的面部的图像），检测图像中的椭圆区域，进行头部检测。还存在根据颜色信息来检测脸部的方法（例如，检测肤色区域等)、 着眼于眼和嘴等的脸部部分的方法、模板匹配等公知的各种方法。本发明的目的是实现保密，所以期望最好是将表现人物个性的场所、特别是脸部、头部、或其一部分作为关注区域。
图2表示使用的元数据描述格式。“区域信息”是表示成为对象的区域是关注区域或非关注区域这两者中的哪一个区域的信息。“区域指定信息”是表示成为对象的区域的图像中的位置的数据（例如，轮廓坐标列) （根据上述公开的内容，关注区域可以是脸部或其一部分，其位置数据通过轮廓坐标列表示，也就是根据轮廓坐标列确定图像中脸部区域或其一部分的位置，相当于确定在至少一个帧内的多个坐标，多个坐标包括第一面部的一个或多个面部元素的坐标）。在预先知道成为对象区域的形状（矩形、多角形、椭圆等)的情况下，可考虑仅用表示该形状在哪里的充分的信息来表现。本发明不仅适用于一张图像，而且也适用于活动图像。这种情况下，在指定成为对象区域的信息中，不仅可以使用表示空间位置的信息，而且也可以使用表示时间的区间的信息或时间空间如何移动这样的信息（根据上述公开的内容，在适用于活动图像时，指定成为对象区域的信息中可以使用表示时间空间如何移动的信息，也就是对象区域（例如脸部）在某段时间的图像序列中的坐标位置移动变化信息，相当于跟踪多个坐标中的改变）。
图9-11表示对关注区域（脸部区域)进行非公开的处理结果的例子。在图9（a)中使关注区域模糊不清，在图9（b)中在关注区域中加入马赛克，而在图9（c)中在关注区域中加入压纹。图10表示在关注区域的脸部区域上，重叠与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像的例子（根据上述公开的内容，在重叠之前必然会获取与关注区域的图像不同的规定的计算机图像（CG)符号或符号图像，相当于获得至少一个媒体内容项目）。图11表示在关注区域的脸部区域的眼睛部分上显示墨镜的CG或重叠图像。除了这些处理以外，还可考虑各种加工方法，但无论哪种方法，只要是进行使作为非公开区域的细节无法掌握的加工就可以（从图10、图11中可以看出，重叠的计算机图像（CG)符号或符号图像覆盖在关注区域之上，并且保留了图像背景，则重叠时必然是基于关注区域的坐标位置数据进行计算机图像（CG)符号或符号图像叠加或者替换以使得重叠的图像能够覆盖图像中的关注区域，相当于在保留背景的同时基于多个坐标向至少一个帧增加至少一个媒体内容项目）。
权利要求11所要求保护的技术方案与对比文件1公开的内容相比，区别在于：（1）获得表示对来自用户的音频的修改的至少一个音频内容项目，向媒体流添加至少一个音频内容项目；（2）获得与至少一个媒体内容项目相关联的一个或多个参数，其中，一个或多个参数限定以下中的至少一个：至少一个媒体内容项目的大小和尺寸、至少一个媒体内容项目的形状以及至少一个媒体内容项目的一个或多个面部元素；基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变修改至少一个媒体内容项目，向至少一个帧增加至少一个所修改的媒体内容项目；（3）系统包括一个或多个处理器，由处理器执行在有形介质中编码的逻辑来执行对应的操作。基于上述区别可以确定，该权利要求所要求保护的技术方案相对于对比文件1实际解决的技术问题是：如何修改传输的数据以增强通话保密性以及如何适应性调整重叠图片以确保与变化的脸部匹配。
对于区别（1）：对比文件2公开了一种视频电话终端、视频电话系统及其屏幕显示设置方法，并具体公开了（参见说明书第7页第15行到第13页第26行，图4-5）：便携式电话1包括视频电话功能，以利用话音及图像进行通话。便携式电话1的存储器17存储人物数据173，例如人物的图像和话音数据。便携式电话1的代用图像显示控制器P3以与预先设置的人物运动同步的时序来显示运动特征，例如由照相机15所拍摄的图像中的人脸表情，以在显示器12 上产生运动影像。控制器P3还将终端1(自己的终端)的用户的声音转换成与该人物对应的声音（相当于获得表示对来自用户的音频的修改的至少一个音频内容项目），所述用户的声音从扬声器19输入。便携式电话1在通话期间使用代用图像（通过将来自照相机的用户运动的图像与人物的运动图像同步而在终端上产生的图像）来作为所显示的图像。参见图5，当电话1a通过接收/发送呼叫来处理与通信终端的通话时，从自己的电话1a的照相机15和/或麦克风18，输入用户A的脸部和身体的运动（步骤S1)。然后控制器14提取该运动的特征（步骤S2)，如图6所示。代用图像显示控制器P3，即视频电话终端中的专用应用，执行处理来以实时方式将该运动的特征与预先设置到系统的人物X（图5中人物X显示为动画版本）的运动和声音同步（步骤S3)。通过此操作，用户A的脸部和身体的运动特征用作为代用图像的人物的运动来表达。控制器14的通信部分将此代用图像发送给通信终端，即便携式电话1b（步骤S4)。当收到代用图像时，电话1b使用此代用图像即人物X和话音来执行视频电话处理（步骤S5)（根据上述公开的内容，便携式电话1a在通话期间将自己终端的用户的声音转换成与该人物对应的声音发送到电话1b，则便携式电话必然将用户声音转换生成的人物对应的声音数据添加到通话数据中发送，相当于向媒体流添加至少一个音频内容项目）。可见，上述区别（1）被对比文件2公开，且上述特征在对比文件2中所起的作用也是对声音数据进行修改以增强通话保密性。
对于区别（2）：对比文件1已经公开了（参见同上）：本发明也适用于活动图像，在指定成为对象区域的信息中，也可以使用表示时间空间如何移动这样的信息。对比文件1公开了可以使用表示时间空间如何移动的信息来指定对象区域（即关注区域，如脸部或其部分），也就是说对比文件1的方案中可以指示出脸部的坐标位置数据随时间的变化。而对于本领域技术人员来，计算机图形（如CG图片）是使用坐标、运算关系及颜色描述的数据，因此计算机图形易于通过相关参数的设定进行任意的放大、缩小、变形、扭曲、移位和叠加等变换，例如设定大小、形状和具体的对象元素等来调整计算机图形的显示特性从而实现各种变换，这属于本领域的惯用手段。在对比文件1公开的能够指示脸部的坐标位置数据随时间的变化的技术方案的基础上，结合上述惯用手段，在将CG图片（即媒体内容项目）叠加到图像上以实现期望的遮挡或覆盖时（例如遮挡或覆盖脸部）的过程中，当活动图像中关注区域（例如脸部）发生变化、当前叠加的CG图片无法实现期望的遮挡和覆盖时，为了确保重叠图片与变化的脸部匹配以增强保密性等，本领域技术人员有动机调整重叠CG图片的相关参数（例如，大小、尺寸、形状、对象元素）使之与变化后期望覆盖的关注区域匹配，以确保叠加的CG图片能够在活动图像中关注区域变化时持续覆盖整个关注区域，也就是，获得与至少一个媒体内容项目相关联的一个或多个参数，一个或多个参数限定以下中的至少一个：至少一个媒体内容项目的大小和尺寸、形状以及一个或多个面部元素；基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变，修改至少一个媒体内容项目，向至少一个帧增加至少一个所修改的媒体内容项目。
对于区别（3）：通过设备中的处理器执行编码逻辑来实现与方法步骤对应的操作属于本领域的惯用手段。
因此，在对比文件1的基础上结合对比文件2和本领域的惯用手段以获得该权利要求所要求保护的技术方案，对于本领域技术人员来说是显而易见的，因此该权利要求所要求保护的技术方案不具备突出的实质性特点和显著的进步，不符合专利法第22条第3款有关创造性的规定。
7、权利要求12-18是与权利要求3-9一一对应的装置权利要求。通过处理器执行编码逻辑来实现方法步骤对应的操作属于本领域的惯用手段，参见对权利要求3-9的评述，在对比文件1的基础上结合对比文件2和本领域的惯用手段以获得权利要求12-18所要求保护的技术方案，对于本领域技术人员来说是显而易见的，因此权利要求12-18不具备突出的实质性特点和显著的进步，不符合专利法第22条第3款有关创造性的规定。
（三）对复审请求人相关意见的评述
对于复审请求人在2019年03月26日答复复审通知书时所提交的意见陈述，合议组认为：在日常生活中，为了实现对物品的遮挡和覆盖，当物品的形状、大小等特征发生变化时需要相应调整遮盖物的形状、大小等特征，以使得遮盖物与该物品相匹配从而确保能够对该物品进行持续的遮挡和覆盖；而在图像处理领域中，在将特定对象覆盖到活动图像中指定区域以实现期望的遮挡和覆盖的过程中，当指定区域随时间发生变化、当前叠加的特定对象无法实现期望的遮挡和覆盖时，本领域技术人员有动机，通过调整特定对象的参数（例如，大小、尺寸、形状、对象元素）使之与变化后的指定区域匹配以确保持续覆盖和遮挡。对比文件1公开了指示脸部的坐标位置数据随时间的变化的技术方案，本领域技术人员在实施对比文件1的技术方案并面对“在处理活动图像时如何增强保密性”的技术问题时，为了确保重叠图片与活动图像中的变化的脸部匹配以增强保密性，有动机基于与至少一个媒体内容项目相关联的一个或多个参数以及多个坐标中的改变，修改至少一个媒体内容项目，进而实现该权利要求请求保护的整体技术方案（具体理由参见对权利要求1-2的评述）。
综上，对于复审请求人的意见陈述，合议组不予支持。
三、决定
维持国家知识产权局于2018年08月14日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
