发明创造名称：一种视频中快速结合手绘视频元素的方法
外观设计名称：
决定号：185769
决定日：2019-08-02
委内编号：1F275595
优先权日：
申请（专利）号：201710908296.0
申请日：2017-09-29
复审请求人：深圳市前海手绘科技文化有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：程华
合议组组长：宋作志
参审员：郭晓宇
国际分类号：H04N21/431，G06T13/00
外观设计分类号：
法律依据：专利法第二十二条第三款
决定要点：若权利要求与最接近的现有技术间的区别特征或被其他对比文件披露或属于本领域的公知常识，则可以认定现有技术整体上存在改进最接近的现有技术从而获得权利要求的技术方案的启示。
全文：
本复审请求涉及申请号为201710908296.0，名称为“一种视频中快速结合手绘视频元素的方法”的发明专利申请（下称本申请）。申请人为深圳市前海手绘科技文化有限公司。本申请的申请日为2017年09月29日，公开日为2018年01月16日。
经实质审查，国家知识产权局原审查部门于2019年01月14日发出驳回决定，以本申请不符合专利法第二十二条第三款的规定为由驳回了本申请。驳回决定所依据的文本为：申请日2017年09月29日提交的说明书第1-40段、说明书附图、说明书摘要、摘要附图；2018年12月04日提交的权利要求第1-4项。引用的对比文件是：对比文件3，WO2017/006948A1，公开日为2017年01月12日；对比文件5，CN107180443A，申请公布日为2017年09月19日；对比文件6，CN106373170A，申请公布日为2017年02月01日。驳回决定所针对的权利要求书如下：
“1. 一种视频中快速结合手绘视频元素的方法，其特征在于，包括如下步骤：
(1)选择手绘视频元素序列和动画设置；
(2)根据视频信息计算手绘视频元素的位置和尺寸信息；
(3)播放视频帧时叠加手绘视频元素动画；所述步骤(3)具体包括：获取原位置动画，确定原位置动画的动作属性和元素被设定的动画时间，结合视频本身的宽和高，来确定手绘视频元素的移动范围和速度；
所述步骤(3)的叠加手绘视频元素动画基于手绘视频平台实现，所述叠加手绘视频元素动画具体包括：存储视频数据模块、存储手绘视频元素模块、公开的方法Functions、公用工具模块、控制字体动画的控制器；所述存储视频数据模块，用于存储视频数据中每个字符的路径数据集合，所述存储手绘视频元素模块用于存储手绘视频的动作元素，公开的方法Function，指的是整个字体生成过程对外暴露出来的一系列可见的操作方式；
(4)截取帧序列图片；
(5)生成视频格式文件，在视频中使用文字或各种格式的图片，只需要指定文字或图片，以及呈现的位置和时间，来画手绘视频平台即可进行处理，无需对图像帧做操作，文字和图片是可复用的，以进行重复操作；
所述控制字体动画的控制器包括控制字体动画的初始化单元，播放单元、暂停单元、恢复单元、停止单元；
所述公用工具模块具体包括：视频加载单元，用于播放视频文件，视频获取单元，用于取得视频数据，手绘元素选择单元，用于选择手绘元素，手绘视频位置确定单元，用于确定手绘视屏元素的位置和尺寸信息，手绘视频播放单元，用于多个手绘视频元素，按照指定的顺序来播放各个元素，混合单元，播放视频时叠加手绘视频元素动画，输出单元，用于输出生成的视频格式文件。
2. 如权利要求1所述的视频中快速结合手绘视频元素的方法，其特征在于，在所述步骤(1)之前，还包括：加载拍摄视频资源文件，获得视频信息和图像帧序列，通过视频解码技术来实现获得视频信息和图像帧序列。
3. 如权利要求1所述的视频中快速结合手绘视频元素的方法，其特征在于，所述步骤(4)之后，还包括：生成GIF图片格式或对背景音乐和视频音轨做合成。
4. 如权利要求1所述的视频中快速结合手绘视频元素的方法，其特征在于，所述手绘视频元素，包括手绘文字、手绘svg和图片；手绘视频元素具体包括获取初始和终止位置、动画时长信息，根据上述信息，和当前的动画时间，计算出对应的位置和当前帧数信息。”
驳回的具体理由是：在对比文件6的基础上结合对比文件3、5及公知常识得到权利要求1-4的技术方案对本领域技术人员来说是显而易见的，权利要求1-4不具备创造性。
申请人（下称复审请求人）对上述驳回决定不服，于2019年03月06日向国家知识产权局提出了复审请求，并未提交修改文件。复审请求人认为：对比文件6是在视频文件编辑中插入自定义图片，是视频环境编辑，使用的是逐帧编辑的方式。本申请是视频中结合手绘视频元素，编辑环境是手绘视频的展示和绘制画布画板，手绘元素和自定义图片的渲染和展示及操作、动画实现方式、导出视频的方式均不同。本申请进行手绘视频处理时，无需对图像帧做操作，对比文件6需要考虑逐帧编辑的方式。对比文件5主要是手绘动画的计算和播放过程，而本申请重点在于，视频中结合手绘视频素材。在手绘动画的绘制和移动等动画过程中，实时读取视频元素的位置和动画等信息，做到实时计算和结合。并且在视频导出时，把手绘动画和视频文件结合，导出为视频。由于本申请采用的手绘方式与视频结合，使本申请能够“在视频中使用文字或各种格式的图片，只需要指定文字或图片，以及呈现的位置和时间，来画手绘视频平台即可进行处理，文字和图片是可复用的，以进行重复操作”。
经形式审查合格，国家知识产权局于2019年03月13日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年05月24日向复审请求人发出复审通知书，指出：此次复审通知书所依据的审查文本与驳回决定依据的审查文本相同，引用驳回决定中所引用的对比文件6、对比文件5，详细论述了权利要求1-4相对于对比文件6、对比文件5及本领域公知常识的结合不符合专利法第二十二条第三款规定的理由。同时，对于复审请求人的意见合议组予以答复。
复审请求人于2019年06月13日提交了意见陈述书，仍未修改申请文件。复审请求人认为：对比文件6插入的是固定的目标图像，并不是通过手绘的方式直接叠加到视频中，手绘视频是通过人或者用户任意时刻手动添加的，可以按照用户的当时意愿进行添加。对比文件6是在视频文件编辑中插入自定义图片，是视频环境编辑，使用的是逐帧编辑的方式。本申请是视频中结合手绘视频元素，编辑环境是手绘视频的展示和绘制画布画板，手绘元素和自定义图片的渲染和展示及操作、动画实现方式、导出视频的方式均不同。本申请进行手绘视频处理时，无需对图像帧做操作，对比文件6需要考虑逐帧编辑的方式。本申请是一种对手绘素材的尺寸和动画的计算，包括对不同时间点手绘动画绘制的可见部分与视频的位置关系，结合画布中视频的尺寸，位置和旋转信息。是在手绘视频渲染过程中实时计算的。在视频中设置播放暂停等是公知常识，但是，具体设置具体功能模块，是根据添加的手绘视频确定的，是根据本发明手绘视频与视频结合后，针对本发明所特有的，需要进行长期的底层程序的创造性应用。本申请将手绘动画特效生成视频格式，能够很方便的在视频中使用文字或各种格式的图片，只需要指定文字或图片，以及呈现的位置和时间，来画手绘视频平台即可进行处理。不需要对图像帧做操作，极大的节省了处理时间，同时由于文字和图片是可复用的，所以也解决了重复操作的问题。这是对比文件6、5及本领域公知常识都不能实现的在视频中进行手绘动作的处理的技术效果。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
决定的理由
（一）审查文本的认定
此次复审请求审查决定所依据的审查文本与驳回决定、复审通知书依据的审查文本相同，即：申请日2017年09月29日提交的说明书第1-40段、说明书附图、说明书摘要、摘要附图；2018年12月04日提交的权利要求第1-4项。
（二）具体理由的阐述
专利法第二十二条第三款规定：“创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。”
此次复审请求审查决定所引用的对比文件与复审通知书中引用的相同，是驳回决定中所引用的对比文件6、对比文件5，即
对比文件5：CN107180443A，申请公布日为2017年09月19日；
对比文件6：CN106373170A，申请公布日为2017年02月01日。
1、权利要求1请求保护一种视频中快速结合手绘视频元素的方法。对比文件6公开了一种视频制作方法及装置，并具体公开了（参见对比文件6说明书第0003、0062-0104段，图1）：
本申请的视频制作方法包含，获取用户选择的目标动态贴纸模板，获取用户选择的自定义图片作为目标图片，根据目标动态贴纸模板将所述目标图片封装为目标贴纸，将目标贴纸加载到第一视频的视频编辑界面，并获取目标贴纸的设定参数，设定参数包含目标贴纸在第一视频上的显示位置以及播放时长（公开了权利要求1中的(1)选择手绘视频元素序列和动画设置；确定元素被设定的动画时间），其中第一视频为等待添加动态贴纸的已有视频；根据所述设定参数以及目标动态贴纸模板中的运动参数（公开了权利要求1中的确定动作属性），将目标贴纸和第一视频合成目标视频。用户可以从本地相册中选取作为动态贴纸素材的目标图像（公开了权利要求1中的(3)播放视频帧时叠加手绘视频元素动画；(5)生成视频格式文件，在视频中使用文字或各种格式的图片，只需要指定文字或图片，以及呈现的位置和时间，来画手绘视频平台即可进行处理，文字和图片是可复用的，以进行重复操作）。所述运动参数包含目标动态贴纸每分秒的位置矢量和变形矢量，每分秒的位置矢量即目标贴纸在第一视频中的每一帧的位置，每分秒的变形矢量即目标贴纸在第一视频的每一帧中的形状大小。根据用户设定的设定参数及目标动态贴纸模板中的运动参数，将目标贴纸和第一视频合成为目标视频，用户设定参数为显示位置及播放时长（公开了权利要求1中的无需对图像帧做操作）；
对于显示位置，在一些实施例中，当第一视频的画面中包括人脸图像时，可以自动检测人脸图像，并设定人脸图像的位置为目标贴纸的显示位置（公开了权利要求1中的(2)根据视频信息计算手绘视频元素的位置）；
将目标贴纸加载到第一视频的视频编辑界面，第一视频为等待添加到动态贴纸的已有视频（存在已有视频，必然获取了视频，也就是说隐含公开播放视频文件，取得视频数据）；获取用户选择的自定义图片作为目标图片，根据模板将目标图片封装为目标贴纸（公开了权利要求1中的选择手绘元素）；获取目标贴纸的设定参数，设定参数中包含显示位置（公开了权利要求1中的确定手绘视屏元素的位置）；根据运动参数获得目标贴纸生成一帧动画，并与第一视频中对应帧进行合成，得到新的视频（公开了权利要求1中的播放视频时叠加手绘视频元素动画，输出生成的视频格式文件）；
该方法可以通过应用到移动终端上的APP(Application，应用程序)实现，移动终端将目标贴纸加载到第一视频的视频编辑界面，并获取目标贴纸的设定参数。其中，第一视频是等待添加动态贴纸的视频，设定参数包括目标贴纸在视频上的显示位置和播放时长。S2110，移动终端将目标贴纸的设定参数、运动参数和目标贴纸素材，传递给移动终端内部的Cocos引擎。S2120，Cocos引擎获取目标贴纸在第一视频的每一帧中的位移矢量和变形矢量。S2130，Cocos引擎根据目标贴纸在第一视频的每一帧对应的位置矢量和变量矢量，以及目标贴纸，生成一帧动画。根据目标贴纸在第一视频中每一帧的位置矢量和变量矢量，以及目标贴纸的素材，生成一帧动态贴纸动画。S2140，Cocos引擎将该一帧动画与第一视频中的对应帧合并成一帧新的视频。重复执行S2120和S2130，直到第一视频都合并完，得到最终的目标视频。S2150，Cocos引擎获取目标动态贴纸模版中的贴纸音效S2160，Cocos引擎将第一视频的音轨和贴纸音效插入目标视频中。即，贴纸音效和第一视频的音效合并，得到新的音效，并将新的音效插入目标视频中。S2170，移动终端将目标视频返回给用户。
经过对比分析可知，权利要求1与对比文件6的区别在于：根据视频信息计算手绘视频元素的尺寸信息；获取原位置动画，确定原位置动画的动作属性；结合视频本身的宽和高，来确定手绘视频元素的移动范围和速度；该权利要求步骤(3)的叠加手绘视频元素动画基于手绘视频平台实现，所述叠加手绘视频元素动画具体包括：存储视频数据模块、存储手绘视频元素模块、公开的方法Functions、公用工具模块、控制字体动画的控制器；所述存储视频数据模块，用于存储视频数据中每个字符的路径数据集合，所述存储手绘视频元素模块用于存储手绘视频的动作元素，公开的方法Function，指的是整个字体生成过程对外暴露出来的一系列可见的操作方式；该权利要求还包含截取帧序列图片的步骤(4)；所述控制字体动画的控制器包括控制字体动画的初始化单元，播放单元、暂停单元、恢复单元、停止单元；所述公用工具模块具体包括：视频加载单元、视频获取单元、手绘元素选择单元、手绘视频位置确定单元、手绘视频播放单元、混合单元及输出单元，并且手绘视频位置确定单元用于确定手绘视屏元素的尺寸信息，手绘视频播放单元用于多个手绘视频元素，按照指定的顺序来播放各个元素。
根据上述区别技术特征可以确定权利要求1实际要解决的问题是：具体如何生成视频文件从而减少用户操作，节省处理时间。
由于是在视频图像上添加新的动画元素，新元素的大小尺寸自然要符合原有视频图像需求，太小模糊不清，太大遮挡原有视频图像中的内容或不符合用户需求。本领域技术人员有动机能够想到根据视频信息计算出手绘视频元素最佳的尺寸。
对比文件6公开了在结合手绘元素时对其赋予动画或特效，而根据实际需要在原本设置有动画或特效的位置添加、更改或替换手绘元素并使用该位置原有的动画或特效，亦或在原位增设动画，均是动画设置或特效的一种具体情况，属于本领域的惯用技术手段。对比文件6公开了使用运动参数来描述动画，基于运动参数可以描述各种简单和/或复杂动画的运动方式。针对从视频一侧水平/垂直移动到平行的另一侧、或沿视频对角线从一角移动到另一角的运动，也就是对于移动距离是视频的宽、高、或对角线的匀速直线运动，基于位置信息和时间、结合视频的宽和高，即可计算出其移动速度和运动轨迹。
此外，对比文件5公开了一种手绘动画生成方法及其装置，并具体公开了（参见对比文件5说明书第0005-0008、0028-0041段，图3）：在确定手绘路径后，可以据此自动生成对应的手绘动画，手绘动画是指由一系列连续的图像帧组成，用于表示图片或者图形绘画顺序的动画。通过图3所示的手绘动画引擎生成手绘动画（公开了权利要求1中的手绘视频平台），如图3所示，所述手绘动画引擎包括：来画手绘动画引擎、对外暴露方法的函数（functions）（公开了权利要求1中的公开的方法Functions，公开的方法Function，指的是整个生成过程对外暴露出来的一系列可见的操作方式）、公共工具（tool）（公开了权利要求1中的公用工具模块）、存储项目数据的表（公开了权利要求1中的存储视频数据模块、存储手绘视频元素模块）以及绘画控制等功能模块，绘画控制用于控制手绘动画的播放，例如控制手绘动画初始化init，播放play，停止播放stop以及暂停pause（公开了权利要求1中的控制动画的控制器，所述控制动画的控制器的控制包括控制动画的初始化，播放、暂停）；
手绘动画在视频上的时间线基于所述手绘路径而确定，亦即手绘动画在播放过程中，图形依据所述手绘路径的顺序形成（播放手绘动画要使用路径信息和相应元素，则必然要存储路径信息和动作元素，也就是说隐含公开存储视频数据中每个字符的路径数据集合和存储手绘视频的动作元素）；
在基于手绘路径生成对应的手绘动画之后，输出模块用于在所述手绘动画中截取若干动画图片（公开了权利要求1中的截取帧序列图片）；基于动画图片，生成MP4格式视频或者GIF格式的动态图。
由上可知，对比文件5中已经公开了基于手绘视频平台生成手绘视频动画。文字、字符、表情等也是常见的手绘视频元素；且为便于播放控制，对动画播放还设置恢复和停止功能以及设置相应单元来执行该功能是本领域的惯用技术手段。
若有多个手绘视频元素，按照指定的顺序播放属于本领域的公知常识。设置相应模块和/或单元等来实现具体功能以及将各单元集成于公用工具模块中均是本领域的惯用技术手段。
综上，在对比文件6的基础上结合对比文件5及本领域公知常识得到权利要求1的技术方案对本领域技术人员来说是显而易见的。况且上述区别特征的运用也未能给权利要求的技术方案带来预料不到的技术效果。因此，权利要求1不具备突出的实质性特点和显著的进步，不符合专利法第二十二条第三款有关创造性的规定。
2、权利要求2对其引用的权利要求1作了进一步的限定。接收解码视频文件从而获得视频信息和图像帧序列属于本领域的公知常识。因此，在其引用的权利要求不具备创造性的情况下，权利要求2也不符合专利法第二十二条第三款有关创造性的规定。
3、权利要求3对其引用的权利要求1作了进一步的限定。对比文件6公开了（参见同上）：将第一视频的音轨和贴纸音效插入目标视频中，实现将具有音频效果的动态贴纸添加到原有视频中（公开了权利要求3中的对背景音乐和视频音轨做合成）。对比文件5公开了（参见同上）：在基于手绘路径生成对应的手绘动画之后，在所述手绘动画中截取若干动画图片；基于动画图片，生成MP4格式视频或者GIF格式的动态图（公开了权利要求3中的生成GIF图片格式）。因此，在其引用的权利要求不具备创造性的情况下，权利要求3也不符合专利法第二十二条第三款有关创造性的规定。
4、权利要求4对其引用的权利要求1作了进一步的限定。对比文件6公开了（参见同上）：用户可以选择自定义图片作为贴纸（公开了权利要求4中的所述手绘视频元素，包括图片）；获取目标贴纸的设定参数，设定参数包含目标贴纸在第一视频上的显示位置以及播放时长，所述运动参数包含目标动态贴纸每分秒的位置矢量和变形矢量（公开了权利要求4中的手绘视频元素具体包括获取初始和终止位置、动画时长信息），每分秒的位置矢量即目标贴纸在第一视频的每一帧中的位置（公开了权利要求4中的计算出对应的位置和当前帧数信息）。对比文件5中公开了手绘动画可以为svg格式图片生成（公开了权利要求4中的所述手绘视频元素，包括手绘svg）。因此，在其引用的权利要求不具备创造性的情况下，权利要求4也不符合专利法第二十二条第三款有关创造性的规定。
（三）对复审请求人相关意见的评述
本案合议组认为：贴纸、表情和动态字幕等均为本领域公知的手绘元素；手绘视频元素，指的是手绘视频中常用的几种手绘素材，例如手绘文字，手绘svg和图片。图片内容的形成方式并不会影响图片元素与视频的合成。本申请的技术方案在来画手绘视频平台实现手绘元素与视频结合的具体方式是先加载视频文件，再选择手绘元素序列和动画设置，基于动画设置和视频信息计算后自动叠加，“用户只需要选择要编辑的视频文件，选择要添加的手绘视频元素，如文字字幕，svg和图片等特效，制定位置信息和动画信息，就可以完成编辑工作；而不需要针对每秒的30帧图像，每帧去做编辑”（参见说明书第0039段）。对比文件6在视频编辑界面，合成模块根据设定参数及目标贴纸模板中的运动参数，将目标贴纸和第一视频合成为目标视频，其工作方式也是在视频文件的基础上，选择贴纸模板（模板中包含动画参数）和目标图片，基于用户设定的参数和运动参数，与视频信息合并。二者的工作方式本质上是相同的，不同的编辑平台采用的元素添加方式以及最终实现的效果均是相同的。平台通常兼具编辑与展示功能。本申请说明书以及权利要求仅采用排除式的撰写方式限定无需对图像帧做操作。对比文件6也只需用户选择图片和模板，设定显示位置和播放时长，即可按照用户的意愿实现贴纸和视频自动叠加，也无需用户逐帧编辑。手绘元素在视频中每一帧中的显示位置、大小均是需要根据动画设定由后台实时计算得出的。本申请也是由平台进行处理的。本申请说明书中并未记载具体如何计算从而确定不同时间点手绘动画绘制的可见部分与视频的位置关系。根据系统设计需要设置相应的功能模块执行具体功能以及功能模块的拆分与合并、集成均属于本领域的惯用技术手段。对比文件5也涉及手绘动画，具体公开了手绘动画引擎构架模块。结合对比文件6、对比文件5及本领域公知常识得到权利要求1的技术方案对本领域技术人员来说是显而易见的。况且上述区别特征的运用也未能给权利要求的技术方案带来预料不到的技术效果。
综上，对复审请求人的意见本案合议组不予支持。
三、决定
维持国家知识产权局于2019年01月14日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
