发明创造名称:数据处理方法、装置和终端设备
外观设计名称:
决定号:186333
决定日:2019-07-13
委内编号:1F278351
优先权日:
申请(专利)号:201610694696.1
申请日:2016-08-19
复审请求人:北京市商汤科技开发有限公司
无效请求人:
授权公告日:
审定公告日:
专利权人:
主审员:吴丽君
合议组组长:黄智
参审员:张雯
国际分类号:H04N21/475,H04N21/4788,H04N21/431,H04N21/435,H04N21/44,H04N21/234,H04N21/235
外观设计分类号:
法律依据:专利法第22条第3款
决定要点:当一项权利要求相比于作为最接近的现有技术的对比文件存在区别特征,该区别特征既没有被其他对比文件公开,也没有证据证明其为本领域的公知常识,现有技术没有给出能够将该区别特征应用于对比文件从而得到该项权利要求要求保护的技术方案的技术启示,且该权利要求的技术方案与现有技术相比,能够产生有益的技术效果,则该项权利要求具备突出的实质性特点和显著的进步,具有创造性。
全文:
本复审请求审查决定涉及申请号为201610694696.1,名称为“数据处理方法、装置和终端设备”的发明专利申请(下称本申请)。申请人为北京市商汤科技开发有限公司。本申请的申请日为2016年08月19日,公开日为2017年11月10日。
经实质审查,国家知识产权局实质审查部门于2018年12月19日发出驳回决定,驳回了本申请。驳回决定所依据的文本为:申请日2016年08月19日提交的说明书附图第1-4页、说明书摘要、摘要附图;2018年08月20日提交的说明书第1-258段(即第1-28页);2018年11月02日提交的权利要求第1-34项。
驳回决定所引用的对比文件为:
对比文件1:CN104010215A,公开日为2014年08月27日;
对比文件2:CN104137551A,公开日为2014年11月05日;
对比文件3:CN105791692A,公开日为2016年07月20日。
驳回决定的主要理由是:1.权利要求1与对比文件1的区别特征在于:(1)从第一设备端当前播放的视频图像确定目标对象的特征点,所述视频图像为直播平台中的视频图像,根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效,本申请中的素材属性信息包括所述业务对象在所述视频图像中的展示位置;(2)本申请提取的素材属性信息源自当前播放的视频图像,对比文件1提取的素材属性信息源自下一帧待播放画面。上述区别特征(1)的一部分在对比文件3中公开,其余部分是本领域的公知常识,区别特征(2)是本领域的惯用手段,因此权利要求1相比对比文件1和对比文件3以及本领域公知常识的结合不具有专利法第22条第3款所规定的创造性。2.权利要求9与对比文件1的区别特征在于:(1)视频图像来自于直播平台,所述素材属性信息包括待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;(2)业务对象是采用计算机绘图的方式进行绘制的。上述区别特征(1)的一部分在对比文件3中公开,其余部分是本领域的公知常识,区别特征(2)是本领域的惯用手段,因此权利要求9相比对比文件1和对比文件3以及本领域公知常识的结合不具有专利法第22条第3款所规定的创造性。3.权利要求2、5-6、11的附加技术特征是本领域的惯用手段,权利要求3-4、12-13的部分附加技术特征在对比文件2中公开,其余部分是本领域的惯用手段,权利要求7、10、15的部分附加技术特征在对比文件1中公开,其余部分是本领域的惯用手段,权利要求8、14、16的部分附加技术特征在对比文件3中公开,其余部分是本领域的惯用手段,因此权利要求2-8、10-16不具有专利法第22条第3款所规定的创造性。4.权利要求17-24是与权利要求1-8一一对应的装置权利要求,权利要求25-32是与权利要求9-16一一对应的装置权利要求,参见权利要求1-16的评述,权利要求17-32不具有专利法第22条第3款所规定的创造性。5.权利要求33要求保护执行权利要求1-8方法的终端设备,权利要求34要求保护执行权利要求9-16方法的终端设备,在权利要求1-16的不具备创造性的情况下,权利要求33-34的其他特征都是本领域的惯用手段,因此权利要求33-34不具有专利法第22条第3款所规定的创造性。
驳回决定所针对的权利要求书内容如下:
“1. 一种数据处理方法,包括:
从第一设备端当前播放的视频图像确定所述目标对象的特征点,所述视频图像为直播平台中的视频图像;
根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
生成包括所述业务对象在所述视频图像中的展示位置的素材属性信息;
根据所述视频图像和所述素材属性信息生成传输流;
向至少一个第二设备端发送所述传输流。
2. 根据权利要求1所述的方法,其特征在于,所述根据所述视频图像和所述素材属性信息生成传输流,包括:
按照设定的视频编码格式对所述视频图像进行编码,并将编码后的所述视频图像和所述素材属性信息生成传输流。
3. 根据权利要求2所述的方法,其特征在于,所述按照设定的视频编码格式对所述视频图像进行编码,并将编码后的所述视频图像和所述素材属性信息生成传输流,包括:
按照H.264编码格式对所述视频图像进行编码,
将所述素材属性信息携带在编码后的网络抽象层NAL单元的原始字节序列负荷RBSP中生成传输流。
4. 根据权利要求3所述的方法,其特征在于,所述将所述素材属性信息携带在编码后的网络抽象层NAL单元的原始字节序列负荷RBSP中生成传输流,包括:
将所述素材属性信息携带在所述RBSP的补充增强信息单元SEI中生成传输流。
5. 根据权利要求1-4任一项所述的方法,其特征在于,所述传输流还携带第一设备端当前播放的视频图像的视频属性信息。
6. 根据权利要求1-4任一项所述的方法,其特征在于,所述向至少一个第二设备端发送所述传输流,包括:
将所述传输流转换为json格式的数据,并将转换后的数据向至少一个第二设备端发送。
7. 根据权利要求1-4任一所述的方法,其特征在于,所述素材属性信息还包括以下至少之一:素材的标识信息或素材的链接信息。
8. 根据权利要求1-4任一所述的方法,其特征在于,所述业务对象包括包含广告信息的以下至少一种形式的特效:二维贴纸特效、三维特效、粒子特效。
9. 一种数据处理方法,包括:
接收传输流,所述传输流包括直播平台中的视频图像和素材属性信息,所述素材属性信息包括待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
根据所述素材属性信息获取所述业务对象;
根据所述素材属性信息在所述视频图像上采用计算机绘图方式绘制所述业务对象。
10. 根据权利要求9所述的方法,其特征在于,所述根据所述素材属性信息获取所述业务对象,包括:
按照与所述视频图像的视频编码格式相对应的视频解码格式,对所述传输流进行解码;
从解码后的所述传输流中确定所述视频图像和所述素材属性信息;
获取与所述素材属性信息确定相匹配的所述业务对象。
11. 根据权利要求10所述的方法,其特征在于,所述按照与所述视频图像的视频编码格式相对应的视频解码格式,对所述传输流进行解码,包括:
当所述传输流的视频编码格式为H.264编码格式时,按照H.264视频解码格式对所述传输流进行解码。
12. 根据权利要求11所述的方法,其特征在于,所述传输流还携带所述视频图像的视频属性信息;
所述从解码后的所述传输流中确定所述视频图像和所述素材属性信息,包括:
从解码后的所述传输流中确定所述视频图像;
从网络抽象层NAL单元的原始字节序列负荷RBSP中确定所述素材属性信息;以及,
从所述从解码后的所述传输流中确定所述视频图像的视频属性信息。
13. 根据权利要求12所述的方法,其特征在于,所述从网络抽象层NAL单元的原始字节序列负荷RBSP中确定素材属性信息,包括:
从所述RBSP的补充增强信息单元SEI中确定所述素材属性信息。
14. 根据权利要求9-13任一所述的方法,其特征在于,所述根据所述素材属性信息在所述视频图像上采用计算机绘图方式绘制所述业务对象,包括:
根据所述视频图像的视频属性信息将所述视频图像在第二设备端进行显示;
根据所述素材属性信息确定所述业务对象在所述视频图像中的绘制位置;
根据所述绘制位置在所述视频图像上采用计算机绘图方式绘制所述业务对象。
15. 根据权利要求9-13任一所述的方法,其特征在于,所述素材属性信息还包括以下至少之一:素材的标识信息或素材的链接信息。
16. 根据权利要求9-13任一所述的方法,其特征在于,所述业务对象包括包含广告信息的以下至少一种形式的特效:二维贴纸特效、三维特效、粒子特效。
17. 一种数据处理装置,包括:
对象特征点确定模块,用于从第一设备端当前播放的视频图像确定所述目标对象的特征点,所述视频图像为直播平台中的视频图像;
展示位置确定模块,用于根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
提取模块,用于生成包括所述业务对象在所述视频图像中的展示位置的素材属性信息;
生成模块,用于根据所述视频图像和所述素材属性信息生成传输流;
发送模块,用于向至少一个第二设备端发送所述传输流。
18. 根据权利要求17所述的装置,其特征在于,所述生成模块,用于按照设定的视频编码格式对所述视频图像进行编码,并将编码后的所述视频图像和所述素材属性信息生成传输流。
19. 根据权利要求18所述的装置,其特征在于,
所述生成模块,用于按照H.264编码格式对所述视频图像进行编码,将所述素材属性信息携带在编码后的网络抽象层NAL单元的原始字节序列负荷RBSP中生成传输流。
20. 根据权利要求19所述的装置,其特征在于,
所述生成模块,用于将所述素材属性信息携带在所述RBSP的补充增强信息单元SEI中生成传输流。
21. 根据权利要求20所述的装置,其特征在于,所述传输流还携带第一设备端当前播放的所述视频图像的视频属性信息。
22. 根据权利要求21所述的装置,其特征在于,
所述发送模块,用于将所述传输流转换为json格式的数据,并将转换后的数据向至少一个第二设备端发送。
23. 根据权利要求17-22所述的装置,其特征在于,所述素材属性信息还包括以下至少之一:素材的标识信息或素材的链接信息。
24. 根据权利要求17-22任一所述的装置,其特征在于,所述业务对象包括包含广告信息的以下至少一种形式的特效:二维贴纸特效、三维特效、粒子特效。
25. 一种数据处理装置,包括:
接收模块,用于接收传输流,所述传输流包括直播平台中的视频图像和素材属性信息,所述素材属性信息包括待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
确定模块,用于根据素材属性信息获取所述业务对象;
绘制模块,用于根据所述素材属性信息在所述视频图像上采用计算机绘图方式绘制所述业务对象。
26. 根据权利要求25所述的装置,其特征在于,所述确定模块,包括:
解码子模块,用于按照与所述视频图像的视频编码格式相对应的视频解码格式,对所述传输流进行解码;
信息确定子模块,用于从解码后的所述传输流中确定所述视频图像和所述素材属性信息;
匹配子模块,用于获取与所述素材属性信息相匹配的所述业务对象。
27. 根据权利要求26所述的装置,其特征在于,
所述解码子模块,用于当所述传输流的视频编码格式为H.264编码格式时,按照H.264视频解码格式对所述传输流进行解码。
28. 根据权利要求27所述的装置,其特征在于,所述传输流还携带所述视频图像的视频属性信息;
所述解码子模块,用于从解码后的所述传输流中确定视频图像;从网络抽象层NAL单元的原始字节序列负荷RBSP中确定素材属性信息;以及,从所述从解码后的所述传输流中确定所述视频图像的视频属性信息。
29. 根据权利要求28所述的装置,其特征在于,
所述解码子模块,用于从所述RBSP的补充增强信息单元SEI中确定所述素材属性信息。
30. 根据权利要求25-29任一所述的装置,其特征在于,所述绘制模块,包括:
显示子模块,用于根据所述视频图像的视频属性信息将所述视频图像在第二设备端进行显示;
位置确定子模块,用于根据所述素材属性信息确定所述业务对象在所述视频图像中的绘制位置;
素材绘制子模块,用于根据所述绘制位置在所述视频图像上采用计算机绘图方式绘制所述业务对象。
31. 根据权利要求25-29任一所述的装置,其特征在于,所述素材属性信息还包括以下至少之一:素材的标识信息或素材的链接信息。
32. 根据权利要求25-29任一所述的装置,其特征在于,所述业务对象包括包含广告信息的以下至少一种形式的特效:二维贴纸特效、三维特效、粒子特效。
33. 一种终端设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-8任一所述数据处理方法。
34. 一种终端设备,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;
所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求9-16任一所述数据处理方法。”
申请人(下称复审请求人)对上述驳回决定不服,于2019年04月03日向国家知识产权局提出了复审请求,同时修改了权利要求书,其中将权利要求7的部分附加技术特征“素材的标识信息”加入权利要求1中,并在权利要求1中增加特征“应用于第一设备端”,同时删除了权利要求7中的特征“以下至少之一”和“素材的标识信息”;将权利要求15的部分附加技术特征“素材的标识信息”加入权利要求9中,并在权利要求9中增加特征“应用于第二设备端”,同时删除了权利要求15中的特征“以下至少之一”和“素材的标识信息”;并针对权利要求17、23、25、31进行了类似修改。复审请求人在意见陈述书中主要认为:权利要求1相比于对比文件1具有区别特征:(1)从第一设备端当前播放的视频图像确定所述目标对象的特征点,(2)所述视频图像为直播平台中的视频图像,(3)根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效,(4)生成包括素材的标识信息和所述业务对象在所述视频图像中的展示位置的素材属性信息,(5)权利要求1的数据处理方法应用于第一设备端,(6)根据所述视频图像和所述素材属性信息生成传输流,(7)向至少一个第二设备端发送所述传输流。而上述区别特征(1)-(7)既未被对比文件3披露,而且也不属于本领域的公知常识,具体理由如下:对比文件3中的视频图像为可分享至社交应用中的录制视频中的图像,对于录制视频的分享,观看用户的终端设备并不存在播放直播时需要处理直播信息和数据的需求,因此对观看用户的终端设备的配置要求不高,并不存在权利要求1针对直播业务所要解决的技术问题,也即对比文件3没有公开上述区别特征(2),更未给出针对直播业务解决相应技术问题所需的区别特征技术特征(4)-(7),另外对比文件3是由同一个设备录制视频、获取第二媒体信息、并将第二媒体信息与第一媒体信息进行视频合成,其不存在通过一个设备来录制视频和获取第二媒体信息,另一个设备来进行视频合成的需求,也即对比文件3无法想到进行上述区别特征(2)、(4)-(7)相应的技术改进。因此坚持认为权利要求1-34具有创造性。
复审请求时新修改的权利要求1、7、9、15、17、23、25、31内容如下:
“1. 一种数据处理方法,应用于第一设备端,包括:
从第一设备端当前播放的视频图像确定所述目标对象的特征点,所述视频图像为直播平台中的视频图像;
根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
生成包括素材的标识信息和所述业务对象在所述视频图像中的展示位置的素材属性信息;
根据所述视频图像和所述素材属性信息生成传输流;
向至少一个第二设备端发送所述传输流。”
“7. 根据权利要求1-4任一所述的方法,其特征在于,所述素材属性信息还包括:素材的链接信息。”
“9. 一种数据处理方法,应用于第二设备端,包括:
接收传输流,所述传输流包括直播平台中的视频图像和素材属性信息,所述素材属性信息包括素材的标识信息和待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
根据所述素材属性信息获取所述业务对象;
根据所述素材属性信息在所述视频图像上采用计算机绘图方式绘制所述业务对象。”
“15. 根据权利要求9-13任一所述的方法,其特征在于,所述素材属性信息还包括:素材的链接信息。”
“17. 一种数据处理装置,应用于第一设备端,包括:
对象特征点确定模块,用于从第一设备端当前播放的视频图像确定所述目标对象的特征点,所述视频图像为直播平台中的视频图像;
展示位置确定模块,用于根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
提取模块,用于生成包括素材的标识信息和所述业务对象在所述视频图像中的展示位置的素材属性信息;
生成模块,用于根据所述视频图像和所述素材属性信息生成传输流;
发送模块,用于向至少一个第二设备端发送所述传输流。”
“23. 根据权利要求17-22所述的装置,其特征在于,所述素材属性信息还包括:素材的链接信息。”
“25. 一种数据处理装置,应用于第二设备端,包括:
接收模块,用于接收传输流,所述传输流包括直播平台中的视频图像和素材属性信息,所述素材属性信息包括素材的标识信息和待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;
确定模块,用于根据素材属性信息获取所述业务对象;
绘制模块,用于根据所述素材属性信息在所述视频图像上采用计算机绘图方式绘制所述业务对象。”
“31. 根据权利要求25-29任一所述的装置,其特征在于,所述素材属性信息还包括:素材的链接信息。”
经形式审查合格,国家知识产权局于2019年04月18日依法受理了该复审请求,并将其转送至实质审查部门进行前置审查。
审查部门在前置审查意见书中认为:复审请求人在意见陈述书中列出了权利要求1相比对比文件1具有7个区别特征,其中,区别特征(4)的一部分在对比文件1公开,其余部分是本领域的惯用手段,区别特征(5)在对比文件1中公开,权利要求(6)(7)可以根据对比文件1直接地毫无疑义地确定,区别特征(1)、(3)在对比文件3中公开,区别特征(2)是本领域的常规选择,另外复审请求中强调其技术方案是应用于视频直播平台,前置意见给出上述方案应用于视频直播平台是本领域惯用手段的现有技术引证。因此坚持驳回决定。
随后,国家知识产权局成立合议组对本案进行审理。
在上述程序的基础上,合议组认为本案事实已经清楚,可以作出审查决定。
决定的理由
(一)审查文本的认定
复审请求人于2019年04月03日提交复审请求时提交了意见陈述书,并提交了权利要求书的全文修改替换页。本复审请求审查决定所依据的审查文本为:申请日2016年08月19日提交的说明书附图第1-4页、说明书摘要、摘要附图;2018年08月20日提交的说明书第1-28页;2019年04月03日提交的权利要求第1-34项。经核实,上述权利要求书的修改之处符合专利法第33条的规定。
(二)专利法第22条第3款
专利法第22条第3款:创造性,是指与现有技术相比,该发明具有突出的实质性特点和显著的进步,该实用新型具有实质性特点和进步。
本复审请求审查决定所引用的对比文件与驳回决定所引用的对比文件相同,即:
对比文件1:CN104010215A,公开日为2014年08月27日;
对比文件2:CN104137551A,公开日为2014年11月05日;
对比文件3:CN105791692A,公开日为2016年07月20日。
1.权利要求1要求保护一种数据处理方法,对比文件1公开了一种基于Miracast的影像分享方法、源设备、终端设备和系统(参见说明书第0046-0057段):一种基于Miracast的影像分享终端源设备1(相当于权利要求1的第一设备端),源设备用于发送影像数据到终端设备2(相当于权利要求1的第二设备端),源设备1包括第一WIFI模块10、素材标识发送模块11和素材发送模块12。基于Miracast的影像分享方法包括如下步骤:步骤S101源设备在合成下一帧图层时,发送合成下一帧图层所需素材的素材标识(相当于权利要求1的素材的标识信息)到终端设备。步骤S102终端设备检测是否存有所述的素材标识。如果终端设备存有所述的素材标识,则直接进入步骤S106将所述的素材标识所对应的素材和原始图层合成为新图层;如果终端设备没有存有所述的素材标识,则进入步骤S103发送提示信息给源设备,提示信息用于表明终端设备没有所述素材标识即没有所述素材,而后步骤S104源设备接收到提示消息后发送所述的素材标识所对应的素材到终端设备,步骤S105终端设备接收到后存储所述素材并进入步骤S106将素材和原始图层合成为新图层。为了统一原始图层,则在源设备1和终端设备2刚刚连接时,源设备1应该发送当前显示的图层(即原始图层)到终端设备2上,而后使用到的原始图层都为上一次生成的新图层。由于素材标识数据量很小,源设备1在获取素材标识时并不需要占用源设备1很大的内存带宽,同时第一WIFI模块10发送素材标识也不需要很大的传输带宽,则避免了因为内存带宽不足或者是传输带宽不足而造成的影像传输的卡顿或不流畅(对比文件1中要通过WiFi发送素材标识,必定要生成相应的传输流并发送给终端设备2,相当于隐含公开了权利要求1的特征:向至少一个第二设备发送传输流)。
权利要求1与对比文件1的区别特征在于:从第一设备端当前播放的视频图像确定所述目标对象的特征点,所述视频图像为直播平台中的视频图像,根据所述目标对象的特征点,确定待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效,生成的素材属性信息还包括所述业务对象在所述视频图像中的展示位置,而所生成的传输流包括所述视频图像和所述素材属性信息。基于上述区别特征,权利要求1实际所要解决的技术问题是:如何确定并传输直播视频传输时除视频图像之外的其他数据,从而有效处理直播数据并降低直播数据传输量。
对于上述区别特征,对比文件3公开了一种信息处理方法及终端(参见说明书第0003段、第0022-0027段、第0065段、第0085-0098段、第0101-0110段、第0124-0140段、第0147-0150段,图7、13-17):步骤201、在终端开启应用,获取第一操作,触发第一媒体信息的采集。用户执行第一操作,如用手指点击A1标识的视频处理应用图标,进入视频录制的处理过程,从而触发第一媒体信息(如视频)的采集。比如,可以录制一段室内的场景,或者,给自己进行自拍等等。步骤202、终端在采集所述第一媒体信息的过程中检测到符合预设条件的人脸区域内的表情变化或采集框内的用户动作变化时,将得到的变化量作为关键信息上报给服务器。步骤203、服务器从素材库中选取与关键信息对应的第二媒体信息和第二媒体信息的描述文件。步骤204、终端接收服务器推送的与所述关键信息对应的第二媒体信息和第二媒体信息的描述文件。步骤205、将第一媒体信息和第二媒体信息按照预设配置进行视频合成。所述响应所述表情变化或所述用户动作变化时,获取对应的特征检测结果,将所述第二媒体信息按照所述特征检测结果和所述第二媒体信息的描述文件的配置与第一媒体信息进行视频合成包括:a1、响应所述表情变化或所述用户动作变化,将检测到的特征变化量上报服务器后,以请求所述第一类贴纸信息和第一类贴纸信息的描述文件;a2、检测所述表情变化或所述用户动作变化引起的特征坐标变化,由初始坐标定位到目标坐标,以根据目标坐标定位得到的位置点或者由初始坐标至目标坐标界定的位置区域来叠加所述第一类贴纸信息;a3、解析收到的所述第一类贴纸信息的描述文件,得到第一类贴纸信息待显示的指定时间;a4、按照所述位置点或所述位置区域所指定的位置和所述指定时间,将第二媒体信息与第一媒体信息进行视频合成。由此可见,对比文件3未公开上述区别特征,对比文件3给出的方案是终端在进行视频录制或自拍时,终端根据视频内容自动从服务器获取相关的第二媒体信息,并根据相应的指定位置和指定时间自动对视频和第二媒体信息进行合成,以此克服现有技术存在的下述问题:当用户录制视频并且需要在视频中附加其他信息时,需要用户去素材库选择相应信息并附加到视频的相应位置和相应时间点,而这样的手动操作复杂并且处理效率低下的问题。在对比文件3中,只涉及在终端本身由于视频录制或自拍所涉及的视频合成,并不涉及要进行视频直播,更不涉及要将拍摄的视频图像以及分析相应视频图像而生成的第二媒体信息的属性信息发送给其他终端,并在其他终端对两者进行合成的方案。而本申请所要解决的技术问题是直播过程中,如何解决用户终端在播放直播数据时因为配置太低而无法有效处理主播发过来的直播信息和数据的问题,更多涉及的是解决直播过程中视频图像数据和其他数据的传输模式和处理模式,由此可见,两者解决的技术问题完全不同。并且当对比文件3在终端完成视频合成后,在分享合成视频给其他终端时,对比文件3中完全没有动机去重新提取第二媒体信息的素材属性信息,然后将视频图像和素材属性信息处理成传输流中不同的两种数据发送给其他终端并在其他终端进行合成。另外,在对比文件1的基于Miracast的影像分享方法和系统中,当用户在设备间传输影像时,为节省带宽在传输原始图层后,每次仅传输合成下一图层所需素材的素材标识(素材可以是程序界面、系统界面或者图片等)给另一设备以进行素材和原始图层的合成即可,Miracast技术是以WIFI直连为基础的多设备无线同屏技术,在对比文件1的方案中,其涉及的Miracast技术并不能支持视频直播,本领域技术人员没有动机将其方案用于直播平台的视频图像传输,更没有动机根据直播平台的视频图像数据生成相应的素材属性信息,即对于本领域技术人员来说,难以想到在对比文件1的基础上结合对比文件3来获得本申请的技术方案。并且,目前尚无证据证明上述区别特征属于本领域的公知常识。该区别特征的使用,使得本申请的技术方案在直播过程中,可以减少处理和传输直播信息和数据的数据量,并获得无需高配置即可理想观看的技术效果。
综上所述,本领域技术人员在对比文件1的基础上结合对比文件3和本领域的公知常识无法显而易见地得到权利要求1要求保护的技术方案,而且权利要求1的技术方案相比现有技术产生了有益的技术效果,因此权利要求1相对于对比文件1、3和本领域的公知常识的结合具有突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
另外,对比文件2公开了一种用于三维视频译码的网络抽象层单元标头设计(参见说明书第0056-0057段):视频编码器20可输出含有经编码视频数据的位流。所述位流可包括形成经译码图片及关联数据的表示的位序列。位流可包含网络抽象层(NAL)单元序列。所述NAL单元中每一者包括NAL单元标头且封装原始字节序列有效负载(RBSP)。不同类型的NAL单元可封装不同类型的RBSP。举例来说,第一类型的NAL单元可封装用于图片参考集(PPS)的RBSP,第二类型的NAL单元可封装用于经译码切片的RBSP,第三类型的NAL单元可封装用于补充增强信息(SEI)的RBSP,等等。对比文件2仅仅涉及视频编译码中网络抽象层单元的标头设计,完全不涉及直播平台中的视频图像素材属性信息的提取和传送。可见对于本领域技术人员来说,难以想到在对比文件1的基础上结合对比文件3和对比文件2来获得本申请的技术方案。
综上所述,本领域技术人员在对比文件1的基础上结合对比文件3、对比文件2和本领域的公知常识无法显而易见地得到权利要求1要求保护的技术方案,而且权利要求1的技术方案相比现有技术产生了有益的技术效果,因此权利要求1相对于对比文件1、2、3和本领域的公知常识的结合具有突出的实质性特点和显著的进步,具有专利法第22条第3款规定的创造性。
2.在权利要求1具有创造性的基础上,其从属权利要求2-8也具有专利法第22条第3款规定的创造性。
3.权利要求9要求保护一种数据处理方法,对比文件1公开了一种基于Miracast的影像分享方法、源设备、终端设备和系统(参见说明书第0046-0057段):一种基于Miracast的影像分享终端源设备1,源设备用于发送影像数据到终端设备2(相当于权利要求9的第二设备端),终端设备2包括第二WIFI模块20、素材标识接收模块21、素材标识判断模块22、素材接收模块23和新图层合成模块24。基于Miracast的影像分享方法包括如下步骤:步骤S101源设备在合成下一帧图层时,发送合成下一帧图层所需素材的素材标识(相当于权利要求9的素材的标识信息)到终端设备。步骤S102终端设备检测是否存有所述的素材标识。如果终端设备存有所述的素材标识,则直接进入步骤S106将所述的素材标识所对应的素材和原始图层合成为新图层(相当于权利要求9的根据素材属性信息获取所述业务对象);如果终端设备没有存有所述的素材标识,则进入步骤S103发送提示信息给源设备,提示信息用于表明终端设备没有所述素材标识即没有所述素材,而后步骤S104源设备接收到提示消息后发送所述的素材标识所对应的素材到终端设备,步骤S105终端设备接收到后存储所述素材并进入步骤S106将素材和原始图层合成为新图层。为了统一原始图层,则在源设备1和终端设备2刚刚连接时,源设备1应该发送当前显示的图层(即原始图层)到终端设备2上,而后使用到的原始图层都为上一次生成的新图层。由于素材标识数据量很小,源设备1在获取素材标识时并不需要占用源设备1很大的内存带宽,同时第一WIFI模块10发送素材标识也不需要很大的传输带宽,则避免了因为内存带宽不足或者是传输带宽不足而造成的影像传输的卡顿或不流畅(对比文件1中要通过WiFi发送素材标识,必定要生成相应的传输流并发送给终端设备2,也即终端设备2要接收相应传输流,相当于隐含公开了权利要求9的特征:接收传输流)。
权利要求9与对比文件1的区别特征在于:所述传输流包括直播平台中的视频图像和素材属性信息,所述素材属性信息还包括待展示的业务对象在所述视频图像中的展示位置,所述业务对象包含有语义信息的特效;根据所述素材属性信息在所述视频图像上采用计算机绘图方式绘制所述业务对象。基于上述区别特征,权利要求9实际所要解决的技术问题是:如何在视频直播的接收终端进行数据的接收与显示,从而有效降低直播数据传输量并有效处理直播数据。
对于上述区别特征,对比文件3公开了一种信息处理方法及终端(参见说明书第0003段、第0022-0027段、第0065段、第0085-0098段、第0101-0110段、第0124-0140段、第0147-0150段,图7、13-17):步骤201、在终端开启应用,获取第一操作,触发第一媒体信息的采集。用户执行第一操作,如用手指点击A1标识的视频处理应用图标,进入视频录制的处理过程,从而触发第一媒体信息(如视频)的采集。比如,可以录制一段室内的场景,或者,给自己进行自拍等等。步骤202、终端在采集所述第一媒体信息的过程中检测到符合预设条件的人脸区域内的表情变化或采集框内的用户动作变化时,将得到的变化量作为关键信息上报给服务器。步骤203、服务器从素材库中选取与关键信息对应的第二媒体信息和第二媒体信息的描述文件。步骤204、终端接收服务器推送的与所述关键信息对应的第二媒体信息和第二媒体信息的描述文件。步骤205、将第一媒体信息和第二媒体信息按照预设配置进行视频合成。所述响应所述表情变化或所述用户动作变化时,获取对应的特征检测结果,将所述第二媒体信息按照所述特征检测结果和所述第二媒体信息的描述文件的配置与第一媒体信息进行视频合成包括:a1、响应所述表情变化或所述用户动作变化,将检测到的特征变化量上报服务器后,以请求所述第一类贴纸信息和第一类贴纸信息的描述文件;a2、检测所述表情变化或所述用户动作变化引起的特征坐标变化,由初始坐标定位到目标坐标,以根据目标坐标定位得到的位置点或者由初始坐标至目标坐标界定的位置区域来叠加所述第一类贴纸信息;a3、解析收到的所述第一类贴纸信息的描述文件,得到第一类贴纸信息待显示的指定时间;a4、按照所述位置点或所述位置区域所指定的位置和所述指定时间,将第二媒体信息与第一媒体信息进行视频合成。由此可见,对比文件3未公开上述区别特征,对比文件3给出的方案是终端在进行视频录制或自拍时,终端根据视频内容自动从服务器获取相关的第二媒体信息,并根据相应的指定位置和指定时间自动对视频和第二媒体信息进行合成,以此克服现有技术存在的下述问题:当用户录制视频并且需要在视频中附加其他信息时,需要用户去素材库选择相应信息并附加到视频的相应位置和相应时间点,而这样的手动操作复杂并且处理效率低下的问题。在对比文件3中,只涉及在终端本身由于视频录制或自拍所涉及的视频合成,并不涉及要接收视频直播数据,更不涉及在用户终端要接收其他终端发送的视频图像以及分析相应视频图像而生成的第二媒体信息的属性信息,并在用户终端对两者进行合成的方案。而本申请所要解决的技术问题是直播过程中,如何解决用户终端在播放直播数据时因为配置太低而无法有效处理主播发过来的直播信息和数据的问题,更多涉及的是解决直播过程中数据的传输模式和处理模式,由此可见,两者解决的技术问题完全不同。另外,对比文件3的终端从服务器接收与终端所拍摄视频图像相关的第二媒体信息和第二媒体信息的描述文件,也即接收素材和素材属性信息与终端拍摄的视频图像进行合成,当对比文件3将合成视频分享给其他终端时,并没有动机去重新提取合成视频中的第二媒体信息的素材属性信息,然后将视频图像和素材属性信息处理成传输流中不同的两种数据发送给其他终端,其他终端接收两种数据来进行合成。另外,在对比文件1的基于Miracast的影像分享方法和系统中,当用户在设备间传输影像时,为节省带宽在传输原始图层后,每次仅传输合成下一图层所需素材的素材标识(素材可以是程序界面、系统界面或者图片等)给另一设备以进行素材和原始图层的合成即可,Miracast技术是以WIFI直连为基础的多设备无线同屏技术,在对比文件1的方案中,其涉及的Miracast技术并不能支持视频直播,本领域技术人员没有动机将其方案用于直播平台的视频图像传输和接收,也没有动机去接收视频图像和包括业务对象在视频图像中的展示位置的素材属性信息来最终合成呈现的视频图像,即对于本领域技术人员来说,难以想到在对比文件1的基础上结合对比文件3来获得本申请的技术方案。并且,目前尚无证据证明上述区别特征属于本领域的公知常识。该区别特征的使用,使得本申请的技术方案在直播过程中,可以减少传输和处理直播信息和数据的数据量,并获得无需高配置即可理想观看的技术效果。
综上所述,本领域技术人员在对比文件1的基础上结合对比文件3和本领域的公知常识无法显而易见地得到权利要求9要求保护的技术方案,而且权利要求9的技术方案相比现有技术产生了有益的技术效果,因此权利要求9相对于对比文件1、3和本领域的公知常识的结合具有突出的实质性特点和显著的进步,具备专利法第22条第3款规定的创造性。
另外,对比文件2公开了一种用于三维视频译码的网络抽象层单元标头设计(参见说明书第0056-0057段):视频编码器20可输出含有经编码视频数据的位流。所述位流可包括形成经译码图片及关联数据的表示的位序列。位流可包含网络抽象层(NAL)单元序列。所述NAL单元中每一者包括NAL单元标头且封装原始字节序列有效负载(RBSP)。不同类型的NAL单元可封装不同类型的RBSP。举例来说,第一类型的NAL单元可封装用于图片参考集(PPS)的RBSP,第二类型的NAL单元可封装用于经译码切片的RBSP,第三类型的NAL单元可封装用于补充增强信息(SEI)的RBSP,等等。对比文件2仅仅涉及视频编译码中网络抽象层单元的标头设计,完全不涉及直播平台中的视频图像素材属性信息的提取和传送。可见对于本领域技术人员来说,难以想到在对比文件1的基础上结合对比文件3和对比文件2来获得本申请的技术方案。
综上所述,本领域技术人员在对比文件1的基础上结合对比文件3、对比文件2和本领域的公知常识无法显而易见地得到权利要求9要求保护的技术方案,而且权利要求9的技术方案相比现有技术产生了有益的技术效果,因此权利要求9相对于对比文件1、2、3和本领域的公知常识的结合具有突出的实质性特点和显著的进步,具有专利法第22条第3款规定的创造性。
4.在权利要求9具有创造性的基础上,其从属权利要求10-16也具有专利法第22条第3款规定的创造性。
5.权利要求17-24是与权利要求1-8一一对应的装置权利要求,权利要求25-32是与权利要求9-16一一对应的装置权利要求,参考权利要求1-8、9-16的评述可知,权利要求17-24、25-32也具有专利法第22条第3款规定的创造性。
6.权利要求33包括权利要求1-8任一所述的数据处理方法,权利要求34包括权利要求9-16任一所述的数据处理方法,在权利要求1-8、9-16具备创造性的情况下,权利要求33-34也具有专利法第22条第3款规定的创造性。
三、决定
撤销国家知识产权局于2018年12月19日对本申请作出的驳回决定。由国家知识产权局实质审查部门以下述文本为基础继续进行审批程序:
复审请求人于2016年08月19日提交的说明书附图第1-4页;
复审请求人于2018年08月20日提交的说明书第1-28页;
复审请求人于2019年04月03日提交的权利要求第1-34项;
复审请求人于2016年08月19日提交的摘要;
复审请求人于2016年08月19日提交的摘要附图。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。