发明创造名称：直播信息的处理方法和装置
外观设计名称：
决定号：180877
决定日：2019-06-06
委内编号：1F256737
优先权日：
申请（专利）号：201610851469.5
申请日：2016-09-26
复审请求人：腾讯科技（深圳）有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：张乾桢
合议组组长：徐卫锋
参审员：林松岭
国际分类号：G06F3/14；H04L29/06；H04N21/472
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在多个区别技术特征，其中部分特征被其他对比文件公开且作用相同，其余部分区别技术特征为本领域的公知常识，则该项权利要求请求保护的技术方案不具备创造性。
全文：
本复审请求涉及申请号为201610851469.5，名称为“直播信息的处理方法和装置”的发明专利申请（下称本申请）。本申请的申请人为腾讯科技（深圳）有限公司，申请日为2016年09月26日，公开日为2017年03月08日。
经实质审查，国家知识产权局实质审查部门于2018年04月09日发出驳回决定，驳回了本申请，其理由是：独立权利要求9、18不具备专利法第22条第3款规定的创造性。具体为：权利要求9与对比文件1的区别技术特征在于：①当前采集方向为所述直播端在采集所述当前帧图像时的屏幕方向；②确定用于表示所述当前采集方向的屏幕方向标记，其中，所述用于表示所述当前采集方向的信息包括所述屏幕方向标记；将所述屏幕方向标记和所述当前帧图像的数据一并封装为所述第一直播流信息。区别技术特征①被对比文件2公开且所起的作用相同；区别技术特征②属于本领域的公知常识。因此，权利要求9、18不具备创造性。并在其他说明部分指出：权利要求1-8、10-17不具备专利法第22条第3款规定的创造性。权利要求1与对比文件1的区别技术特征是：①当前采集方向为直播端采集所述当前帧图像时的屏幕方向；检测当前采集方向与预定采集方向是否一致，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；在二者不一致时进行旋转处理。②所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记。区别技术特征①被对比文件2公开且所起的作用相同。区别技术特征②是本领域技术人员的公知常识。因此权利要求1不具备创造性。从属权利要求2-8的附加技术特征或者被对比文件2公开，或者属于本领域的公知常识。从属权利要求10-17与权利要求1-8相对应。因此权利要求2-8、10-17均不具备创造性。
驳回决定中引用了以下对比文件：
对比文件1：CN105227963A，公开日为2016年01月06日；
对比文件2：CN105068774A，公开日为2015年11月18日。
驳回决定所依据的文本为：申请日2016年09月26日提交的说明书摘要、说明书第1-30页、摘要附图、说明书附图第1-9页；2018年02月05日提交的权利要求第1-18项。
驳回决定所针对的权利要求书内容如下：
“1. 一种直播信息的处理方法，应用于播放端，其特征在于，包括：
接收第一直播流信息，其中，所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息，所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记；
检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；
在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理。
2. 根据权利要求1所述的方法，其特征在于，在检测所述当前采集方向与预定采集方向是否一致之前，所述方法还包括：
获取第二直播流信息，其中，所述第二直播流信息为在所述直播开始时接收到的流信息；
从所述第二直播流信息中，获取所述直播端采集起始帧图像时的起始采集方向；
将所述起始采集方向固定为所述预定采集方向。
3. 根据权利要求1所述的方法，其特征在于，在检测所述当前采集方向与预定采集方向是否一致之前，所述方法还包括：
获取预先设置的方向信息，其中，所述方向信息用于指示所述预定采集方向。
4. 根据权利要求1所述的方法，其特征在于，在检测所述当前采集方向与预定采集方向是否一致之前，所述方法还包括：
检测所述第一直播流信息中的所述屏幕方向的标记；
确定与所述屏幕方向的标记对应的所述当前采集方向。
5. 根据权利要求4所述的方法，其特征在于，所述屏幕方向包括下述至 少之一：屏幕竖屏且主控制键在下的方向、屏幕竖屏且主控制键在上的方向、屏幕横屏且主控制键在右的方向、以及屏幕横屏且主控制键在左的方向。
6. 根据权利要求1所述的方法，其特征在于，对所述当前帧图像的数据进行旋转处理包括：
基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；
按照所述旋转角度对所述当前帧图像的数据执行旋转处理。
7. 根据权利要求1所述的方法，其特征在于，在对所述当前帧图像的数据进行旋转处理之后，所述方法还包括：
根据所述旋转后的当前帧图像的宽高信息和所述播放端的屏幕信息，调整所述当前帧图像的显示比例和/或在所述播放端的屏幕上添加填充像素，以使所述当前帧图像适配所述播放端的屏幕。
8. 根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述当前帧图像的上一帧图像的上一采集方向与所述当前帧图像的当前采集方向不同，则在对所述当前帧图像的数据进行旋转处理之后，采用平滑过渡的显示方式显示所述当前帧图像。
9. 一种直播信息的处理方法，应用于直播端，其特征在于，包括：
采集当前帧图像；
获取所述当前帧图像的当前采集方向，其中，所述当前采集方向为所述直播端在采集所述当前帧图像时的屏幕方向；
基于所述当前帧图像的数据和用于表示所述当前采集方向的信息，生成第一直播流信息；
将所述第一直播流信息发送至播放端，其中，所述当前采集方向的信息用于所述播放端确定是否对所述当前帧图像的数据进行旋转处理；
其中，基于所述当前帧图像的数据和用于表示所述当前采集方向 的信息，生成第一直播流信息包括：
确定用于表示所述当前采集方向的屏幕方向标记，其中，所述用于表示所述当前采集方向的信息包括所述屏幕方向标记；
将所述屏幕方向标记和所述当前帧图像的数据一并封装为所述第一直播流信息。
10. 一种直播信息的处理装置，设置在播放端上，其特征在于，包括：
接收单元，用于接收第一直播流信息，其中，所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息，所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记；
检测单元，用于检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；
旋转单元，用于在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理。
11. 根据权利要求10所述的装置，其特征在于，所述装置还包括：
第一获取单元，用于在检测所述当前采集方向与预定采集方向是否一致之前，获取第二直播流信息，其中，所述第二直播流信息为在所述直播开始时接收到的流信息；
第二获取单元，用于从所述第二直播流信息中，获取所述直播端采集起始帧图像时的起始采集方向；
第一确定单元，用于将所述起始采集方向固定为所述预定采集方向。
12. 根据权利要求10所述的装置，其特征在于，所述装置还包括：
第三获取单元，用于在检测所述当前采集方向与预定采集方向是否一致之前，获取预先设置的方向信息，其中，所述方向信息用于指示所述预定采集方向。
13. 根据权利要求10所述的装置，其特征在于，
所述检测单元还用于在检测所述当前采集方向与预定采集方向是否一致之前，检测所述第一直播流信息中的所述屏幕方向的标记；
所述装置还包括：第二确定单元，用于确定与所述屏幕方向的标记对应的所述当前采集方向。
14. 根据权利要求13所述的装置，其特征在于，所述屏幕方向包括下述至少之一：屏幕竖屏且主控制键在下的方向、屏幕竖屏且主控制键在上的方向、屏幕横屏且主控制键在右的方向、以及屏幕横屏且主控制键在左的方向。
15. 根据权利要求10所述的装置，其特征在于，所述旋转单元具体用于：
基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；
按照所述旋转角度对所述当前帧图像的数据执行旋转处理。
16. 根据权利要求10所述的装置，其特征在于，所述装置还包括：
适配单元，用于在对所述当前帧图像的数据进行旋转处理之后，根据所述旋转后的当前帧图像的宽高信息和所述播放端的屏幕信息，调整所述当前帧图像的显示比例和/或在所述播放端的屏幕上添加填充像素，以使所述当前帧图像适配所述播放端的屏幕。
17. 根据权利要求10所述的装置，其特征在于，所述装置还包括：
显示单元，用于若所述当前帧图像的上一帧图像的上一采集方向与所述当前帧图像的当前采集方向不同，则在对所述当前帧图像的数据进行旋转处理之后，采用平滑过渡的显示方式显示所述当前帧图像。
18. 一种直播信息的处理装置，设置在直播端上，其特征在于，包括：
采集单元，用于采集当前帧图像；
方向获取单元，用于获取所述当前帧图像的当前采集方向，其中，所述当前采集方向为所述直播端在采集所述当前帧图像时的屏幕方向；
生成单元，用于基于所述当前帧图像的数据和用于表示所述当前采集方向的信息，生成第一直播流信息；
发送单元，用于将所述第一直播流信息发送至播放端，其中，所述当前采集方向的信息用于所述播放端确定是否对所述当前帧图像的数据进行旋转处理；
其中，所述生成单元具体用于：
确定用于表示所述当前采集方向的屏幕方向标记，其中，所述用于表示所述当前采集方向的信息包括所述屏幕方向标记；
将所述屏幕方向标记和所述当前帧图像的数据一并封装为所述第一直播流信息。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年07月23日向国家知识产权局提出了复审请求，同时修改了权利要求书，将从属权利要求6、15分别提升为独立权利要求1、9，同时删除原独立权利要求1、10，适应性修改其余权利要求的编号和引用关系。复审请求人在复审请求意见中认为：（1）对比文件1公开的方案码流中携带的是用于表示视频旋转角度的角度值，而权利要求1记载的方案第一直播流信息中携带的是用于表示当前采集方向的信息。可见，对比文件1并没有公开权利要求1记载的“所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息”。其次，对比文件1也没有公开修改后的权利要求1记载的“所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记；检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理”、“对所述当前帧图像的数据进行旋转处理包括：基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；按照所述旋转角度对所述当前帧图像的数据执行旋转处理”。（2）对比文件2公开的方案目的端接收到的码流中携带的是屏幕方向改变信息，该屏幕方向改变信息用于表示的是源端的屏幕方向发生了改变，也就是说，目的端设备只要收到了该信息，则可以判定源端的屏幕方向发生了改变。而权利要求1记载的方案第一直播流信息中包括的是用于表示当前采集方向的信息，播放端还需要通过检测当前采集方向与预定采集方向是否一致来确定屏幕方向是否发生了旋转。其次，对比文件2公开的方案目的端设备是根据是否接收到屏幕方向信息来判断屏幕是否发生旋转的。而权利要求1记载的方案播放端通过检测当前采集方向与预定采集方向是否一致来确定屏幕是否旋转。可见，对比文件2公开的方案目的端设备判断屏幕是否旋转的方式与权利要求1记载的方案判断屏幕是否旋转的方式是不同的。此外，对比文件2公开的方案目的端设备通过接收到屏幕方向改变信息判断出屏幕方向发生了改变，则获取当前的同屏图像数据的长宽比来调整同屏画面的显示。其调整的方式与权利要求1记载的方案对当前帧图像的数据进行旋转处理的方式是不同的。（3）对比文件2公开的方案有可能由于信息接收的延迟性导致屏幕旋转的延迟，从而会影响用户的观看体验。而权利要求1记载的方案能够保证屏幕旋转的实时性，避免了延迟旋转对用户的观看效果造成的影响。因此，权利要求1-16具备创造性。
提复审请求时新修改的权利要求1、9的内容如下：
“1. 一种直播信息的处理方法，应用于播放端，其特征在于，包括：
接收第一直播流信息，其中，所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息，所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记；
检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；
在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理；
其中，对所述当前帧图像的数据进行旋转处理包括：
基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；
按照所述旋转角度对所述当前帧图像的数据执行旋转处理”。
“9. 一种直播信息的处理装置，设置在播放端上，其特征在于，包括：
接收单元，用于接收第一直播流信息，其中，所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息，所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记；
检测单元，用于检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；
旋转单元，用于在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理；
其中，所述旋转单元具体用于：
基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；
按照所述旋转角度对所述当前帧图像的数据执行旋转处理。”
经形式审查合格，国家知识产权局于2018年08月01日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年01月23日向复审请求人发出复审通知书。该复审通知书中指出：权利要求1-16不具备专利法第22条第3款所规定的创造性。对于复审请求人的意见，合议组认为：（1）首先，对比文件1说明书第[0034]段公开了：在利用拍摄终端进行视频采集的过程中，传感器模块能够计算出拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度，并在编码头文件中加入视频图像的旋转角度。由上述内容可知，对比文件1中在拍摄时，获取的上述旋转角度，代表当时采集视频时的终端姿态，即采集方向。而不同之处仅仅在于，如何表示上述采集方向。对比文件1采用拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度表示，而本申请采用屏幕方向表示。对于本领域技术人员而言，无论是采用设备本身的方向、或设备上屏幕的方向，还是设备上摄像头的方向、甚至设备上传感器检测到的方向，只要能够准确表示当前采集方向，本领域技术人员可以根据需要选择上述表示方法中任意一种，其属于本领域技术人员的常用技术手段。（2）对比文件2中，目的端设备包括旋转控制单元，其用于接收源端的屏幕方向信息，当目的端接收到所述屏幕方向信息后判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示，即对比文件2提到了对屏幕方向变化的判断步骤，至于具体判断时，是通过将屏幕方向与预定采集方向进行比较还是通过设置其他标识进行判断，对于本领域的技术人员而言，均是容易可根据需要选择的常用技术手段。另外，对比文件2也是在判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示，即调整的方式相同，都是采用旋转图像的方式。至于对比文件2中公开的获取当前的同屏图像数据的长宽比来调整同屏画面的显示，其仅仅是对比文件2中一种优选实施例。（3）考虑在网络延迟的情况下，其实无论本申请，还是对比文件2，均有可能出现屏幕旋转的延迟。例如，对于本申请而言，在网络延迟的情况下，如果本申请中下一帧图像数据没有及时传输到播放端，那么播放端就无法及时解析出屏幕方向标记，因此同样无法及时判断出屏幕旋转，从而导致延迟。因此，本申请和对比文件2均受到网络延迟的影响。
复审请求人于2019年02月19日提交了意见陈述书，以及权利要求书全文修改替换页（包括全部权利要求第1-16项），在权利要求1中增加了技术特征“所述直播端的屏幕方向的标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向”、“其中，按照所述旋转角度对所述当前帧图像的数据执行旋转处理包括：将所述播放端的内存表示由所述预定采集方向对应的内存表示修改为所述当前采集方向对应的内存表示，并按照所述旋转角度对所述当前帧图像的帧内容进行调整”，对应修改权利要求9；在独立权利要求8中增加技术特征“所述直播端的屏幕方向标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向”，对应修改权利要求16。修改后的权利要求1、8、9、16的内容如下：
“1. 一种直播信息的处理方法，应用于播放端，其特征在于，包括：
接收第一直播流信息，其中，所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息，所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记，所述直播端的屏幕方向的标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向；
检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；
在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理；
其中，对所述当前帧图像的数据进行旋转处理包括：
基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；
按照所述旋转角度对所述当前帧图像的数据执行旋转处理；
其中，按照所述旋转角度对所述当前帧图像的数据执行旋转处理包括：将所述播放端的内存表示由所述预定采集方向对应的内存表示修改为所述当前采集方向对应的内存表示，并按照所述旋转角度对所述当前帧图像的帧内容进行调整。”
“8. 一种直播信息的处理方法，应用于直播端，其特征在于，包括：
采集当前帧图像；
获取所述当前帧图像的当前采集方向，其中，所述当前采集方向为所述直播端在采集所述当前帧图像时的屏幕方向；
基于所述当前帧图像的数据和用于表示所述当前采集方向的信息，生成第一直播流信息；
将所述第一直播流信息发送至播放端，其中，所述当前采集方向的信息用于所述播放端确定是否对所述当前帧图像的数据进行旋转处理；
其中，基于所述当前帧图像的数据和用于表示所述当前采集方向的信息，生成第一直播流信息包括：
确定用于表示所述当前采集方向的屏幕方向标记，其中，所述用于表示所述当前采集方向的信息包括所述屏幕方向标记，所述直播端的屏幕方向标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向；
将所述屏幕方向标记和所述当前帧图像的数据一并封装为所述第一直播流信息。”
“9. 一种直播信息的处理装置，设置在播放端上，其特征在于，包括：
接收单元，用于接收第一直播流信息，其中，所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息，所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括：所述直播端的屏幕方向的标记，所述直播端的屏幕方向的标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向；
检测单元，用于检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；
旋转单元，用于在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理；
其中，所述旋转单元具体用于：
基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度；
按照所述旋转角度对所述当前帧图像的数据执行旋转处理；
其中，所述旋转单元具体还用于：将所述播放端的内存表示由所述预定采集方向对应的内存表示修改为所述当前采集方向对应的内存表示，并按照所述旋转角度对所述当前帧图像的帧内容进行调整。”
“16. 一种直播信息的处理装置，设置在直播端上，其特征在于，包括：
采集单元，用于采集当前帧图像；
方向获取单元，用于获取所述当前帧图像的当前采集方向，其中，所述当前采集方向为所述直播端在采集所述当前帧图像时的屏幕方向；
生成单元，用于基于所述当前帧图像的数据和用于表示所述当前采集方向的信息，生成第一直播流信息；
发送单元，用于将所述第一直播流信息发送至播放端，其中，所述当前采集方向的信息用于所述播放端确定是否对所述当前帧图像的数据进行旋转处理；
其中，所述生成单元具体用于：
确定用于表示所述当前采集方向的屏幕方向标记，其中，所述用于表示所述当前采集方向的信息包括所述屏幕方向标记，所述直播端的屏幕方向标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向；
将所述屏幕方向标记和所述当前帧图像的数据一并封装为所述第一直播流信息。
复审请求人认为：（1）对比文件1公开的方案客户端按照解析到旋转角度旋转图像，并没有公开按照采集方向的变化修改内存表示。对比文件1公开的方案视频的拍摄终端获取的是终端相对于终端基准的旋转角度Al以及终端上摄像头相对于终端基准的旋转角度A2，计算出视频图像的旋转角度A3，将A3携带在码流中传输给客户端。对比文件2公开的方案由源端判断源端是否发生改变，传输给目的端的信息是源端屏幕方向改变信息。也就是说，对比文件2公开的方案只有在源端设备判断出源端屏幕方向发生变化时才会生成源端屏幕方向改变信息发送给目的端。对比文件1公开的方案结合对比文件2公开的方案只有在拍摄终端判断出视频图像发生改变时才会获取到Al和A2，才能够计算出A3携带在码流中。而并不容易联想到将采集每一帧当前帧图像时直播端的主控制键的方向携带在直播数据流中传输给播放端。而本申请记载的方案播放端接收到的第一直播流信息中携带了用于指示采集当前帧图像时直播端的主控制键的方向的直播端的屏幕方向的标记，节约了直播端判断屏幕是否改变以及计算屏幕方向改变信息的时间，能够提高直播流的传输效率。
（2）对比文件2公开的方案判断屏幕方向是否发生变化以及计算屏幕方向改变信息的过程均是在源端进行的。目的端设备只需使用屏幕方向改变信息旋转图像即可。结合对比文件1计算出视频图像的旋转角度A3，将A3携带在码流中传输给客户端。屏幕方向改变信息中携带的是图像的旋转角度，也就是旋转的方向和旋转的度数，目的端设备只是根据这些信息对图像进行相应的转动。而修改后的权利要求1记载的方案直播端发送的直播流信息中携带的是用于指示采集当前帧图像时直播端的主控制键的方向的直播端的屏幕方向的标记。由播放端判断屏幕方向是否变化，判断的方式是通过检测当前采集方向所指示的直播端的主控制键的方向与预定采集方向所指示的直播端的主控制键的方向是否一致。如果判断出不一致，播放端获取旋转角度的方式是基于当前采集方向所指示的直播端的主控制键的方向与预定采集方向所指示的直播端的主控制键的方向来确定旋转角度。直播端对当前帧图像的数据执行的旋转处理是按照采集方向的变化修改播放端的内存表示，并按照旋转角度对当前帧图像的帧内容进行调整。可见，本申请与对比文件2公开的方案目的端接收到的信息，确定屏幕方向是否变化的方式，确定屏幕方向变化时所执行的操作均不相同。本申请实现了图像帧级别的调整，能够提高直播时屏幕旋转的实时性。因此，权利要求1-16具备创造性。
在上述程序的基础上，合议组认为本案事实已经清楚，可以依法作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人在2019年02月19日提交了权利要求书的全文修改替换页（包括权利要求第1-16项）。经审查，上述修改符合专利法实施细则第61条第1款和专利法第33条的规定。本复审请求审查决定所依据的文本，为：申请日2016年09月26日提交的说明书摘要、说明书第1-30页、摘要附图、说明书附图第1-9页；2019年02月19日提交的权利要求第1-16项。
2、关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求请求保护的技术方案与作为最接近现有技术的对比文件相比存在多个区别技术特征，其中部分特征被其他对比文件公开且作用相同，其余部分区别技术特征为本领域的公知常识，则该项权利要求请求保护的技术方案不具备创造性。
本复审请求审查决定引用的对比文件与驳回决定和复审通知书引用的对比文件相同，即：
对比文件1：CN105227963A，公开日为2016年01月06日；
对比文件2：CN105068774A，公开日为2015年11月18日。
2.1、关于权利要求1-8的创造性
权利要求1请求保护一种直播信息的处理方法。对比文件1公开了一种对终端进行流媒体采集自动识别方向并调整的方法，并具体公开了如下内容（参见说明书第[0003-0037]、[0041-0073]、[0076]-[0083]段，附图1）：应用于客户端（相当于播放端）；在利用拍摄终端进行视频采集的过程中，传感器模块能够计算出拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度，并在编码头文件中加入视频图像的旋转角度；客户端从服务器获取视频图像码流（相当于第一直播流信息）；该码流包括视频帧编码数据和视频图像的旋转角度信息（相当于所述第一直播流信息包括在直播过程中采集的当前帧图像的数据和用于表示当前采集方向的信息），为带有旋转角度信息的码流；对码流进行解码，获得视频图像的旋转角度信息和视频流；对旋转角度信息进行解析，并将解析出的旋转角度信息及解码出的视频流一同发送至显示渲染模块；显示渲染模块能够根据该旋转角度对视频图像进行加速旋转处理（相当于对所述当前帧图像的数据进行旋转处理包括：按照所述旋转角度对所述当前帧图像的数据执行旋转处理），使视频图像正常显示。
权利要求1与对比文件1的区别技术特征为：①所述当前采集方向为直播端采集所述当前帧图像时的屏幕方向，所述用于表示当前采集方向的信息包括所述直播端的屏幕方向的标记，所述直播端的屏幕方向的标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向；②检测所述当前采集方向与预定采集方向是否一致，其中，所述预定采集方向为预先确定的直播端采集图像时的屏幕方向；在检测出所述当前采集方向与所述预定采集方向不一致的情况下，对所述当前帧图像的数据进行旋转处理；基于所述当前采集方向和所述预定采集方向确定所述当前帧图像的数据的旋转角度。其中，按照所述旋转角度对所述当前帧图像的数据执行旋转处理包括：将所述播放端的内存表示由所述预定采集方向对应的内存表示修改为所述当前采集方向对应的内存表示，并按照所述旋转角度对所述当前帧图像的帧内容进行调整。
基于上述区别技术特征，该权利要求实际解决的技术问题是：如何表示当前采集方向，以及如何根据上述采集方向进行视频图像调整和显示。
对于区别技术特征①，对比文件1（参见说明书第[0034]段）中已经公开了：传感器模块能够计算出在拍摄视频时，拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度，实质上该旋转角度代表当前的采集方向。本领域技术人员在对比文件1的基础上，容易想到利用各种方式来代表当前采集方向，无论是采用设备本身的方向、或设备上屏幕的方向，还是设备上摄像头的方向、甚至设备上传感器检测到的方向或者设备主控制键的方向，只要能够准确表示当前采集方向，本领域技术人员可以根据需要选择上述表示方法中任意一种，其属于本领域技术人员的常用技术手段。另外，在计算机领域，利用一程序变量标记上述方向，从而方便计算机进行数据处理也是本领域的常用技术手段。
对于上述区别技术特征②，对比文件2公开了一种基于WFD的影像分享方法（参见说明书第[0010]、[0020]、[0031-0032]、[0067]、[0074]、[0079]段，附图4、5）：源端的方向采集单元用于采集源端设备的屏幕方向信息，源端向目的端发送源端设备的屏幕方向信息（相当于当前屏幕方向），目的端设备包括旋转控制单元，其用于接收源端的屏幕方向信息，当目的端接收到所述屏幕方向信息后判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示；例如源端设备从横屏显示切换为竖屏显示，则目的端设备在接收到源端屏幕方向改变信息后，根据接收到同屏显示画面的长宽比，调整同屏画面的显示。可见，对比文件2中也公开了判断源端屏幕方向的变化，并根据源端屏幕方向的变化旋转目的端同屏画面的显示，因此给出了根据源端屏幕方向调整目的端屏幕所显示画面的方向的启示。在此基础上，本领域技术人员容易想到，在视频采集时，同样根据采集端屏幕方向调整播放端屏幕的显示画面的方向。另外，对比文件2中也公开了当目的端接收到所述屏幕方向信息后判断源端发生旋转。即对比文件2提到了对屏幕方向变化的判断步骤，至于具体判断时，是通过将屏幕方向与预定采集方向进行比较还是通过设置其他标识进行判断，对于本领域的技术人员而言，均是可根据需要选择的常用技术手段。再者，在计算机领域，进行图像旋转计算时，通常需要将图像数据加载到内存中，然后进行旋转计算，相当于对内存中的图像进行旋转表示，这种对于内存进行旋转表示的操作属于本领域的公知常识。
因此，在对比文件1的基础上结合对比文件2和本领域的常用技术手段得到该权利要求的技术方案对于本领域技术人员来说是显而易见的。因此，权利要求1不具有突出的实质性特点，不具备专利法第22条第3款所规定的创造性。
权利要求2-3是权利要求的从属权利要求，其附加技术特征限定了在第二直播流信息中获取起始帧图像的采集方向的方法。然而，在视频直播开始时，在首帧加入初始采集方向信息，并作为预定采集方向，是视频直播领域常见的技术手段。因此，当其引用的权利要求不具备创造性时，该权利要求也不具备专利法第22条第3款所规定的创造性。
权利要求4是权利要求1的从属权利要求，对于其附加技术特征，参见权利要求1的评述可知，在计算机领域，利用一程序变量标记屏幕方向，并根据标记与屏幕方向的对应关系确定所对应的当前采集方向，从而方便计算机进行数据处理是本领域的常用技术手段。因此，当其引用的权利要求不具备创造性时，该权利要求也不具备专利法第22条第3款所规定的创造性。
权利要求5是权利要求4的从属权利要求，其附加技术特征限定了屏幕方向的具体指定规则。然而，屏幕竖屏且主控制键在下的方向、屏幕竖屏且主控制键在上的方向、屏幕横屏且主控制键在右的方向、以及屏幕横屏且主控制键在左的方向是用户操作手机时，常见的握持方向，指定该些方向作为预定义的屏幕方向，是本领域技术人员容易想到的常用技术手段。因此，当其引用的权利要求不具备创造性时，该权利要求也不具备专利法第22条第3款所规定的创造性。
权利要求6是权利要求1的从属权利要求。对于其附加技术特征，对比文件2公开了（参见说明书第[0067]段，附图4）：源端设备从横屏显示切换为竖屏显示，则目的端设备在接受到源端屏幕方向改变信息后，根据接收到同屏显示画面的长宽比（相当于旋转后的当前帧图像的宽高信息），调整同屏画面的显示；相应调整显示比例（参见附图4），在目的端的屏幕上添加填充像素（参见附图4），以使当前帧图像适配目的端的屏幕。因此，当其引用的权利要求不具备创造性时，该权利要求也不具备专利法第22条第3款所规定的创造性。
权利要求7是权利要求1的从属权利要求，对于其附加技术特征，为了改善显示效果，对方向调整后采用平滑过渡的显示方式，属于视频显示领域的常用技术手段。因此，当其引用的权利要求不具备创造性时，该权利要求也不具备专利法第22条第3款所规定的创造性。
权利要求8请求保护一种直播信息的处理方法，对比文件1公开了一种对终端进行流媒体采集自动识别方向并调整的方法，并具体公开了如下内容（参见说明书第[0003-0037]、[0041-0073]、[0076]-[0083]段，附图1）：应用于拍摄终端（相当于直播端）；在利用拍摄终端进行视频采集的过程中（相当于采集当前帧图像），传感器模块能够计算出拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度（相当于获取所述当前帧图像的当前采集方向），并在编码头文件中加入视频图像的旋转角度；对视频信息进行上传编码（相当于基于所述当前帧图像的数据和用于表示所述当前采集方向的信息，生成第一直播流信息）；将编码后的视频码流发送到客户端（相当于将所述第一直播流信息发送至播放端）；所述码流包括视频帧编码数据和视频图像的旋转角度信息，为带有旋转角度信息的码流；对码流进行解码，获得视频图像的旋转角度信息和视频流；对旋转角度信息进行解析，并将解析出的旋转角度信息及解码出的视频流一同发送至显示渲染模块；显示渲染模块能够根据该旋转角度对视频图像进行加速旋转处理（相当于对所述当前帧图像的数据进行旋转处理包括：按照所述旋转角度对所述当前帧图像的数据执行旋转处理），使视频图像正常显示。
权利要求8与对比文件1的区别技术特征为：①所述当前采集方向为所述直播端在采集所述当前帧图像时的屏幕方向；确定用于表示所述当前采集方向的屏幕方向标记，其中，所述用于表示所述当前采集方向的信息包括所述屏幕方向标记；所述直播端的屏幕方向标记用于指示采集所述当前帧图像时所述直播端的主控制键的方向；将所述屏幕方向标记和所述当前帧图像的数据一并封装为所述第一直播流信息；②所述当前采集方向的信息用于所述播放端确定是否对所述当前帧图像的数据进行旋转处理。
基于上述区别技术特征，该权利要求实际解决的技术问题是：如何表示当前采集方向，以及如何根据上述采集方向进行视频图像调整和显示。
对于区别技术特征①，对比文件1中已经提到了同上：传感器模块能够计算出在拍摄视频时，拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度，实质上该旋转角度代表当前的采集方向。而本申请权利要求8是采用屏幕方向代表当前采集方向。本领域技术人员在对比文件1的基础上，容易想到利用各种方式来代表当前采集方向，无论是采用设备本身的方向、或设备上屏幕的方向，还是设备上摄像头的方向、甚至设备上传感器检测到的方向或者设备主控制键的方向，只要能够准确表示当前采集方向，本领域技术人员可以根据需要选择上述表示方法中任意一种，其属于本领域技术人员的常用技术手段。其次，在计算机领域，利用一程序变量标记上述方向，从而方便计算机进行数据处理也是本领域的常用技术手段。另外，在对比文件1中将旋转角度信息是视频图像信息编码为视频流的基础上，本领域技术人员容易想到将上述标记和当前帧图像的数据一并封装为所述第一直播流信息。
对于上述区别技术特征②，对比文件2公开了一种基于WFD的影像分享方法（参见说明书第[0010]、[0020]、[0031-0032]、[0067]、[0074]、[0079]段，附图4、5）：源端的方向采集单元用于采集源端设备的屏幕方向信息，源端向目的端发送源端设备的屏幕方向信息（相当于当前屏幕方向），目的端设备包括旋转控制单元，其用于接收源端的屏幕方向信息，当目的端接收到所述屏幕方向信息后判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示；例如源端设备从横屏显示切换为竖屏显示，则目的端设备在接受到源端屏幕方向改变信息后，根据接收到同屏显示画面的长宽比，调整同屏画面的显示。可见，对比文件2中也公开了判断源端屏幕方向的变化，并根据源端屏幕方向的变化信息旋转目的端同屏画面的显示，因此给出了根据源端屏幕方向调整目的端屏幕所显示画面的方向的启示。在此基础上，本领域技术人员容易想到，在视频采集时，同样根据源端采集方向调整播放端屏幕的显示画面的方向。
因此，在对比文件1的基础上结合对比文件2和本领域的常用技术手段得到该权利要求的技术方案对于本领域的技术人员来说是显而易见的。因此，该权利要求不具有突出的实质性特点，不具备专利法第22条第3款所规定的创造性。
2.2、关于权利要求9-16的创造性
权利要求9-16是分别与权利要求1-8的方法对应的装置，基于权利要求1-8的评述理由，权利要求9-16也不具备专利法第22条第3款所规定的创造性。
3、对复审请求人相关意见的评述
合议组认为：（1）首先，在计算机领域，进行图像旋转计算时，通常需要将图像数据加载到内存中，然后进行旋转计算，相当于对内存中的图像进行旋转表示。其次，对比文件1中的方案中，视频的拍摄终端计算出视频图像的旋转角度A3，在编码时，每帧码流中都加入旋转信息A3（参见说明书第[0081]-[0083]段），并将A3携带在码流中传输给客户端，即对比文件1中，对于旋转信息可以携带在每帧码流中，如此，对于主播端屏幕随意旋转、实时变化，都能在播放端实时反映出来，能够提高播放端的实时性。另外，由于对比文件2中能够检测到屏幕方向变化信息，将源端屏幕方向改变信息传输给目的端，结合对比文件1和2，本领域技术人员容易想到，将源端屏幕方向改变信息加入每帧码流中，传输到播放端用于在每一帧中实时指示屏幕方向变化情况。
（2）对比文件2中说明书第 [0067]、[0079]段公开了：目的端设备包括旋转控制单元，所属旋转控制单元203用于接收到源端的屏幕方向信息，并当根据接收到的屏幕信息判断源端发生旋转时，目的端将接收到的同屏图像旋转对应的角度后显示。可见，对比文件2中同样是可以在目的端，即播放端进行屏幕旋转方向判断的；而不仅仅是在源端进行判断。对于本申请采用直播端的主控制键的方向指示当前采集方向，对比文件1采用拍摄终端本身及拍摄终端上的摄像头相对于终端基准的旋转角度表示，对于本领域技术人员而言，无论是采用设备本身的方向、或设备上屏幕的方向，还是设备上摄像头的方向、甚至设备上传感器检测到的方向或者设备主控制键的方向，只要能够准确表示当前采集方向，本领域技术人员可以根据需要选择上述表示方法中任意一种，其属于本领域技术人员的常用技术手段。
综上，合议组对于复审请求人陈述的意见不予支持。
在上述工作的基础上，合议组依法作出如下复审请求审查决定。
三、决定
维持国家知识产权局于2018年04月09日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本复审请求审查决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
