发明创造名称：CTR预估的方法、装置、设备及计算机可读介质
外观设计名称：
决定号：182458
决定日：2019-06-25
委内编号：1F270792
优先权日：
申请（专利）号：201711288753.7
申请日：2017-12-07
复审请求人：百度在线网络技术（北京）有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：王艳坤
合议组组长：李燕东
参审员：史江峰
国际分类号：G06N3/04;G06N3/08
外观设计分类号：
法律依据：专利法第25条第1款第2项
决定要点：如果一项权利要求在对其进行限定的全部内容中既包括智力活动的规则和方法，又包含技术特征，则该权利要求就整体而言不是一种智力活动的规则和方法。
全文：
本复审请求涉及申请号为201711288753.7，名称为“CTR预估的方法、装置、设备及计算机可读介质”的发明专利申请（下称本申请）。本申请的申请人为百度在线网络技术（北京）有限公司，申请日为2017年12月07日，公开日为2018年05月15日。
经实质审查，国家知识产权局原审查部门于2018年11月01日发出驳回决定，驳回了本申请，其理由是：权利要求1-10属于专利法第25条第1款第2项规定的不授予专利权的客体。驳回决定所依据的文本为：申请日2017年12月07日提交的权利要求1-10项、说明书第1-121段、说明书附图图1-9、说明书摘要及摘要附图 。驳回决定所针对的权利要求书如下：
“1. 一种CTR预估的方法，其特征在于，包括
原始特征训练步骤：将当前对象的原始特征处理后输入至深度神经网络的输入层，由所述深度神经网络的多个隐含层进行训练；
实时特征训练步骤：将当前对象的实时特征输入至所述深度神经网络的最后一个隐含层，与原始特征进行联合训练；
预估点击率输出步骤：通过所述深度神经网络的输出层输出当前对象的预估点击率。
2. 根据权利要求1所述的CTR预估的方法，其特征在于，所述原始特征训练步骤中具体包括：
对连续的原始特征进行离散化处理；
将离散化处理后的特征进行嵌入式处理形成特征向量；
将特征向量输入所述深度神经网络模型的输入层。
3. 根据权利要求1所述的CTR预估的方法，其特征在于，所述实时特征训练步骤具体为：将实时特征直接输入至所述深度神经网络的最后一个隐含层。
4. 根据权利要求1所述的CTR预估的方法，其特征在于，所述实时特征训练步骤具体包括：
构建包含至少一层隐含层的浅层神经网络；
将实时特征输入至所述浅层神经网络的输入层；
通过所述浅层神经网络的输出层将结果输出至所述深度神经网络的最后一个隐含层。
5. 一种CTR预估的装置，其特征在于，包括：
原始特征训练模块，用于将当前对象的原始特征处理后输入至深度神经网络的输入层，由所述深度神经网络的多个隐含层进行训练；
实时特征训练模块，用于将当前对象的实时特征处理后输入至所述深度神经网络的最后一个隐含层，与原始特征进行联合训练；
预估点击率输出模块，用于通过所述深度神经网络的输出层输出当前对象的预估点击率。
6. 根据权利要求5所述CTR预估的方法，其特征在于，所述原始特征训练模块具体包括：
离散化处理子模块，用于对连续的原始特征进行离散化处理；
向量化处理子模块，用于将离散化处理后的特征进行嵌入式处理后形成特征向量；
特征输入子模块，将特征向量输入所述深度神经网络模型。
7. 根据权利要求5所述CTR预估的方法，其特征在于，所述实时特征训练模块具体用于将实时特征直接输入至所述深度神经网络的最后一个隐含层。
8. 根据权利要求5所述CTR预估的方法，其特征在于，所述实时特征训练模块具体包括：
构建子模块，用于构建包含至少一层隐含层的浅层神经网络；
输入子模块，用于将实时特征输入至所述浅层神经网络的输入层；
输出子模块，用于通过所述浅层神经网络的输出层将结果输出至所述深度神经网络的最后一个隐含层。
9. 一种CTR预估的设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-4中任一所述的CTR预估的方法。
10. 一种计算机可读介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的CTR预估的方法。”
驳回决定的主要理由为：权利要求1要求保护一种CTR预估的方法，所采用的方案是采用神经网络训练原始特征，仅仅是对神经网络的训练过程，没有应用到技术领域，因而权利要求要保护的对象仅仅是一种数学运算方法，属于人为制定和调整的算法规则，属于专利法第25条第1款（二）的智力活动的规则和方法，不能被授予专利权。权利要求2-4的附加技术特征是从算法本身对权利要求1进行进一步的限定，仍然不包括任何技术特征，属于专利法第25条第1款第（2）项规定的不授予专利权的客体。权利要求5要求保护一种CTR预估的装置，对其进行限定的装置仅仅涉及到实现的算法对应的装置，本质上仍然属于智力活动的规则和方法，属于专利法第25条第1款第（2）项规定的不授予专利权的客体。权利要求6-8的附加技术特征是从算法本身对权利要求5进行进一步的限定，仍然不包括任何技术特征，属于专利法第25条第1款第（2）项规定的不授予专利权的客体。基于上述相同的理由，权利要求9-10也属于专利法第25条第1款第（2）项规定的不授予专利权的客体。
申请人（下称复审请求人）对上述驳回决定不服,于2019年01月10日向国家知识产权局提出了复审请求，未对权利要求书进行任何修改。复审请求人认为：权利要求1请求保护的方案涉及对推送技术进行改进以使得推送结果或者相关信息得到更好的展现，从而改进网络信息的推广。权利要求1的前序部分所述，权利要求1涉及“一种CTR预估的方法”，其中，CTR代表信息流推荐点击率，也就是说，权利要求1是针对信息流推荐平台提出的技术方案，通过对信息流推荐点击率的预估来决定是否要推送该信息流产品以及如何将该信息流产品与其他信息流产品进行排序等。如本申请背景技术所述描述的那样，现有技术将实时特征与其他特征向量同时作为深层神经网络的输入进行模型训练，经过深度模型的学习，实时特征与原始特征又多重组合，且组合情况不可读，不受设计者控制，实时特征的作用被削弱，降低了对信息流推荐点击率预估的准确率。为了解决上述问题，权利要求1提出的方案包括将当前对象的原始特征处理会输入至深度神经网络的输入层，由所述深度神经网络的多个隐含层进行训练；将当前对象的实时特征输入至所述深度神经网络的最后一个隐含层，与原始特征进行联合训练。也就是说，本申请并未将实时特征与原始特征同时作为深度神经网络的输入，而是仅将实时特征输入至深度神经网络的最后一个隐含层，从而避免了实时特征与原始特征有多重组合，且组合情况不可读，不受设计者控制，实时特征的作用被削弱的问题。并且达到的效果：提高了信息流推荐点击率预估的准确率。此外，本申请权利要求1中明确记载“将当前对象的原始特征处理”、“将当前对象的实时特征输入”、“输出当前对象的预估点击率”等技术特征，不属于专利法第25条规定的不授予专利权的范围。
经形式审查合格，国家知识产权局于2019年01月16日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为，1）权利要求1明确记载的：“将当前对象的原始特征处理”、“将当前对象的实时特征输入”、“输出当前对象的预估点击率”，其中并未将当前对象、实时特征等与点击率联系起来，而当前对象、实时特征等可以用于各个领域，因此是一种数学运算方法，属于人为指定和调整的算法规则。2）虽然说明书中记载了“所述当前对象可以为：文档、新闻资讯、视频、音乐等等”、“原始特征包括：资讯的内容关键词、所属领域、标签等”、“实时特征可以包括：当前时间段中用户的点击数量、当前时间段历史用户的活跃度等”，但是在本申请的权利要求中也并未明确限定上述技术特征，根据专利法第五十九条规定，发明专利权的保护范围以其权利要求的内容为准。因此申请人不得将未限定在权利要求书中的内容作为声称其不属于专利法第25条第1款（二）的智力活动的规则和方法的理由。3）说明书可以用于解释权利要求，但是并不能扩大权利要求的保护范围，权利要求的保护范围以其权利要求的内容为准。因此申请人提出的“所述当前对象可以为：文档、新闻资讯、视频、音乐等等”、“原始特征包括：资讯的内容关键词、所属领域、标签等”、“实时特征可以包括：当前时间段中用户的点击数量、当前时间段历史用户的活跃度等”上述技术特征可以用于解释权利要求，但是并不能作为其不属于专利法第25条第1款（二）的智力活动的规则和方法的理由。综上所述，申请人的陈述的理由不成立。因而坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
1.审查文本的认定
复审请求人在提交复审请求时未对权利要求书进行任何修改，本复审决定所依据的审查文本为：申请日2017年12月07日提交的权利要求1-10项、说明书第1-121段、说明书附图图1-9、说明书摘要及摘要附图。
2.关于专利法第25条第1款第2项
智力活动的规则和方法不授予专利权。
如果一项权利要求在对其进行限定的全部内容中既包括智力活动的规则和方法，又包含技术特征，则该权利要求就整体而言不是一种智力活动的规则和方法。
2.1.权利要求1要求一种CTR预估的方法。所述CTR即是信息流推荐点击率，是指在信息流推荐平台根据用户兴趣习惯等，预估用户对所推荐的内容的点击率。当前CTR估计方法应用于信息推荐领域，其用于解决现有技术中将实时特征与其他特征向量同时作为深层神经网络的输入进行模型训练，经过深度模型的学习，实时特征与原始特征又多重组合，且组合情况不可读，不受设计者控制，实时特征的作用被削弱，降低了对信息流推荐点击率预估的准确率的技术问题。
权利要求1所述的方案包括：将当前对象的原始特征处理后输入至深度神经网络的输入层，由所述深度神经网络的多个隐含层进行训练；将当前对象的实时特征输入至所述深度神经网络的最后一个隐含层，与原始特征进行联合训练；通过所述深度神经网络的输出层输出当前对象的预估点击率。由于本申请应用于具体技术领域，即信息推荐领域，因此可知深度神经网络所处理的数据，如当前对象应为所推荐的内容，因此当前对象的原始特征和当前对象的实时特征是具有技术性的并且应当理解为相关技术领域中通常具有的含义，上述技术性数据通过分别输入到深度神经网络不同层而与深度神经网络相互作用以输出当前对象的预估点击率。因此，权利要求1的方案采用了对具有技术性数据的进行处理的诸如输入、训练、输出的技术手段。
关于获得的效果，本申请方案提高了信息流推荐点击率预估的准确率，属于专利法意义上的技术效果。
因此，尽管权利要求1中涉及到的深度神经网络属于一种算法，属于智力活动的规则和方法，但是将深度神经网络应用信息推荐领域，并形成基于此算法的解决方案，该解决方案采用了技术手段，解决了技术问题并获得了技术效果，因此，权利要求1整体而言，不属于智力活动的规则和方法，不属于专利法第25条第1款第2项规定的不授予专利权的情形。
2.2.关于权利要求2-4，基于相同的理由，权利要求2-4不属于智力活动的规则和方法，不属于专利法第25条第1款第2项规定的不授予专利权的情形。
2.3.权利要求5-8要求一种CRT预估的装置，其作为产品权利要求与作为方法权利要求的权利要求1-4相对应。基于权利要求1-4不属于智力活动的规则和方法的相同理由，权利要求5-8不属于专利法第25条第1款第2项规定的不授予专利权的情形。
2.4.权利要求9要求一种CTR预估的设备，权利要求10要求一种计算机可读介质。基于权利要求1-4不属于智力活动的规则和方法，权利要求9-10也不属于专利法第25条第1款第2项规定的不授予专利权的情形。
3.关于驳回和前置审查意见
合议组认为：如权利要求1所述，其要求一种CTR预估的方法，所述CTR即是信息流推荐点击率，是指在信息流推荐平台根据用户兴趣习惯等，预估用户对所推荐的内容的点击率。当前CTR估计方法应用于信息推荐领域。其用于解决现有技术中将实时特征与其他特征向量同时作为深层神经网络的输入进行模型训练，经过深度模型的学习，实时特征与原始特征又多重组合，且组合情况不可读，不受设计者控制，实时特征的作用被削弱，降低了对信息流推荐点击率预估的准确率的技术问题。权利要求1所述的方案包括：将当前对象的原始特征处理后输入至深度神经网络的输入层，由所述深度神经网络的多个隐含层进行训练；将当前对象的实时特征输入至所述深度神经网络的最后一个隐含层，与原始特征进行联合训练；通过所述深度神经网络的输出层输出当前对象的预估点击率。由于本申请应用于具体技术领域，因此可知深度神经网络所处理的数据，如当前对象应为所推荐的内容，因此当前对象的原始特征和当前对象的实时特征是具有技术性的并且应当理解为相关技术领域中通常具有的含义，具有技术性含义的当前对象的原始/实时特征通过与深度神经网络的交互作用而输出当前对象的预估点击率。因此，权利要求1的方案采用对具有技术性数据的进行处理的诸如输入、训练、输出的技术手段。获得的效果：提高了信息流推荐点击率预估的准确率，属于专利法意义上的技术效果。因此，尽管权利要求1中涉及到的深度神经网络属于一种算法，属于智力活动的规则和方法，但是将深度神经网络应用信息推荐领域，并形成基于此算法的解决方案，权利要求1要求的方案采用了技术手段，解决了技术问题并获得了技术效果，权利要求1就整体而言不属于智力活动的规则和方法。
至于本申请是否符合专利法及其实施细则的其他规定，有待于后续程序进一步审理。
三、决定
撤销国家知识产权局于2018年11月01日对本申请作出的驳回决定。由国家知识产权局原审查部门在申请日2017年12月07日提交的权利要求1-10项、说明书第1-121段、说明书附图图1-9、说明书摘要及摘要附图的基础上对本申请继续进行审查。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
