发明创造名称：一种基于网络搜索的风控模型参数优化方法
外观设计名称：
决定号：194283
决定日：2019-11-01
委内编号：1F267638
优先权日：
申请（专利）号：201711311720.X
申请日：2017-12-11
复审请求人：四川新网银行股份有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：王艳坤
合议组组长：李燕东
参审员：史江峰
国际分类号：G06N99/00;G06Q10/06
外观设计分类号：
法律依据：专利法第2条第2款
决定要点：如果一项权利要求实质上是一种算法数学模型，未与具体的应用领域相结合，解决的问题也不是技术问题，也没有采用技术手段，获得的效果也不是技术效果，则该项权利要求不属于专利法意义上的技术方案。
全文：
本复审请求涉及申请号为201711311720.X，名称为“一种基于网络搜索的风控模型参数优化方法”的发明专利申请（下称本申请）。本申请的申请人为四川新网银行股份有限公司，申请日为2017年12月11日，公开日为2018年04月13日。
经实质审查，国家知识产权局原审查部门于2018年10月24日发出驳回决定，驳回了本申请，其理由是：权利要求1不符合专利法第2条第2款的规定。驳回决定所依据的文本为：2018年07月09日提交的权利要求第1项；申请日2017年12月11日提交的说明书第1-49段、说明书摘要。驳回决定所针对的权利要求书如下：
“1. 一种基于网络搜索的风控模型参数优化方法，其特征在于：包括以下步骤：
步骤1：确定风控模型待搜索的参数；
步骤2：设定参数停止搜索规则，对各个参数分别进行网格搜索，当该参数的待评估值满足停止规则，则停止搜索，否则继续搜索其余待评估值；
步骤3：每进行一次网格搜索产生一组参数组合，对所述参数组合进行交叉验证，得到评估指数，所述评估指数中最大值所对应的参数为最优模型参数；
所述停止搜索规则如下：首先设定参数的搜索步长、停止轮数和停止阈值；当该参数的待评估值在所述停止轮数内的评估指数的变化均小于所述停止阈值，则停止该参数的搜索，否则继续。
所述获取评估指数的公式如下：
其中，Index为评估指数，Aucvolid为交叉验证所得到的验证集值的Auc，Auctrain为交叉验证所得到的训练集的Auc值。”
驳回决定的主要理由：权利要求1除了主题名称外，其特征部分实质上是模型参数的优化方法，在原有的网格搜索基础上设置停止搜索规则以及评估指数的设定从而节约搜索时间成本，提升模型的稳健性；即该权利要求的改进之处仍然是对算法模型的改进。权利要求的方案中对各个参数分别进行网格搜索，并未限定哪些具体的参数，没有限定算法参数在技术问题中所体现的物理含义，即没有形成具有技术意义的技术方案，也没有提及该算法能够用于解决何种实际的技术问题，以及也没有体现出运用该算法后能够带为解决技术问题带来何种技术效果。因此，权利要求1保护的内容不构成技术方案，不属于专利保护的客体，不符合专利法第2条第2款的规定。
申请人（下称复审请求人）对上述驳回决定不服,于2018年12月03日向国家知识产权局提出了复审请求，同时修改了权利要求书，所述修改涉及根据说明书具体实施例对权利要求进行了修改。复审请求人认为：首先本申请实际要解决的计算问题是：基于能够衡量训练集与验证集上的效果变化情况的新评估指数，利用该评估指数能够考虑到验证集与训练集评估效果差距过大问题，提升模型的稳健性。从而能够有效节约参数搜索的时间成本，提高资源利用率。从技术角度，本领域技术人员应当得知在计算机技术领域提高执行效率，节约时间成本，提高资源利用率，这些均为技术问题，均需技术手段才能实现，通过普通的人为管理是无法达到该目的。背景技术中从技术角度详细的分析了传统的搜索参数网格的做法将极大地增加时间成本与资源成本的原因（参见背景技术第二段），而本申请说明书中（参加有益效果第一段）从技术角度详细分析了本申请如何实现“有效节约参数搜索的时间成本，提高资源利用率”。本申请相对于现有技术上的技术方案上的改进参见说明书有益效果部分：“本发明在搜索过程中有选择地尝试候选参数组合（改进方案），而不是简单遍历所有参数组合（现有技术）；通过设置停止搜索规则，针对每个参数，如果搜索一定步长后模型效果没有明显提升，将停止该参数候选值的搜索，以得到历史最优效果的候选值作为该参数的最终值。复审请求时新修改的权利要求书如下：
“1. 一种基于网络搜索的风控模型参数优化方法，其特征在于：包括以下步骤：
步骤1：确定风控模型待搜索的参数；
Xgboost模型待搜索的参数如下：
1)eta，迭代步长；其取值范围为[0,1]；
2)min_child_weight，子节点最小样本权重和；其取值范围为[0,∞]；
3)max_depth，树的最大深度；其取值范围为[1,∞]；
4)subsample，用于训练模型的子样本占整个样本集合的比例；其取值范围为(0,1]；
步骤2：设定参数停止搜索规则，对各个参数分别进行网格搜索，所述停止搜索规则如下：首先设定参数的搜索步长、停止轮数和停止阈值；当该参数的待评估值在所述停止轮数内的评估指数的变化均小于所述停止阈值，则停止该参数的搜索，否则继续；
令搜索步长为α，停止轮数为m，停止阈值为ε，则设置如下：
1)eta：αeta＝0.02，m＝20，ε＝0.001，搜索范围为[0,1]；
2)min_child_weight：αmin_child_weight＝1，m＝20，ε＝0.001，搜索范围为[0,50]；
3)max_depth：αmax_depth＝1，m＝20，ε＝0.001，搜索范围为[1,50]；
4)subsample：αsubsample＝0.02，m＝20，ε＝0.001，搜索范围为(0,1]；
步骤3：每进行一次网格搜索产生一组参数组合，对所述参数组合进行交叉验证，得到评估指数，所述评估指数中最大值所对应的参数为最优模型参数；
所述获取评估指数的公式如下：
其中，Index为评估指数，Aucvalid为交叉验证所得到的验证集值的Auc，Auctrain为交叉验证所得到的训练集的Auc值；
设参数组合为：P(eta,min_child_weight,max_depth,subsample)
进行网格搜索后，得到如下待评估参数组合：
P1(0,0,1,0)，P2(0.02,0,1,0)，P3(0.04,0,1,0)，P4(0.06,0,1,0)，…，PN(1,50,50,1)；
其中，N为参数组合的个数；
对上述参数组合进行交叉验证，得到各个参数组合的评估指数，最大的评估指数对应的参数为最优模型参数。”
经形式审查合格，国家知识产权局于2018年12月19日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为，（1）本申请采用的手段是在原有的网格搜索基础上设置停止搜索规则以及评估指数的设定从而优化参数，以解决参数搜索时间长、资源利用率低的问题。上述问题是否是技术问题取决于采用的手段是否为技术手段；上述采用的手段是人为规定的判断和设定规则，不构成采用自然规律的技术手段；其解决的模型稳健性差、搜索时间长等问题亦不是技术问题。（2）说明书第16段记载了通过“尝试候选参数组合、设置停止搜索规则”手段从而节约参数搜索的时间成本、提高资源利用率；然而上述手段如组合参数、搜索范围和变量的取值、设定停止阈值均取决于人的主观意愿，利用的并不是符合自然规律的技术手段。最终达到的效果是减少模型的参数搜索时间、提高模型的稳健性，实质上是对该模型的改进，不构成技术效果。因而坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年06月24日向复审请求人发出复审通知书，指出：权利要求1不符合专利法第2条第2款的规定。复审通知书的主要理由：风控模型本身实质上是一种数学模型，风控模型参数优化实质上就是对数学模型参数的优化。就本申请而言，其解决的问题为：如何解决对采用网格搜索和交叉验证进行最优模型选择时时间和资源成本高，稳定性差的问题。上述问题实质上是一种数学模型参数优化的问题，也就是说属于数学模型算法改进问题，不属于专利法意义上的技术问题。在解决该问题的过程中，其通过设置参数停止搜索规则来解决参数搜索的时间成本，提高资源的利用率，通过构建能够衡量训练集与验证集上的效果变化情况的新的评估指数来提升模型的稳健性。本申请所要求的基于网络搜索的风控模型参数优化方法，没有应用于某一具体的技术领域并形成基于该数学模型算法的解决方案。上述数学模型参数优化过程所涉及数据属于数学模型通用数据，不具有技术性。且通过人为设定参数停止搜索规则和构建新的评估指数的过程，属于数学模型算法运算过程，也不属于专利法意义上的技术手段。对于本申请所获得的效果而言，属于数学模型算法运算的效果，不属于专利法意义上的技术效果。
复审请求人于2019年07月29日提交了意见陈述书，但未修改申请文件。复审请求人认为：本申请在搜索过程中有选择的尝试候选参数组合，而不是简单遍历所有参数组合，通过设置停止搜索规则，针对每个参数，如果搜索一定步长后模型效果没有显著提升，将停止该参数候选值的搜索，以得到历史最优效果的候选值作为该参数的最终值，所以能够有效节约参数搜索的时间成本，提高资源利用率。本申请是对方法的改进，对方法的改进其特点是对步骤的改进，但是这些步骤目的不是计算过程或者计算数值步骤的改进。该方法的改进的目的不是为了具体求解某个值，而是从技术数据中选择符合要求的技术数据。其本质上是对外部技术数据的处理方法的优化，符合专利法第2条第2款的规定。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
1.审查文本的认定
复审请求人在答复复审通知书时未对申请文件进行任何修改，本复审决定的审查文本基础为：2018年12月03日提交的权利要求第1项；申请日2017年12月11日提交的说明书第1-49段、说明书摘要。
2. 专利法第2条第2款规定：发明，是指对产品、方法或者其改进所提出的新的技术方案。
如果一项权利要求实质上是一种算法数学模型，未与具体的应用领域相结合，解决的问题也不是技术问题，也没有采用技术手段，获得的效果也不是技术效果，则该项权利要求不属于专利法意义上的技术方案。
2.1. 权利要求1不符合专利法第2条第2款的规定，不属于专利法保护的客体。权利要求1请求保护一种基于网络搜索的风控模型参数优化方法，其包括步骤1：确定风控模型待搜索的参数； Xgboost模型待搜索的参数如下：1)eta，迭代步长；其取值范围为[0,1]；2)min_child_weight，子节点最小样本权重和；其取值范围为[0,∞]； 3)max_depth，树的最大深度；其取值范围为[1,∞]； 4)subsample，用于训练模型的子样本占整个样本集合的比例；其取值范围为(0,1]； 步骤2：设定参数停止搜索规则，对各个参数分别进行网格搜索，所述停止搜索规则如下：首先设定参数的搜索步长、停止轮数和停止阈值；当该参数的待评估值在所述停止轮数内的评估指数的变化均小于所述停止阈值，则停止该参数的搜索，否则继续； 令搜索步长为α，停止轮数为m，停止阈值为ε，则设置如下： 1)eta：αeta＝0.02，m＝20，ε＝0.001，搜索范围为[0,1]； 2)min_child_weight：αmin_child_weight＝1，m＝20，ε＝0.001，搜索范围为[0,50]； 3)max_depth：αmax_depth＝1，m＝20，ε＝0.001，搜索范围为[1,50]； 4)subsample：αsubsample＝0.02，m＝20，ε＝0.001，搜索范围为(0,1]； 步骤3：每进行一次网格搜索产生一组参数组合，对所述参数组合进行交叉验证，得到评估指数，所述评估指数中最大值所对应的参数为最优模型参数； 所述获取评估指数的公式如下： 其中，Index为评估指数，Aucvalid为交叉验证所得到的验证集值的Auc，Auctrain为交叉验证所得到的训练集的Auc值； 设参数组合为：P(eta,min_child_weight,max_depth,subsample) 进行网格搜索后，得到如下待评估参数组合： P1(0,0,1,0)，P2(0.02,0,1,0)，P3(0.04,0,1,0)，P4(0.06,0,1,0)，…，PN(1,50,50,1)；其中，N为参数组合的个数； 对上述参数组合进行交叉验证，得到各个参数组合的评估指数，最大的评估指数对应的参数为最优模型参数。
关于权利要求1，风控模型本身实质上是一种数学模型，风控模型参数优化实质上就是对数学模型参数的优化。就本申请而言，其解决的问题为：如何解决对采用网格搜索和交叉验证进行最优模型选择时时间和资源成本高，稳定性差的问题。上述问题实质上是一种数学模型参数优化的问题，也就是说属于数学模型算法改进问题，不属于专利法意义上的技术问题。
在解决该问题的过程中，其通过设置参数停止搜索规则来解决参数搜索的时间成本，提高资源的利用率，通过构建能够衡量训练集与验证集上的效果变化情况的新的评估指数来提升模型的稳健性。本申请所要求的基于网络搜索的风控模型参数优化方法，没有应用于某一具体的技术领域并形成基于该数学模型算法的解决方案。上述数学模型参数优化过程所涉及数据属于数学模型通用数据，不具有技术性。且通过人为设定参数停止搜索规则和构建新的评估指数的过程，属于数学模型算法运算过程，也不属于专利法意义上的技术手段。
对于本申请所获得的效果而言，属于数学模型算法运算的效果，不属于专利法意义上的技术效果。
3.关于复审请求人的意见陈述
合议组认为：本申请实质上是一种算法数学模型，本申请实际要解决的问题是算法数学模型优化算法的计算问题。本申请并没有应用于某一具体的技术领域，没有在此基础上形成基于风控模型的解决方案，与该具体领域进行相互作用，以产生相应的技术效果。复审请求人所提及的“本申请在搜索过程中有选择的尝试候选参数组合，而不是简单遍历所有参数组合，通过设置停止搜索规则，针对每个参数，如果搜索一定步长后模型效果没有显著提升，将停止该参数候选值的搜索，以得到历史最优效果的候选值作为该参数的最终值”属于算法数学模型优化算法的规则和方法，该算法规则属于人为设定，不属于专利法意义上的方法或其改进的技术方案，因为该算法的规则和方法并未应用于具体的技术领域，并与之相互作用形成解决该相应技术领域技术问题的技术手段，获得相应的技术效果。因此，申请人的意见陈述不具备说服力。
三、决定
维持国家知识产权局于2018年10月24日对本申请作出的驳回决定。
如对本复审请求审查决定不服,根据专利法第41条第2款的规定,复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
