发明创造名称：面向深度学习的稀疏自适应神经网络、算法及实现装置
外观设计名称：
决定号：192123
决定日：2019-09-23
委内编号：1F259071
优先权日：
申请（专利）号：201510944909.7
申请日：2015-12-16
复审请求人：重庆大学
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：穆滢
合议组组长：吴黄飞
参审员：金霞
国际分类号：G06N3/02，G06N3/06
外观设计分类号：
法律依据：专利法第2条第2款
决定要点
：如果一项权利要求请求保护的方案没有解决技术问题，其采用的手段不是技术手段，并且获得的效果不是技术效果，则该权利要求请求保护的方案不属于技术方案。
全文：
本复审请求涉及申请号为201510944909.7，名称为“面向深度学习的稀疏自适应神经网络、算法及实现装置”的发明专利申请（下称本申请）。本申请的申请人为重庆大学，申请日为2015年12月16日，公开日为2016年04月13日。
经实质审查，国家知识产权局实质审查部门于2018年05月15日发出驳回决定，以权利要求1-2属于专利法第25条规定的不授予专利权的范围为由驳回了本申请。驳回决定所依据的文本为：申请日2015年12月16日提交的说明书第1-7页、说明书附图第1-2页、说明书摘要、摘要附图；2018年02月08日提交的权利要求第1-2项。
驳回决定所针对的权利要求书的内容如下：
“1. 一种面向深度学习的稀疏自适应神经网络算法，运用在单芯片上，其特征在于：
1)采用对能量函数的概率分布的最大似然估计的负对数形式求最小值的凸优化形式表示目标函数；
2)所述目标函数为：，其中λ表示正则化系数，l表示网络的层数，最低为1层，v(l)表示每一层RBM的可视层，h(l)表示每一层RBM的隐藏层；向目标函数中加入一范数正则化项，，wij表示连接的权值；
3)所述目标函数的优化目标为x≤wi,j≤y,x,y∈R，优化结果是wij向优化目标区间的端点x,y靠近；
4)采用短位宽的离散的整数表示连接的权值；
5)对x,y取整，用[x],[y]表示，取[x]≤m1，m2≤[y]，当wi,j≤m1，wi,j＝[x]，当wi,j≥m2，wi,j＝[y]，否则wi,j用约定值表示连接不存在；
6)在常规项的梯度下降步骤后，应用contrastive divergence规则进行更新，应用Rs的梯度更新参数。
2. 面向深度学习的稀疏自适应神经网络的实现装置，其特征在于：
1)检测输入位axon[i]是否为1：若为1，即有一个突触事件到来，则根据i的值访问MAP列表中的对应位置，若为0，则检测下一位输入位；
2)读出MAP中相应的起始地址和长度值，如果长度值不为0，则用此基地址和长度值访问TABLE；否则返回事件解码器(detect axons)，检测下一位输入；
3)读出TABLE中的数据，根据weight位来控制neuron-num位神经元对应的值进行±1操作(accumulate results)，直到访问完成从base_addr到base_addr length-1位，返回detect axons，然后检测下一位输入；
4)当事件解码器(detect axons)完成所有输入位的检测后，执行CMP操作，同时对所有神经元对应值与其阈值进行比较，得到神经元状态并输出。”
驳回决定中指出：（1）权利要求1要求保护一种面向深度学习的稀疏自适应神经网络算法，所采用的方案是通过限制隐藏单元的活动数量达到稀疏表示，仅仅是对算法本身的改进，没有应用到技术领域，没有提及该算法能够用于解决何种实际的技术问题，没有限定算法参数在技术问题中所体现的物理含义，即没有形成具有技术意义的技术方案，以及也没有体现出运用该算法后能够为解决技术问题带来何种技术效果；属于人为制定的规则，属于智力活动的规则和方法。（2）权利要求2要求保护一种面向深度学习的稀疏自适应神经网络的实现装置，然而除了其主题名称之外，对其进行限定的全部内容仅仅涉及到由计算机实现的算法，而不是一种利用自然规律和自然力的技术方案，属于智力活动的规则和方法。因此，权利要求1-2属于专利法第25条第1款第（2）项规定的不授予专利权的客体。
申请人（下称复审请求人）对上述驳回决定不服，于2018年08月22日向国家知识产权局提出了复审请求，同时提交了权利要求书的全文修改替换页（包括权利要求第1-2项），具体修改为：在权利要求2中增加技术特征：“该装置包括神经元状态寄存器、事件解码器、RAM、SRAM、计算模块、求和单元和比较单元；该装置具体工作流程为”。复审请求人认为：（1）应用领域方面：“面向深度学习的神经网络算法”本身就是一项技术方案，在本申请文件中，也明确指出了本方案所引应用的技术领域为集成电路、神经网络、大数据计算领域等等。深度自适应神经网络模型主要可应用于机器视觉、场景感知、特征提取等领域。（2）本申请用于解决的现有技术中存在的问题是：要在现有深度神经网络模型在芯片上实现集成百万数量级的神经元，主要困难在于有限的集成电路片上内存要保存与百万数量级神经元全连接有关的参数，通常这些参数是实数的，稠密的，基于此类模型的嵌入式系统也难以实现视频等高通量数据的实时模式识别；另一方面，采用传统的方法量化浮点型数据，直接采用定点计算，往往导致模式识别准确度大幅度下降，难以应用于自动驾驶等高精度要求与复杂场景模式识别应用。本申请提供的方法通过省略小的权重和量化大的权重到-1和1之间，只存储了有效连接信息，平均使用不到1bit代表一个神经元之间的一个连接，显著减少了所需内存量，很好的解决了硬件资源在芯片上整合大量神经元的瓶颈问题。采用的技术手段方面：提出在算法优化的时候引入稀疏正则化过程，通过反向传播过程得到模式识别效果最优的稀疏、定点参数模型，该模型相较传统DBN方法计算与存储复杂度减小10倍以上，使得基于深度自适应神经网络模型的嵌入式图像模式识别应用取得精度、功耗与实时性优势。（3）权利要求2请求保护的是一种面向深度学习的稀疏自适应神经网络的实现装置，在具体方案中对该装置的具体实现和工作方式进行了限定，并在技术特征中包含了一些具体的硬件设备。（4）从已授权专利CN104112263、CN103345656、CN104751227可得到已授权的专利在各个领域中的应用。非专利文件“DANoC: An Efficient Algorithm and HardwareCodesign of Deep Neural Networks on Chip”，Xichuan Zhou等；IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS,VOL.29, NO.7,JULY 2018 ”中，本申请所述方法已被应用与机器人机器视觉模式识别与遥感模式识别领域。因此，本申请权利要求1-2属于专利授权的客体。
复审请求人在提出复审请求时新修改的权利要求2的内容如下：
“2. 面向深度学习的稀疏自适应神经网络的实现装置，其特征在于：该装置包括神经元状态寄存器、事件解码器、RAM、SRAM、计算模块、求和单元和比较单元；该装置具体工作流程为：
1)检测输入位axon[i]是否为1：若为1，即有一个突触事件到来，则根据i的值访问MAP列表中的对应位置，若为0，则检测下一位输入位；
2)读出MAP中相应的起始地址和长度值，如果长度值不为0，则用此基地址和长度值访问TABLE；否则返回事件解码器(detect axons)，检测下一位输入；
3)读出TABLE中的数据，根据weight位来控制neuron-num位神经元对应的值进行±1操作(accumulate results)，直到访问完成从base_addr到base_addr length-1位，返回detect axons，然后检测下一位输入；
4)当事件解码器(detect axons)完成所有输入位的检测后，执行CMP操作，同时对所有神经元对应值与其阈值进行比较，得到神经元状态并输出。”
经形式审查合格，国家知识产权局于2018年08月30日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年07月25日向复审请求人发出复审通知书，指出权利要求1-2不符合专利法第2条第2款的规定。针对复审请求人的意见陈述，合议组认为：（1）人工神经网络是一种模仿生物神经网络行为特征，进行分布式并行信息处理的算法数学模型，其本身仅仅是一种数学模型，并不构成技术方案，只有将其应用于具体的应用领域中，对具体应用领域中的数据进行处理，从而解决具体领域中的分类、识别等技术问题时，整个方案才属于技术方案。复审请求人列举了本申请可应用的多个应用领域，正说明本申请并未与特定的应用领域相结合，而仅是抽象的数学模型。（2）本申请所涉及的问题是：神经网络算法涉及神经元及相关参数众多、运算量巨大、定点计算导致精确性低等，这些问题都是现有深度神经网络算法的数学模型本身存在的问题，并非技术问题。本申请提出的稀疏自适应神经网络算法解决的亦是现有算法存在的问题，并未实际解决在实际领域应用中的技术问题，存储空间的节省是稀疏自适应神经网络算法在芯片上运行时的必然结果，其实质上还是数学模型上的改进；在优化过程中采用的稀疏正则化等手段均是数学计算中的优化方法，并未结合芯片的存储结构等技术特征进行优化，并非技术手段；而其达到的效果是获得算法的稀疏化表示，仅仅是针对算法的改进，并没有体现到通过与实际应用领域的结合来实现对该领域技术问题的改进。（3）虽然权利要求2中借助装置以及装置中的各个硬件部件来实施神经网络的计算过程，但是该装置以及装置中的各个硬件部件均属于公知的运算设备，仅利用了上述装置公知的运算功能来实施该方案（即仅借助现有的设备的运算功能来实施算法的计算流程），并不涉及设备硬件结构或者设备性能上的任何技术改进。（4）复审请求人列举的上述三个授权专利的权利要求中都将深度神经网络与图像、音频等技术领域紧密结合，其输入、输出的参数均是具有实际物理意义的数据，通过神经网络对具体应用领域中数据的处理，解决了上述技术领域中的图像融合、数据分类、语音识别等技术问题并取得了相应的技术效果，构成了技术方案。而本申请并没有将深度神经网络的改进应用于具体的实际领域中解决该领域中的具体技术问题。另外，非专利文献的公开日期在本申请的申请日之后，并非是本申请的现有技术。虽然其能说明本申请中的方法应用于机器人机器视觉模式识别与遥感模式识别领域，但是这并未记载在本申请说明书中。
复审请求人于2019年08月19日提交了意见陈述书和权利要求书的全文修改替换页；由于2019年08月19日提交的权利要求书有误，复审请求人于2019年08月20日提交了主动补正书以及权利要求书的全文修改替换页（包括权利要求第1-2项），其中在2018年08月22日提交的权利要求书的基础上，在权利要求1中增加技术特征：“面向数字电路实现”、“所述稀疏自适应神经网络包括至少一层自适应有限玻尔兹曼机，自适应有限玻尔兹曼机包括可视层和隐藏层”。复审请求人认为：（1）本申请是针对“面向数字电路实现过程中采用的神经网络的参数稠密，占有资源大，功耗高，不利于大规模集成；神经网络浮点运算计算量巨大，影响整体运行效率”的改进方案，其解决的是“在芯片上实现集成百万数量级的神经元”的问题，属于技术问题。为了解决该技术问题，权利要求1将其分解为解决“传统深度神经网络模型在于有限的集成电路片上内存中保存的与百万数量级神经元全连接有关参数稠密，对浮点型数据定点计算精确度不高”的问题。（2）为了解决上述分解问题，权利要求1实质提出了一种改进现有深度神经网络结构的模型，因为该神经网络模型适用于集成电路中，具体使用领域广泛，如在机器视觉、场景感知、特征提取、大数据处理等领域中应用，考虑到保护范围的需求，权利要求1中涉及的参数虽然未具体赋予物理含义，但对于本领域技术人员而言，在实际应用过程中，对参数赋予物理含义是常规技术。（3）在实现装置中，该连接参数以神经元计算器件的硬件连接实现。本申请设计的稀疏参数大幅度减少了实际设计中的硬件连接与存储器件，因此权利要求1申请保护的一种通用型神经网络模型的算法是对软件功能实现的核心部分（即神经网络模型）的改进方法，属于技术手段。而且在说明书实施例中，具体举例说明了本申请改进网络结构的搭建过程，以及在实际装置中的实现过程，从而获得芯片在集成电路中的运算速度高，计算量小，以及精确度高的技术效果。因此权利要求1-2属于专利法第2条第2款所规定的技术方案。
复审请求人于2019年08月20日提交的修改后的权利要求1的内容如下：
“1. 一种面向深度学习的稀疏自适应神经网络算法，运用在单芯片上，面向数字电路实现，其特征在于，所述稀疏自适应神经网络包括至少一层自适应有限玻尔兹曼机，自适应有限玻尔兹曼机包括可视层和隐藏层；该稀疏自适应神经网络算法具体包括：
1)采用对能量函数的概率分布的最大似然估计的负对数形式求最小值的凸优化形式表示目标函数；
2)所述目标函数为：，其中λ表示正则化系数，l表示网络的层数，最低为1层，v(l)表示每一层RBM的可视层，h(l)表示每一层RBM的隐藏层；向目标函数中加入一范数正则化项，，wij表示连接的权值；
3)所述目标函数的优化目标为x≤wi,j≤y,x,y∈R，优化结果是wij向优化目标区间的端点x,y靠近；
4)采用短位宽的离散的整数表示连接的权值；
5)对x,y取整，用[x],[y]表示，取[x]≤m1，m2≤[y]，当wi,j≤m1，wi,j＝[x]，当wi,j≥m2，wi,j＝[y]，否则wi,j用约定值表示连接不存在；
6)在常规项的梯度下降步骤后，应用contrastive divergence规则进行更新，应用Rs的梯度更新参数。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以依法作出审查决定。
二、决定的理由
1、审查文本的认定
复审请求人于2019年08月19日提交了权利要求书的全文修改替换页，又于2019年08月20日提交了权利要求书的全文修改替换页，现依据请求原则，以2019年08月20日提交的权利要求书的全文修改替换页作为审查文本，经审查，所述修改符合专利法第33条的规定。本复审请求审查决定依据的文本为：申请日2015年12月16日提交的说明书第1-7页、说明书附图第1-2页、说明书摘要、摘要附图；2019年08月20日提交的权利要求第1-2项。
2、专利法第2条第2款
专利法第2条第2款规定：发明，是指对产品、方法或者其改进所提出的新的技术方案。
如果一项权利要求请求保护的方案没有解决技术问题，其采用的手段不是技术手段，并且获得的效果不是技术效果，则该权利要求请求保护的方案不属于技术方案。
2.1权利要求1不符合专利法第2条第2款的规定。
权利要求1请求保护一种面向深度学习的稀疏自适应神经网络算法，其通过向目标函数中增加一范数正则化项对目标函数进行优化，再忽略一些权重的连接，从而得到稀疏化的神经网络。该方案仅涉及神经网络算法的优化，采用数学与逻辑运算方法对神经网络进行处理。可见，其解决的问题是：如何使神经网络进行稀疏化表示以得到稀疏化的神经网络，该问题不属于技术问题；采用的手段也只是数学与逻辑运算方法，该手段不属于技术手段；所获得的效果是得到数学模型的优化表示，并非技术效果。虽然权利要求1中借助单芯片实施神经网络，但单芯片属于公知的运算设备，仅仅利用了上述装置公知的运算功能来实施该方案（即仅借助现有的设备的运算功能来实施算法），并不涉及设备硬件结构或者设备性能上的任何技术改进。因此，权利要求1的方案不构成专利法第2条第2款规定的技术方案，不属于专利法保护的客体。
2.2权利要求2不符合专利法第2条第2款的规定。
权利要求2请求保护一种面向深度学习的稀疏自适应神经网络的实现装置，其通过装置的工作流程实现神经网络的计算流程，通过装置中对应的数据结构，实现神经网络的运算方法。其解决的问题是：神经网络的计算，其仅涉及算法的数据计算流程，因此该问题不属于技术问题，采用的手段也只是通过装置的工作流程实现神经网络的计算流程，该工作流程本质上属于数学与逻辑运算方法，算法参数不具有物理含义，因此不属于技术手段，所获得的效果是得到获取数学模型的计算结果，并非技术效果。虽然权利要求2中借助装置以及装置中的各个硬件部件来实施神经网络的计算过程，但是该装置以及装置中的各个硬件部件均属于公知的运算设备，仅仅利用了上述装置公知的运算功能，来实施该方案（即仅借助现有的设备的运算功能来实施算法的计算流程），并不涉及设备硬件结构或者设备性能上的任何技术改进。因此权利要求2的方案不构成专利法第2条第2款规定的技术方案，不属于专利法保护的客体。
3、对复审请求人相关意见的评述
对于复审请求人答复复审通知书时提出的意见，合议组认为：
（1）权利要求1中涉及的运用在单芯片上以及面向数字电路等特征仅限定了神经网络的应用领域，而权利要求1的方案实质上是对神经网络结构的改进，而该改进不涉及结合具体领域的特点对其结构的改进，而仅仅是依据数学理论对神经网络的改进，因此权利要求1所解决的问题是神经网络算法涉及神经元及相关参数众多、运算量巨大、定点计算导致精确性低等，这些问题都是现有深度神经网络算法的数学模型本身存在的问题，并非技术问题。
（2）复审请求人认同权利要求1中涉及的参数未具体赋予物理含义。由于权利要求1中神经网络中的参数不具有物理含义，因此权利要求1中所限定的神经网络仅仅是一种数学模型，并不构成技术方案，只有将其应用于具体的应用领域中，对具体应用领域中的数据进行处理，从而解决具体领域中的分类、识别等技术问题时，整个方案才属于技术方案。复审请求人列举了本申请可应用的多个应用领域，正说明本申请并未与特定的应用领域相结合，而仅是抽象的数学模型。
（3）权利要求2中采用硬件部件实现的神经网络模型的计算过程属于数学算法，不属于技术手段。虽然权利要求2中借助装置以及装置中的各个硬件部件来实施神经网络的计算过程，但是该装置以及装置中的各个硬件部件均属于公知的运算设备，仅利用了上述装置公知的运算功能来实施该方案（即仅借助现有的设备的运算功能来实施算法的计算流程），并不涉及设备硬件结构或者设备性能上的任何技术改进。因此方案整体上不构成专利法第2条第2款规定的技术方案，不属于专利法保护的客体。
综上所述，复审请求人的意见陈述不具有说服力，合议组不予支持。
基于上述事实和理由，合议组依法作出如下决定。
三、决定
维持国家知识产权局于2018年05月15 日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
