发明创造名称：通信网络中关键性能指标的置信区间
外观设计名称：
决定号：184899
决定日：2019-06-21
委内编号：1F256235
优先权日：2011-12-27; 2012-04-20
申请（专利）号：201210599239.6
申请日：2012-12-26
复审请求人：网络搜索系统德克萨斯有限责任公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：刘永喆
合议组组长：雷敏
参审员：彭媛
国际分类号：H04L12/26,H04W24/08
外观设计分类号：
法律依据：专利法第二十二条第三款
决定要点
：如果一项权利要求请求保护的技术方案与作为最接近的现有技术的对比文件相比存在区别特征，所述区别特征或为本领域解决相关问题所采取的惯用手段或在其它对比文件中公开且在所述其它对比文件中所起的作用与在该权利要求中所起的作用相同，则该权利要求相对于所述对比文件以及本领域惯用手段的结合不具备创造性。
全文：
本复审请求涉及申请号为201210599239.6，名称为“通信网络中关键性能指标的置信区间”的发明专利申请（下称本申请）。申请人为特克特朗尼克公司，变更为特克特朗尼克德克萨斯有限责任公司后，又变更为网络搜索系统德克萨斯有限责任公司。本申请的申请日为2012年12月26日，最早优先权日为2011年12月27日，公开日为2013年07月03日。
经实质审查，国家知识产权局实质审查部门于2018年04月03日发出驳回决定，驳回了本申请，其理由是：权利要求1相对于对比文件1不符合专利法第二十二条第二款有关新颖性的规定；权利要求8和9的部分技术方案相对于对比文件1不符合专利法第二十二条第二款有关新颖性的规定，其他部分技术方案相对于对比文件1以及本领域的惯用手段的结合不符合专利法第二十二条第三款有关创造性的规定；权利要求10相对于对比文件1和本领域惯用手段的结合不具备专利法第二十二条第三款规定的创造性；权利要求12-18相对于对比文件1、对比文件2和本领域惯用手段的结合不具备专利法第二十二条第三款规定的创造性。驳回决定中引用的对比文件为：对比文件1：US2002129157A1，公开日为2002年09月12日；对比文件2：“Adaptive sampling for network performance measurement under voice traffic”，公开日为2004年07月31日。
驳回决定所依据的文本为：2017年12月11日提交的权利要求第1-18项；申请日2012年12月26日提交的说明书第1-102段（即第1-19页）、说明书附图第1-2页、说明书摘要及摘要附图。驳回决定所针对的权利要求书的内容如下：
“1. 一种方法，包括：
使用一个或多个计算机系统执行：
识别表示由网络监控系统观测的网络事件的向量，每个向量包括：维度；以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值；
至少部分基于所述值来计算针对所述维度与被观测的网络事件相对应的关键性能指标(KPI)；以及
至少部分基于所述采样率来计算与所述KPI相关联的置信;
其中计算置信进一步包括：
使用所述一个或多个计算机系统执行：
估计当不存在采样时将会被所述网络监控系统观测的网络事件的数目（KN）；
确定被观测的网络事件的数目（Kn）；以及
计算所述值的标准偏差（Kσ）。
2. 如权利要求1所述的方法，其中所述维度包括以下各项中的至少一个：国际移动设备识别码（IMEI）、国际移动用户识别码（IMSI）、移动台综合业务数字网（MSISDN）、用户代理（UA）简档、用户代理、手机制造商、手机型号、软件版本、统一资源定位器（URL）、服务、应用、位置、移动国家码（MCC）或移动网络码（MNC）。
3. 如权利要求1所述的方法，其中以第一采样率来观测所述维度，其中以第二采样率来观测另一个维度，并且其中所述第二采样率不同于所述第一采样率。
4. 如权利要求1所述的方法，其中所述采样率包括由所述网络监控系统响应于网络或资源加载而控制的自适应采样率。
5. 如权利要求1所述的方法，其中所述采样率随时间而改变。
6. 如权利要求1所述的方法，其中所述采样率包括基于白名单或黑名单的区别采样率。
7. 如权利要求1所述的方法，其中所述值包括以下各项中的至少一个：会话长度、上行链路字节计数、下行链路字节计数、尝试的数目、失败的数目、或等待时间。
8. 如权利要求1所述的方法，其中所述置信包括置信水平或置信区间中的至少一个，并且其中所述置信水平或置信区间至少部分基于KN 、Kn和Kσ。
9. 如权利要求8所述的方法，其中计算所述置信进一步包括：
使用所述一个或多个计算机系统执行：
识别期望的置信水平；以及
至少部分基于所述期望的置信水平来计算置信区间。
10. 如权利要求8所述的方法，其中计算所述置信进一步包括：
使用所述一个或多个计算机系统执行：
识别期望的置信区间；以及
至少部分基于所述期望的置信区间来计算置信水平。
11. 如权利要求9所述的方法，进一步包括：
使用所述一个或多个计算机系统执行：
至少部分基于用户对置信水平或置信区间的调整来促使修改将来要以其来观测网络事件的采样率。
12. 一种网络监控系统，包括：
处理器；以及
耦合到所述处理器的存储器，所述存储器被配置为存储程序指令，所述程序指令能够由处理器执行来使所述网络监控系统：
识别多个表示被采样的网络事件的向量，每个向量包括：多个维度；与所述多个维度中的每一个相关联的采样率的指示，以所述采样率来对相应的维度进行采样；和与每个相应的维度相关联的值，所述采样率经历根据网络或资源加载而随时间的修改；
至少部分基于关于相应的值而执行的操作，计算与所述多个维度中的所选一个相关联的关键性能指标（KPI），所述操作包括以下各项中的至少一个：均值、平均数、最小值、或最大值；
估计在不存在采样的情况下将会被观测的网络事件的数目（KN）；
确定被采样的网络事件的数目（Kn）；
计算所述值的标准偏差（Kσ）；以及
至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值。
13. 如权利要求12所述的网络监控系统，其中所述程序指令能够由处理器进一步执行使得所述网络监控系统：
将KPI显示给用户；以及
以图表或文本形式向用户显示置信值。
14. 如权利要求12所述的网络监控系统，其中为了计算置信值，所述程序指令能够进一步由处理器执行使得所述网络监控系统：
识别期望的置信水平；以及
至少部分基于所述期望的置信水平来计算置信区间。
15. 如权利要求12所述的网络监控系统，其中为了计算置信值，所述程序指令能够进一步由处理器执行使得所述网络监控系统：
识别期望的置信区间；以及
至少部分基于所述期望的置信区间来计算置信水平。
16. 如权利要求12所述的网络监控系统，所述程序指令能够进一步由处理器执行使得所述网络监控系统：至少部分基于对置信值的调整来自动修改在后续网络事件中要以其来对所选维度进行采样的采样率。
17. 一种有形的电子存储介质，其具有存储在其上的程序指令，所述程序指令在由计算机系统中的处理器执行时使得所述计算机系统：
至少部分基于与多个表示被检测的网络事件的向量中的维度相关联的值来确定关键性能指标（KPI），所述被检测的网络事件已经由网络监控系统使用采样率进行自适应采样；
至少部分基于所述采样率来计算与KPI相关联的置信值；以及
至少部分基于用户对置信值的调整来计算要以其来检测后续网络事件的第二采样率；
其中为了计算置信值，所述程序指令进一步使得计算机系统：
估计在不存在可变采样率的情况下将会被检测的网络事件的数目（KN）；
确定被观测、被检测的事件的数目（Kn）；以及
计算所述值的标准偏差（Kσ）。
18. 如权利要求17所述的有形的电子存储介质，其中所述置信值包括置信水平或置信区间中的至少一个。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年07月17日向国家知识产权局提出了复审请求，未提交修改文本。复审请求人认为：（1）“通路延迟均值”不能相当于“与维度相关的值”；（2）本申请仅基于与维度相关的值计算KPI，对比文件1采用了两个值计算；（3）本申请至少部分基于采样率计算KPI相关的置信，对比文件1计算置信时没有涉及采样率；（4）对比文件1没有公开本申请中网络事件数目KN和被观测的网络事件数目Kn。
经形式审查合格，国家知识产权局于2018年07月31日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2018年12月28日向复审请求人发出复审通知书，该复审通知书所依据的文本与驳回决定所依据的文本相同，为：2017年12月11日提交的权利要求第1-18项；申请日2012年12月26日提交的说明书第1-19页（即说明书第1-102段）、说明书附图第1-2页、说明书摘要及摘要附图。该复审通知书所引用的对比文件与驳回决定所引用的对比文件相同，为：对比文件1：US2002129157A1，公开日为2002年09月12日；对比文件2：“Adaptive sampling for network performance measurement under voice traffic”，公开日为2004年7月31日。复审通知书中指出：权利要求1-18不具备专利法第二十二条第三款规定的创造性。并对复审请求人的意见陈述作出了针对性答复。
复审请求人于2019年04月11日提交了意见陈述书和权利要求书的全文修改替换页。该次文本的修改之处为：删除独立权利要求1中的“至少部分基于所述采样率来计算与所述KPI相关联的置信；其中计算置信进一步包括：使用所述一个或多个计算机系统执行”，在独立权利要求1中增加特征“事件时间”、“至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值；所述方法还包括调整采样率以使KPI结果符合期望的置信值”；在独立权利要求12中添加特征“事件时间”、“调整所述采样率以使KPI结果符合期望的置信值”；删除独立权利要求17中的“至少部分基于所述采样率来计算与KPI相关联的置信值；以及至少部分基于用户对置信值的调整来计算要以其来检测后续网络事件的第二采样率；其中为了计算置信值，所述程序指令进一步使得计算机系统”，在独立权利要求17中增加特征“至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值；所述方法还包括调整采样率以使KPI结果符合期望的置信值”；修改后的独立权利要求1、12和17的内容如下：
“1. 一种方法，包括：
使用一个或多个计算机系统执行：
识别表示由网络监控系统观测的网络事件的向量，每个向量包括：事件时间、维度；以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值；
至少部分基于所述值来计算针对所述维度与被观测的网络事件相对应的关键性能指标(KPI)；以及
估计当不存在采样时将会被所述网络监控系统观测的网络事件的数目（KN）；
确定被观测的网络事件的数目（Kn）；以及
计算所述值的标准偏差（Kσ）；
至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值；
所述方法还包括调整采样率以使KPI结果符合期望的置信值。”
“12. 一种网络监控系统，包括：
处理器；以及
耦合到所述处理器的存储器，所述存储器被配置为存储程序指令，所述程序指令能够由处理器执行来使所述网络监控系统：
识别多个表示被采样的网络事件的向量，每个向量包括：事件时间、多个维度；与所述多个维度中的每一个相关联的采样率的指示，以所述采样率来对相应的维度进行采样；和与每个相应的维度相关联的值，所述采样率经历根据网络或资源加载而随时间的修改；
至少部分基于关于相应的值而执行的操作，计算与所述多个维度中的所选一个相关联的关键性能指标（KPI），所述操作包括以下各项中的至少一个：均值、平均数、最小值、或最大值；
估计在不存在采样的情况下将会被观测的网络事件的数目（KN）；
确定被采样的网络事件的数目（Kn）；
计算所述值的标准偏差（Kσ）；以及
至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值;
调整所述采样率以使KPI结果符合期望的置信值。”
“17. 一种有形的电子存储介质，其具有存储在其上的程序指令，所述程序指令在由计算机系统中的处理器执行时使得所述计算机系统：
至少部分基于与多个表示被检测的网络事件的向量中的维度相关联的值来确定关键性能指标（KPI），所述被检测的网络事件已经由网络监控系统使用采样率进行自适应采样；
估计在不存在可变采样率的情况下将会被检测的网络事件的数目（KN）；
确定被观测、被检测的事件的数目（Kn）；以及
计算所述值的标准偏差（Kσ）；
至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值；
所述方法还包括调整采样率以使KPI结果符合期望的置信值。”
复审请求人在意见陈述中指出：（1）对比文件1的“路径延迟值的均值”也不等同于权利要求1的“用于估计路径传输服务的值”，对比文件1的“路径延迟值的均值”仅仅有关于路径延迟，而不涉及“路径传输服务”；（2）对比文件1没有公开或暗示：每个向量包括：事件时间、维度；以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值；另外，对比文件1不能公开或暗示至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值；所述方法还包括调整采样率以使KPI结果符合期望的置信值。因此，权利要求1-17具备创造性。
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人在2019年04月11日提交意见陈述书的同时提交了权利要求书的全文修改替换页。经审查，上述修改文本的修改之处符合专利法第三十三条的规定。本复审请求审查决定依据的审查文本为：2019年04月11日提交的权利要求第1-18项；申请日2012年12月26日提交的说明书第1-19页、说明书附图第1-2页、说明书摘要及摘要附图。
（二）关于专利法第二十二条第二款和第三款
专利法第二十二条第三款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定引用的对比文件与复审通知书以及驳回决定引用的对比文件相同，即：
对比文件1：US2002129157A1，公开日为2002年09月12日；
对比文件2：“Adaptive sampling for network performance measurement under voice traffic”，公开日为2004年07月31日。
1、权利要求1请求保护一种方法。对比文件1公开了一种网络监控方法，并具体公开了以下内容（参见对比文件1说明书第[0007]-[0076]段、附图1-2）：网络性能监控系统由一个或多个远程控制中心控制，系统的数据处理设备中包括处理器以及与其耦合的存储器，程序指令被存储在存储器中，处理器可执行所述程序指令；网络性能监控系统由一个或多个远程控制中心控制，系统中自服务等级协议（SLA）延迟生成器中生成SLA延迟值的过程对通路传输服务（相当于维度）的通路延迟（相当于网络事件）进行计算，生成器中的统计分析进程利用接收到的延迟数据组（相当于估计当不存在采样时将会被所述网络监控系统观测的网络事件的数目KN）、选定的忙时时长和采样率（相当于以其来观测相应的网络事件的采样率的指示）计算通路延迟均值（相当于与维度相关联的值）以及通路延迟标准差（相当于计算所述值的标准偏差Kσ）；延迟分布模型中包括统计函数，其描述从网络中获取的延迟样本（相当于确定被观测的网络事件的数目Kn）的分布；延迟分布模型利用选定的置信水平和通路延迟标准差计算置信区间，置信区间，其中，是采样间隔（相当于至少部分基于KN、Kn和Kσ来计算针对通路传输服务的通路延迟相对应的置信值）；利用通路延迟均值和置信区间计算得到通路的SLA延迟值。
由此可知，权利要求1与对比文件1相比，区别特征在于：（1）识别表示由网络监控系统观测的网络事件的向量，且向量包括事件时间；（2）至少部分地基于与维度相关联的值来计算针对维度与被观测的网络事件相对应的关键性能指标KPI，调整采样率以使KPI结果符合期望的置信值。
基于上述区别特征，可以确定权利要求1实际解决的技术问题是：如何抽象表达观测网络事件参数以及提高网络性能评价结果的准确性。
对于区别特征（1），对比文件1公开了对通路传输服务的通路延迟进行计算，利用采样率计算通路延迟均值，从而计算针对通路传输服务的通路延迟相对应的置信，也就是说，对比文件1已经公开了利用维度、以其来观测相应的网络事件的采样率的指示和与所述维度相关联的值三个参数来计算置信，而采用包括事件时间的向量的形式综合多个参数以便于抽象表达观测网络事件的参数，这是本领域技术人员解决如何抽象表达观测网络事件参数问题的惯用手段。
对于区别特征（2），本领域技术人员知晓，可以采用关键性能指标KPI从多种角度来衡量和评价网络的相应性能，并且，采用的维度越多，对网络性能评价的结果越能够客观真实地反映网络的性能，评价结果也就越准确；置信水平是指总体参数值落在样本统计值某一区内的概率，置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围，置信区间越大，置信水平越高。因此，在进行网络监控过程中，本领域技术人员可以根据实际情况在实施过程中自行选择相应的维度作为监控的参数，并且根据需要来调整符合期望的置信值，以提高网络性能评价结果的准确性。因此，在对比文件1公开了计算通路传输服务（相当于KPI的一种维度）的通路延迟以及置信区间、置信值跟采样率有关并随采样率的变化而变化的基础上，本领域技术人员可以采用所需要的维度来计算KPI及其相关联的置信，并且调整采样率来获得结果符合期望的置信值，以便于更客观真实地反映网络的性能，提高网络性能评价结果的准确性，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。
因此，在对比文件1的基础上结合本领域的惯用手段，得到权利要求1请求保护的技术方案，对于本领域技术人员来说是显而易见的。权利要求1不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
2．权利要求2引用权利要求1，对比文件1公开了计算通路传输服务（相当于服务）的通路延迟以及置信区间；并且本领域技术人员知晓，关键性能指标KPI包括多种维度，因此，在进行网络监控过程中，本领域技术人员可以根据实际情况在实施过程中自行选择相应的维度作为监控的参数，例如，选择国际移动设备识别码（IMEI）、国际移动用户识别码（IMSI）、移动台综合业务数字网（MSISDN）、用户代理（UA）简档、用户代理、手机制造商、手机型号、软件版本、统一资源定位器（URL）、应用、位置、移动国家码（MCC）或移动网络码（MNC）等作为维度，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求2所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
3．权利要求3引用权利要求1，对比文件1公开了以一采样率来观测SLA延迟；并且本领域技术人员知晓，关键性能指标KPI包括多种维度，不同的维度反映不同的网络性能，因此，在进行网络监控过程中，本领域技术人员可以根据实际情况在实施过程中自行选择相应的采样率来监测不同的维度，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求3所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
4．权利要求4引用权利要求1，对比文件2公开了一种电话业务中网络性能测试的适应性采样方法，并具体公开了以下内容（参见第1132-1134页第IV章、附图3-8）：本文旨在解决如何实现适应性模式的采样，以便于在知道通信类型和参数的情况下，精准测量服务参数（延迟、丢包率、抖动、吞吐量）的质量，监控和测量网络性能。电话业务网络性能测试的适应性采样过程中，采样率可根据实际通信率适应性调整，这样对较少的数据包采样就能够满足实际需求。因此，对比文件2公开了权利要求4的附加技术特征，并且两者所起的作用相同，都是提高网络性能评价结果的准确性，即，对比文件2给出了将上述特征用于对比文件1的技术方案以解决其技术问题的启示。因此，在对比文件1的基础上结合对比文件2和本领域的惯用手段，得到权利要求4请求保护的技术方案，对于本领域技术人员来说是显而易见的。权利要求4不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
5．权利要求5和6引用权利要求1，对比文件1公开了根据采样率来计算置信区间，并且本领域技术人员知晓，对不同时间段以及不同等级用户的网络性能监测的需求是不同的，因此，本领域技术人员为了满足不同的性能评价准确性需求，可以随时间的改变或用户等级的不同而采用不同的采样率，从而获得不同的置信区间，满足不同时间段以及不同等级用户的网络性能监测的需求。此外，采用白名单或者黑名单对不同用户等级进行区别则是本领域区分不同等级的用户的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求5和6所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
6．权利要求7引用权利要求1，对比文件1公开了生成器中的统计分析进程利用接收到的延迟数据组、选定的忙时时长和采样率计算通路延迟均值（相当于等待时间）。并且本领域技术人员知晓，不同的KPI的参数，也就是本申请的维度，必然对应的不同的测量值，而这些测量值都是本领域常用的用于衡量网络性能的值，因此，在进行网络监控过程中，本领域技术人员可以根据实际情况在实施过程中自行选择相应的值来反映网络的性能，例如，将会话长度、上行链路字节计数、下行链路字节计数、尝试的数目或失败的数目作为维度，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求7所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
7．权利要求8引用权利要求1，对比文件1公开了置信区间的计算至少部分地基于延迟数据组（相当于KN）、延迟样本（相当于Kn）、通路延迟标准差（相当于Kσ）和置信水平。并且，本领域技术人员可知，置信区间和置信水平之间的对应关系是统计学中的公知常识，本领域技术人员可以根据实际情况的需要，选择计算置信水平或者置信区间，这是本领域技术人员解决如何衡量KPI计算结果的可信程度问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求8所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
8、权利要求9引用权利要求8，其附加技术特征已被对比文件1所公开（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心（相当于计算机系统）控制，延迟分布模型利用选定的置信水平（相当于期望的置信水平）和通路延迟标准差计算置信区间。因此，在其引用的权利要求不具备创造性时，权利要求8所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
9、权利要求10引用权利要求8，对比文件1已经公开了（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心（相当于计算机系统）控制，延迟分布模型利用选定的置信水平和通路延迟标准差计算置信区间。因此，本领域技术人员可以根据实际情况在实施过程中基于期望的置信区间来计算置信水平，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求10所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
10、权利要求11引用权利要求9，对比文件1公开了（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心（相当于计算机系统）控制，置信区间的计算至少部分地基于采样率以及置信水平。因此，本领域技术人员可以根据实际情况在实施过程中，当用户对置信水平或置信区间调整时修改将来要以其来观测网络事件的采样率，这是本领域技术人员解决如何节约网络性能监测成本问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求11所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
11、权利要求12请求保护一种网络监控系统。对比文件1公开了一种网络监控方法，并具体公开了以下内容（参见对比文件1说明书第[0007]-[0076]段、附图1-2）：网络性能监控系统由一个或多个远程控制中心控制，系统的数据处理设备中包括处理器以及与其耦合的存储器，程序指令被存储在存储器中，处理器可执行所述程序指令；网络性能监控系统由一个或多个远程控制中心控制，系统中自服务等级协议（SLA）延迟生成器中生成SLA延迟值的过程对通路传输服务（相当于维度）的通路延迟（相当于网络事件）进行计算，生成器中的统计分析进程利用接收到的延迟数据组（相当于估计当不存在采样时将会被所述网络监控系统观测的网络事件的数目KN）、选定的忙时时长和采样率（相当于以其来观测相应的网络事件的采样率的指示）计算通路延迟均值（相当于与维度相关联的值）以及通路延迟标准差（相当于计算所述值的标准偏差Kσ）；延迟分布模型中包括统计函数，其描述从网络中获取的延迟样本（相当于确定被观测的网络事件的数目Kn）的分布；延迟分布模型利用选定的置信水平和通路延迟标准差计算置信区间，置信区间，其中，是采样间隔（相当于至少部分基于KN、Kn和Kσ来计算针对通路传输服务的通路延迟相对应的置信值）；利用通路延迟均值和置信区间计算得到通路的SLA延迟值。
由此可知，权利要求12与对比文件1相比，区别特征在于：（1）识别表示由网络监控系统观测的网络事件的向量，且向量包括事件时间；（2）采样率经历根据网络或资源加载而随时间修改；至少部分地基于与维度相关联的值，通过均值、平均数、最小值或最大值中的至少一个来计算与多个维度中的所选一个相关联的关键性能指标KPI；调整采样率以使KPI结果符合期望的置信值。
基于上述区别特征，可以确定权利要求12实际解决的技术问题是：如何抽象表达观测网络事件参数以及提高网络性能评价结果的准确性。
对于区别特征（1），对比文件1公开了对通路传输服务的通路延迟进行计算，利用采样率计算通路延迟均值，从而计算针对通路传输服务的通路延迟相对应的置信，也就是说，对比文件1已经公开了利用维度、以其来观测相应的网络事件的采样率的指示和与所述维度相关联的值三个参数来计算置信而采用包括事件时间的向量的形式综合多个参数以便于抽象表达观测网络事件的参数，这是本领域技术人员解决如何抽象表达观测网络事件参数问题的惯用手段。
对于区别特征（2），对比文件2公开了一种电话业务中网络性能测试的适应性采样方法，并具体公开了以下内容（参见第1132-1134页第IV章、附图3-8）：本文旨在解决如何实现适应性模式的采样，以便于在知道通信类型和参数的情况下，精准测量服务参数（延迟、丢包率、抖动、吞吐量）的质量，监控和测量网络性能。电话业务网络性能测试的适应性采样过程中，采样率可根据实际通信率适应性调整，这样对较少的数据包采样就能够满足实际需求。并且两者所起的作用相同，都是提高网络性能评价结果的准确性，即，对比文件2给出了将上述特征用于对比文件1的技术方案以解决其技术问题的启示。并且，本领域技术人员知晓，可以采用关键性能指标KPI从多种角度来衡量和评价网络的相应性能，并且，采用的维度越多，对网络性能评价的结果越能够客观真实地反映网络的性能，评估结果的准确性也就越高；置信水平是指总体参数值落在样本统计值某一区内的概率，置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围，置信区间越大，置信水平越高。因此，在进行网络监控过程中，本领域技术人员可以根据实际情况在实施过程中自行选择相应的维度作为监控的参数，并且根据需要来调整符合期望的置信值，以提高网络性能评价结果的准确性。因此，在对比文件1公开了计算通路传输服务（相当于KPI的一种维度）的通路延迟以及置信区间的基础上，本领域技术人员可以采用所需要的维度来计算KPI及其相关联的置信，并且调整采样率来获得结果符合期望的置信值，以便于更客观真实地反映网络的性能，提高网络性能评价结果的准确性，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。
因此，在对比文件1的基础上结合对比文件2和上述惯用手段，得到权利要求12请求保护的技术方案，对于本领域技术人员来说是显而易见的。权利要求12不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
12、权利要求13引用权利要求12，对比文件1公开了（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心控制，延迟分布模型利用选定的置信水平和通路延迟标准差计算置信区间。因此，本领域技术人员可以根据实际情况在实施过程中将KPI显示给用户并且以图表或文本形式显示置信值，这是本领域技术人员解决如何直观向用户呈现网络性能指标问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求13所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
13、权利要求14引用权利要求12，其附加技术特征已被对比文件1所公开（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心（相当于网络监控系统）控制，延迟分布模型利用选定的置信水平（相当于期望的置信水平）和通路延迟标准差计算置信区间。因此，在其引用的权利要求不具备创造性时，权利要求14所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
14、权利要求15引用权利要求12，对比文件1已经公开了（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心（相当于计算机系统）控制，延迟分布模型利用选定的置信水平和通路延迟标准差计算置信区间。因此，本领域技术人员可以根据实际情况在实施过程中基于期望的置信区间来计算置信水平，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求15所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
15、权利要求16引用权利要求12，对比文件1公开了（参见对比文件1说明书第[0007]-[0076]段，图2）：网络性能监控系统由一个或多个远程控制中心（相当于网络监控系统）控制，置信区间的计算至少部分地基于采样率以及置信水平。因此，本领域技术人员可以根据实际情况在实施过程中，当用户对置信水平或置信区间调整时修改将来要以其来观测网络事件的采样率，这是本领域技术人员解决如何节约网络性能监测成本问题的惯用手段。因此，在其引用的权利要求不具备创造性时，权利要求16所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
16、权利要求17请求保护一种有形的电子存储介质。对比文件1公开了一种网络监控方法，并具体公开了以下内容（参见对比文件1说明书第[0007]-[0076]段、附图1-2）：网络性能监控系统由一个或多个远程控制中心控制，系统的数据处理设备中包括处理器以及与其耦合的存储器，程序指令被存储在存储器（相当于有形的电子存储介质，其具有存储在其上的程序指令）中，处理器可执行所述程序指令；网络性能监控系统由一个或多个远程控制中心控制，系统中自服务等级协议（SLA）延迟生成器中生成SLA延迟值的过程对通路传输服务（相当于维度）的通路延迟（相当于网络事件）进行计算，生成器中的统计分析进程利用接收到的延迟数据组（相当于估计当不存在采样时将会被所述网络监控系统观测的网络事件的数目KN）、选定的忙时时长和采样率（相当于以其来观测相应的网络事件的采样率的指示）计算通路延迟均值（相当于与维度相关联的值）以及通路延迟标准差（相当于计算所述值的标准偏差Kσ）；延迟分布模型中包括统计函数，其描述从网络中获取的延迟样本（相当于确定被观测的网络事件的数目Kn）的分布；延迟分布模型利用选定的置信水平和通路延迟标准差计算置信区间，置信区间，其中，是采样间隔（相当于至少部分基于KN、Kn和Kσ来计算针对通路传输服务的通路延迟相对应的置信值）；利用通路延迟均值和置信区间计算得到通路的SLA延迟值。
由此可知，权利要求17与对比文件1相比，区别特征在于：被检测的网络事件由网络监控系统使用采样率进行自适应采样；至少部分基于与多个表示被检测的网络事件的向量中的维度相关联的值来确定关键性能指标KPI；调整采样率以使KPI结果符合期望的置信值。
基于上述区别特征，可以确定权利要求17实际解决的技术问题是：如何提高网络性能评价结果的准确性。
而对比文件2公开了一种电话业务中网络性能测试的适应性采样方法，并具体公开了以下内容（参见第1132-1134页第IV章、附图3-8）：本文旨在解决如何实现适应性模式的采样，以便于在知道通信类型和参数的情况下，精准测量服务参数（延迟、丢包率、抖动、吞吐量）的质量，监控和测量网络性能。电话业务网络性能测试的适应性采样过程中，采样率可根据实际通信率适应性调整，这样对较少的数据包采样就能够满足实际需求。并且两者所起的作用相同，都是提高网络性能评价结果的准确性，即，对比文件2给出了将上述特征用于对比文件1的技术方案以解决其技术问题的启示。并且，本领域技术人员知晓，可以采用关键性能指标KPI从多种角度来衡量和评价网络的相应性能，并且，采用的维度越多，对网络性能评价的结果越能够客观真实地反映网络的性能，评估结果的准确性也就越高；置信水平是指总体参数值落在样本统计值某一区内的概率，置信区间是指在某一置信水平下，样本统计值与总体参数值间误差范围，置信区间越大，置信水平越高。因此，在进行网络监控过程中，本领域技术人员可以根据实际情况在实施过程中自行选择相应的维度作为监控的参数，并且根据需要来调整符合期望的置信值，以提高网络性能评价结果的准确性。因此，在对比文件1公开了计算通路传输服务（相当于KPI的一种维度）的通路延迟以及置信区间的基础上，本领域技术人员可以采用所需要的维度来计算KPI及其相关联的置信，并且调整采样率来获得结果符合期望的置信值，以便于更客观真实地反映网络的性能，提高网络性能评价结果的准确性，这是本领域技术人员解决如何提高网络性能评价结果的准确性问题的惯用手段。
因此，在对比文件1的基础上结合对比文件2和本领域的惯用手段，得到权利要求17请求保护的技术方案，对于本领域技术人员来说是显而易见的。权利要求17不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
17．权利要求18引用权利要求17，对比文件1公开了SLA延迟的置信区间和置信水平。因此，上述权利要求的附加技术特征被对比文件1所公开，在其引用的权利要求不具备创造性时，权利要求18所要求保护的技术方案也不具有突出的实质性特点和显著的进步，不具备专利法第二十二条第三款规定的创造性。
（三）关于复审请求人相关意见的答复
对于复审请求人的意见，合议组认为：对于意见（1），本申请的维度是通过其KPI可以被聚合或者查看的所呈现的领域，维度的例子可以包括订户、蜂窝网、服务、应用、位置等等，对比文件1的“通路传输服务”也是衡量网络传输服务的参数，与本申请的“维度”所起的作用相同，都是为了衡量网络传输的质量，因此，对比文件1的“通路传输服务”相当于本申请的“维度”，而“通路延迟均值”是衡量“通路传输服务”的值，因此，“通路延迟均值”则相当于“与维度相关的值”；对于意见（2），在针对权利要求的评述中已论述，在此不再赘述。
基于上述事实和理由，合议组作出如下审查决定。
三、决定
维持国家知识产权局于2018年04月03日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第四十一条第二款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
