发明创造名称：活动质量评估方法及装置
外观设计名称：
决定号：193911
决定日：2019-10-25
委内编号：1F260142
优先权日：
申请（专利）号：201611073720.6
申请日：2016-11-29
复审请求人：深圳壹账通智能科技有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：冯慧萍
合议组组长：王阜东
参审员：唐宇希
国际分类号：G06Q10/00
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求与最接近的现有技术相比存在区别技术特征，但上述区别技术特征被其他对比文件所公开或者属于所属领域的公知常识，在该最接近的现有技术的基础上结合其他对比文件以及本领域公知常识得到该权利要求所要求保护的方案对本领域技术人员来说是显而易见的，则该权利要求相对于现有技术不具有突出的实质性特点和显著的进步，不具备创造性。
全文：
本复审请求涉及申请号为201611073720.6，名称为“活动质量评估方法及装置”的发明专利申请（下称本申请）。申请人为深圳壹账通智能科技有限公司。本申请的申请日为2016年11月29日，公开日为2017年04月26日。
经实质审查，国家知识产权局原审查部门于2018年05月25日发出驳回决定，以权利要求1-4不具备创造性为由驳回了本申请，具体理由包括：权利要求1与对比文件1（CN 103577535A，公开日为2014年02月12日）相比，区别技术特征在于：1）用于“活动”的质量评估；权重分布模型根据制定的关键绩效指标KPI进行调整；2）根据预设的活动标签从目标活动中抽取与活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；3）获取目标活动的活动类型，获取与目标活动属于同一活动类型的历史活动的历史活动数据；根据所述历史活动数据计算所述各个关键环节的分数，包括：若所述目标活动不是新活动，分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；实际运营数据指目标活动在各个渠道投放上线的数据；若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息；从所述历史活动数据中逐一获取与各项活动内容信息对应的各个关键环节历史分数；根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数。4）若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前进行质量评估，计算得到的各个关键环节的分数；将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；根据所述比较结果得到需优化关键环节。基于上述区别技术特征，其实际解决的技术问题是：如何优化权重以及关键环节选择以及如何结合历史数据准确确定质量评估分数，如何区分待优化环节。上述区别技术特征1）和4）属于本领域的公知常识，关于区别技术特征2），对比文件2（CN 104361051A，公开日为2015年02月18日；）公开了针对不同对象设置不同的质量评价标准，关于区别技术特征3），对比文件3（CN 103208039A，公开日为2013年07月17日）公开了根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，在对比文件1的基础上结合对比文件2、3以及本领域公知常识从而得到权利要求1的技术方案对于本领域技术人员来说是显而易见的，权利要求1不具备专利法第22条第3款规定的创造性。从属权利要求2的附加技术特征属于本领域的公知常识，权利要求3-4是与权利要求1-2相对应的装置权利要求，基于与权利要求1-2相似的理由，权利要求3-4同样不具备专利法第22条第3款规定的创造性。驳回决定所依据的文本为：申请日2016年11月29日提交的说明书摘要、说明书第1-152段、说明书附图图1-10、摘要附图；2018年04月20日提交的权利要求第1-4项。驳回决定所针对的权利要求书如下：
“1. 一种活动质量评估方法，包括：
加载目标活动的活动数据；
根据预设的活动标签从所述目标活动中抽取与所述活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；
获取所述目标活动的活动类型；
获取与所述目标活动属于同一活动类型的历史活动的历史活动数据；
根据所述历史活动数据计算所述各个关键环节的分数；
按照预设的权重分布模型对所述各个关键环节的分数进行计算，得到所述目标活动的综合质量分数，所述权重分布模型根据制定的关键绩效指标KPI进行调整；
若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前进行质量评估，计算得到的各个关键环节的分数；
将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；
根据所述比较结果得到需优化关键环节；
所述根据所述历史活动数据计算所述各个关键环节的分数，包括：
若所述目标活动不是新活动，则从所述活动数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据；
分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；
逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；
若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息；
从所述历史活动数据中逐一获取与各项活动内容信息对应的各个关键环节历史分数；
根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关 键环节的分数，利用平均值算法，得到所述各个关键环节的分数。
2. 根据权利要求1所述的活动质量评估方法，其特征在于，所述方法还包括：
接收活动质量展示请求；
根据所述活动质量展示请求获取渠道类型、部门标识及展示项目；
根据所述渠道类型及部门标识筛选得到匹配的活动，并获取匹配的各个活动的质量评估信息及与所述展示项目对应的数据；
根据所述匹配的各个活动的质量评估信息及与所述展示项目对应的数据，并按照匹配的各个活动对应的部门标识在界面上对所述匹配的各个活动进行标示；
根据所述界面上标示的各个活动生成并展示活动质量趋势线。
3. 一种活动质量评估装置，其特征在于，包括：
加载模块，用于加载目标活动的活动数据；
抽取模块，用于根据预设的活动标签从所述目标活动中抽取与所述活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；
类型获取模块，用于获取所述目标活动的活动类型；
历史数据获取模块，用于获取与所述目标活动属于同一活动类型的历史活动的历史活动数据；
计算模块，用于根据所述历史活动数据计算所述各个关键环节的分数；
所述计算模块，还用于按照预设的权重分布模型对所述各个关键环节的分数进行计算，得到所述目标活动的综合质量分数，所述权重分布模型根据制定的关键绩效指标KPI进行调整；
预估分数获取模块，用于若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前进行质量评估，计算得到的各个关键环节的分数；
比较模块，用于将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；
优化模块，用于根据所述比较结果得到需优化关键环节；
所述计算模块，包括：
提取单元，用于若所述目标活动不是新活动，则从所述活动数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据；
获取单元，用于分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；
计算单元，用于逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；
所述提取单元，还用于若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息；
所述获取单元，还用于从所述历史活动数据中逐一获取与各项活动内容信息对应的各个关键环节历史分数；
所述计算单元，还用于根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数。
4. 根据权利要求3所述的活动质量评估装置，其特征在于，所述装置还包括：
接收模块，用于接收活动质量展示请求；
展示信息获取模块，用于根据所述活动质量展示请求获取渠道类型、部门标识及展示项目；
筛选模块，用于根据所述渠道类型及部门标识筛选得到匹配的活动，并获取匹配的各个活动的质量评估信息及与所述展示项目对应的数据；
标示模块，用于根据所述匹配的各个活动的质量评估信息及与所述展示项目对应的数据，并按照匹配的各个活动对应的部门标识在界面上对所述匹配的 各个活动进行标示；
生成模块，用于根据所述界面上标示的各个活动生成并展示活动质量趋势线。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年09月06日向国家知识产权局提出了复审请求，同时修改了权利要求书，主要修改方式为在独立权利要求中增加了特征“所述参考指标包括交易人数比率”，并增加了用于实现权利要求1至2中任一项所述方法的步骤的终端和计算机可读存储介质的独立权利要求5和6。复审请求人认为： 1）对比文件1的网络服务是提供一种网络学习方式，基于用户在网络学习时进行实际操作的数据，对用户对网络学习的主观感受进行分析。而权利要求1是基于特定的参考指标，对目标活动客观上达到的活动效果进行评估；2）对比文件1仅涉及对e-learning这种网络学习方式的网络服务，不涉及对服务类型的界定、不涉及对不同的服务设置不同的影响要素。3）对比文件1不涉及如何在用户还没有发生网络学习行为时分析用户的学习体验，而权利要求1能够针对还未上线运营的新活动进行活动效果的预估。4）对比文件1并没有根据具体值对每个影响要素进行打分，且对比文件1并没有涉及历史数据，而权利要求1通过权重分布模型参数计算每个关键环节的分数，从而能够与历史分数进行比较，确定需要优化的关键环节。5）对比文件2是基于接收页面参数时网络服务的一些客观参数来评价网页传输性能，并且对比文件2针对不同终端和网站设置不同的网页服务质量评价标准的作用是，从贴近用户需求角度评价准确的网页传输性能。而权利要求1对不同活动设置不同的参考指标是从贴近企业需求角度准确的评价活动效果。6）对比文件3评价的目的是预测软件项目的风险大小，基于项目指标对应项目是否发生风险的情况，以项目指标数量比值的方式来计算风险概率，而权利要求1是基于特定的参考指标对新活动所达到的活动效果进行评估，是基于相同活动类型的历史数据中相应的关键环节的历史分数，以平均值打分的方式来计算目标活动的活动质量。
复审请求时新修改的权利要求书如下：
“1. 一种活动质量评估方法，包括：
加载目标活动的活动数据；
根据预设的活动标签从所述目标活动中抽取与所述活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；所述参考指标包括交易人数比率；
获取所述目标活动的活动类型；
获取与所述目标活动属于同一活动类型的历史活动的历史活动数据；
根据所述历史活动数据计算所述各个关键环节的分数；
按照预设的权重分布模型对所述各个关键环节的分数进行计算，得到所述目标活动的综合质量分数，所述权重分布模型根据制定的关键绩效指标KPI进行调整；
若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前进行质量评估，计算得到的各个关键环节的分数；
将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；
根据所述比较结果得到需优化关键环节；
所述根据所述历史活动数据计算所述各个关键环节的分数，包括：
若所述目标活动不是新活动，则从所述活动数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据；
分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；
逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；
若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息；
从所述历史活动数据中逐一获取与各项活动内容信息对应的各个关键环节历史分数；
根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数。
2. 根据权利要求1所述的活动质量评估方法，其特征在于，所述方法还包括：
接收活动质量展示请求；
根据所述活动质量展示请求获取渠道类型、部门标识及展示项目；
根据所述渠道类型及部门标识筛选得到匹配的活动，并获取匹配的各个活动的质量评估信息及与所述展示项目对应的数据；
根据所述匹配的各个活动的质量评估信息及与所述展示项目对应的数据，并按照匹配的各个活动对应的部门标识在界面上对所述匹配的各个活动进行标示；
根据所述界面上标示的各个活动生成并展示活动质量趋势线。
3. 一种活动质量评估装置，其特征在于，包括：
加载模块，用于加载目标活动的活动数据；
抽取模块，用于根据预设的活动标签从所述目标活动中抽取与所述活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；所述参考指标包括交易人数比率；
类型获取模块，用于获取所述目标活动的活动类型；
历史数据获取模块，用于获取与所述目标活动属于同一活动类型的历史活动的历史活动数据；
计算模块，用于根据所述历史活动数据计算所述各个关键环节的分数；
所述计算模块，还用于按照预设的权重分布模型对所述各个关键环节的分数进行计算，得到所述目标活动的综合质量分数，所述权重分布模型根据制定的关键绩效指标KPI进行调整；
预估分数获取模块，用于若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指 的是所述目标活动在未上线运营之前进行质量评估，计算得到的各个关键环节的分数；
比较模块，用于将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；
优化模块，用于根据所述比较结果得到需优化关键环节；
所述计算模块，包括：
提取单元，用于若所述目标活动不是新活动，则从所述活动数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据；
获取单元，用于分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；
计算单元，用于逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；
所述提取单元，还用于若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息；
所述获取单元，还用于从所述历史活动数据中逐一获取与各项活动内容信息对应的各个关键环节历史分数；
所述计算单元，还用于根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数。
4. 根据权利要求3所述的活动质量评估装置，其特征在于，所述装置还包括：
接收模块，用于接收活动质量展示请求；
展示信息获取模块，用于根据所述活动质量展示请求获取渠道类型、部门标识及展示项目；
筛选模块，用于根据所述渠道类型及部门标识筛选得到匹配的活动，并获 取匹配的各个活动的质量评估信息及与所述展示项目对应的数据；
标示模块，用于根据所述匹配的各个活动的质量评估信息及与所述展示项目对应的数据，并按照匹配的各个活动对应的部门标识在界面上对所述匹配的各个活动进行标示；
生成模块，用于根据所述界面上标示的各个活动生成并展示活动质量趋势线。
5. 一种终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述方法的步骤。
6. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。”
经形式审查合格，国家知识产权局于2018年09月19日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为，（1）首先，对比文件1中在评价网络服务用户体验质量时，采用的用户回访率、响应速度、导航清晰度、正确点击率等也也是对服务质量的客观评估，将对比文件1中的方法用于活动质量的评估是本领域技术人员容易想到的。（2）对比文件2中公开了针对不同的对象设计不同的质量评价标准，本领域技术人员在解决活动质量评估的问题时，容易想到基于对比文件2公开的内容，针对不同的服务设置不同的影响要素。（3）对比文件3中公开了根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，且上述特征在对比文件3中所起的作用与在本申请中所起的作用相同，本领域技术人员结合对比文件3公开的内容，在对活动质量进行评价时，容易想到基于历史活动数据进行活动效果的预测。（4）对比文件1中公开了使用delphi方法确定影响要素的权重，根据权重对影响要素进行加权求和，计算出e-learning用户体验质量Q，因此公开了针对每个影响要素确定权重。至于根据与历史分数的比较确定需要优化的关键环节，这属于本领域惯用手段。（5）对比文件2中公开了针对不同的对象设计不同的质量评价标准，且所起的作用与在本申请中所起的作用相同，都是针对性地设定质量评价标准，对比文件2给出了在进行活动质量评价时针对不同服务类型采用不同质量评价因素的启示。此外，企业是活动质量评估方案的用户，本领域技术人员容易想到将从用户的角度考虑进行评价的对比文件2用于从企业的角度考虑的活动质量评估中。（6）如上（5）中已经阐述了对比文件2中公开的内容以及其在对比文件2中所起的作用，因此，对比文件2中给出了与对比文件1结合的技术启示。此外，虽然对比文件1和对比文件2中涉及的网络服务类型不完全相同，然而其均是采用常规的一些客观的网络服务质量的评价因素进行服务评价，二者不存在结合的难度。（7）对比文件3已经公开了基于同类型的历史数据对当前的情况进行预测，本领域技术人员容易想到在将对比文件1的方法用于解决活动质量的评价时，结合对比文件3中的方式，对当前的活动质量基于历史数据进行预测。因而坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年06月24日向复审请求人发出复审通知书，指出：权利要求1-6不具备专利法第22条第3款所规定的创造性，其中权利要求1与对比文件1之间的区别特征包括：①参考指标包括交易人数比率，预设的权重分布模型根据制定的关键绩效指标KPI进行调整；②获取所述目标活动的活动类型，获取与所述目标活动属于同一活动类型的历史活动的历史活动数据，根据所述历史活动数据计算所述各个关键环节的分数，包括: 分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息；从所述历史活动数据中逐一获取与各项活动内容信息对应的各个关键环节历史分数；根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数；若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前进行质量评估，计算得到的各个关键环节的分数；将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；根据所述比较结果得到需优化关键环节。基于上述区别特征，权利要求1实际解决的问题是：如何结合历史数据确定活动质量评估分数、如何区分待优化环节、如何优化权重和选择关键环节。关于区别特征①，对比文件2公开了对各个参数预先设定权重并计算得到服务质量。而对于交易人数比率以及“根据制定的关键性绩效指标KPI进行调整”，这两项特征属于与商业交易、经济管理相关的指标，依赖于商业行为、经济管理过程所涉及的多方面因素，其采用的手段并非是遵循自然规律的技术手段，关于上述区别特征②，对比文件3公开了根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，而其他特征属于本领域的公知常识，权利要求1要求保护的技术方案相对于对比文件1以及对比文件2、3和本领域公知常识的结合不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。从属权利要求2的附加技术特征属于本领域的惯用手段。基于与权利要求1-2相似的理由，权利要求3-4同样不具备创造性。权利要求5-6请求保护的执行方法的处理器以及可读存储介质属于本领域的公知设备，在其引用的权利要求1-2不具备创造性的情况下，权利要求5-6也不具备创造性。
复审请求人于2019年07月23日提交了意见陈述书，以及权利要求书全文修改替换页，主要修改方式为在独立权利要求中增加了参考指标、历史活动数据的时间范围限定、活动质量趋势线的展示、及历史信息等特征，以及在从属权利要求2和4中增加了质量评估信息的内容说明等特征。复审请求人认为：1）首先，对比文件1仅针对e-learning系统的在线学习，获取用于评价质量数据的方式是直接按照公式计算对应特征信息，不涉及从用户回访率、响应速度、导航清晰度以及正确点击率中选择来计算评价结果。而本申请评价的线上服务包括多样的目标活动，获取关键环节的方式是按照活动标签从目标活动中抽取得到的。活动标签是根据活动质量评估的参考指标建立的。其次，对比文件1直接利用用户回访率、响应速度等得到评价结果没有涉及对提取出的用户回访率进行处理。权利要求1中以某一活动类型为单位获取预设时间范围内的历史活动数据，而不是以个人为单位获取数据。第三，交易人数比率、用户次月留存率、使用时长以及用户活跃率统计了大量历史数据得到的，具有规律性和客观性。对比文件1只有在用户发生学习行为之后才会产生日志并分析得到学习体验，没有涉及在未发生学习行为时评价服务质量，也没有公开将计算与预估的评价质量进行比较。2）对比文件2监测网页服务质量实际是检测网页自身的响应性能，对比文件2没有公开对得到的质量评价结果进行处理也没有可视化网页自身响应性能的变化。因此，与本申请评价的对象不同。对比文件2针对不同类型的终端或网站是根据应用过程中网页性能的实际需求设置的不同网页服务质量评价标准，对于网页服务质量的评价只是调整了对应参数在多种质量参数中的比重，并没有改变所检测的质量参数。3）对比文件3目的是预测软件项目的风险大小，而本申请是基于特征参考指标对目标活动的效果进行评估，二者应用场景不同。对比文件3利用历史数据的目的是为了制作项目风险评价模型，根据历史数据得到当前评价对象存在的风险概率，而权利要求1历史活动数据是为了预测未上线目标活动的活动效果。综上，从整体上考虑对比文件1、2、3并不能得到本申请的技术方案。
2019年07月23日提交的权利要求书如下：
“1. 一种活动质量评估方法，包括：
加载目标活动的活动数据；
根据预设的活动标签从所述目标活动中抽取与所述活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；所述参考指标包括交易人数比率、用户次月留存率、使用时长以及用户活跃率中的至少一种；
获取所述目标活动的活动类型；
获取在预设时间范围内的与所述目标活动属于同一活动类型的历史活动的历史活动数据；
根据所述历史活动数据计算所述各个关键环节的分数；
按照预设的权重分布模型对所述各个关键环节的分数进行计算，得到所述目标活动的综合质量分数，所述权重分布模型根据制定的关键绩效指标调整所述各个关键环节对应的权重；
根据所述综合质量分数和各个关键环节的分数，按照对应的部门标识在界面上进行标示，根据界面上标示的所述部门标识生成并展示活动质量趋势线；
若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前根据各项活动内容信息对应的各个关键环节历史分数，计算得到的各个关键环节的分数；
将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；
根据所述比较结果得到需优化关键环节；
所述根据所述历史活动数据计算所述各个关键环节的分数，包括：
若所述目标活动不是新活动，则从所述活动数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据；
分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；
逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；
若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息，所述活动内容信息包括活动类型、针对用户人群、活动时间以及活动方式中的至少一种；
从所述历史活动数据中逐一获取与各项活动内容信息相同的历史活动的各个关键环节历史分数；
根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数。
2. 根据权利要求1所述的活动质量评估方法，其特征在于，所述根据所述综合质量分数和各个关键环节的分数，按照对应的部门标识在界面上进行标示包括：
接收活动质量展示请求；
根据所述活动质量展示请求获取渠道类型、部门标识及展示项目；
根据所述渠道类型及部门标识筛选得到匹配的活动，并获取匹配的各个活动的质量评估信息及与所述展示项目对应的数据，所述质量评估信息包括综合质量分数和各个关键环节的分数；
根据所述匹配的各个活动的质量评估信息及与所述展示项目对应的数据，并按照匹配的各个活动对应的部门标识在界面上对所述匹配的各个活动进行标示；
根据所述界面上标示的各个活动生成并展示活动质量趋势线。
3. 一种活动质量评估装置，其特征在于，包括：
加载模块，用于加载目标活动的活动数据；
抽取模块，用于根据预设的活动标签从所述目标活动中抽取与所述活动标签对应的各个关键环节，所述活动标签根据预设的活动质量评估的参考指标进行建立；所述参考指标包括交易人数比率、用户次月留存率、使用时长以及用 户活跃率中的至少一种；
类型获取模块，用于获取所述目标活动的活动类型；
历史数据获取模块，用于获取在预设时间范围内的与所述目标活动属于同一活动类型的历史活动的历史活动数据；
计算模块，用于根据所述历史活动数据计算所述各个关键环节的分数；
所述计算模块，还用于按照预设的权重分布模型对所述各个关键环节的分数进行计算，得到所述目标活动的综合质量分数，所述权重分布模型根据制定的关键绩效指标调整所述各个关键环节对应的权重；用于根据所述综合质量分数和各个关键环节的分数，按照对应的部门标识在界面上进行标示，根据界面上标示的所述部门标识生成并展示活动质量趋势线；
预估分数获取模块，用于若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前根据各项活动内容信息对应的各个关键环节历史分数，计算得到的各个关键环节的分数；
比较模块，用于将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；
优化模块，用于根据所述比较结果得到需优化关键环节；
所述计算模块，包括：
提取单元，用于若所述目标活动不是新活动，则从所述活动数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据；
获取单元，用于分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；
计算单元，用于逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；
所述提取单元，还用于若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息，所述活动内容信息包括活动类型、针对用户人群、活动 时间以及活动方式中的至少一种；
所述获取单元，还用于从所述历史活动数据中逐一获取与各项活动内容信息相同的历史活动的各个关键环节历史分数；
所述计算单元，还用于根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数。
4. 根据权利要求3所述的活动质量评估装置，其特征在于，所述装置还包括：
接收模块，用于接收活动质量展示请求；
展示信息获取模块，用于根据所述活动质量展示请求获取渠道类型、部门标识及展示项目；
筛选模块，用于根据所述渠道类型及部门标识筛选得到匹配的活动，并获取匹配的各个活动的质量评估信息及与所述展示项目对应的数据，所述质量评估信息包括综合质量分数和各个关键环节的分数；
标示模块，用于根据所述匹配的各个活动的质量评估信息及与所述展示项目对应的数据，并按照匹配的各个活动对应的部门标识在界面上对所述匹配的各个活动进行标示；
生成模块，用于根据所述界面上标示的各个活动生成并展示活动质量趋势线。
5. 一种终端，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至2中任一项所述方法的步骤。
6. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至2中任一项所述的方法的步骤。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
审查文本的认定
复审请求人在答复复审通知书时提交了权利要求书全文修改替换页，经审查，所作修改符合专利法第33条以及专利法实施细则第61条第1款的规定。本复审决定所依据的审查文本为：2019年07月23日提交的权利要求第1-6项，申请日2016年11月29日提交的说明书摘要、说明书第1-152段、说明书附图图1-10、摘要附图。
专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
如果一项权利要求与最接近的现有技术相比存在区别技术特征，但上述区别技术特征被其他对比文件所公开或者属于所属领域的公知常识，在该最接近的现有技术的基础上结合其他对比文件以及本领域公知常识得到该权利要求所要求保护的方案对本领域技术人员来说是显而易见的，则该权利要求相对于现有技术不具有突出的实质性特点和显著的进步，不具备创造性。
本复审决定所引用的对比文件与复审通知书以及驳回决定所引用的对比文件相同，为：
对比文件1：CN103577535A，公开日为2014年02月12日；
对比文件2：CN104361051A，公开日为2015年02月18日；
对比文件3：CN103208039A，公开日为2013年07月17日。
其中，对比文件1为最接近的现有技术。
（2.1）关于权利要求1
权利要求1要求保护以一种活动质量评估方法，对比文件1公开了一种客观评价e-learning用户体验质量的方法，并具体公开了（参见说明书第[0083]-[0139]段）：1）建立e-learning用户体验质量评价指标体系（相当于建立预设的活动质量评估的参考指标），用户回访率、响应速度、导航清晰度和正确点击率构成了e-learning用户体验质量的要素层；2)对用户回访率、响应速度、导航清晰度以及正确点击率分别进行定义和量化（相当于活动标签根据预设的活动质量评估的参考指标建立）；3.1从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息（相当于加载数据）；3.2用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；3.3）提取用户回访特征信息并计算用户回访率（提取用户回访特征信息相当于从目标活动中抽取与活动标签对应的关键环节）：提取用户回访率的特征信息需要遍历考查时间段内的用户学习序列，统计用户有效访问系统的次数nv以及总计应访次数ny，按照公式计算用户回访率Rre。3.4）提取响应时间特征信息并计算响应速度：提取响应速度的特征，要遍历用户访问序列数据集，统计从用户请求到系统将响应页面完全呈现给用户的时长之和t，同时记录用户请求的总次数N，然后计算响应时间的均值。3.5）提取导航清晰度特征信息并计算导航清晰度：3.6）提取正确点击特征信息并计算正确点击率（相当于从所述数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是在所述各个关键环节的实际数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据，计算各个关键环节的分数，用户回访特征信息等相当于关键环节）；4）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Qe（相当于按照权重分布模型对各个关键环节的分数进行计算，得到综合质量分数），根据计算的Qe的大小评价e-learning用户体验质量。
由此可知，权利要求1与对比文件1之间的区别特征包括：①参考指标包括交易人数比率、用户次月留存率、使用时长以及用户活跃率中的至少一种，预设的权重分布模型根据制定的关键绩效指标调整所述各个关键环节对应的权重；②根据综合质量分数和各个关键环节的分数，按照对应的部门标识在界面上进行标示，根据界面上标示的部门标识生成并展示活动质量趋势线；获取所述目标活动的活动类型，获取在预设时间范围内与所述目标活动属于同一活动类型的历史活动的历史活动数据，根据所述历史活动数据计算所述各个关键环节的分数，包括：分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息，所述活动内容信息包括活动类型、针对用户人群、活动时间以及活动方式中的至少一种；从所述历史活动数据中逐一获取与各项活动内容信息相同的历史活动的各个关键环节历史分数；根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数；若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前根据各项活动信息对应的各个关键环节历史分数，计算得到的各个关键环节的分数；将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；根据所述比较结果得到需优化关键环节。基于上述区别特征，权利要求1实际解决的问题是：如何结合历史数据确定活动质量评估分数、如何区分待优化环节、如何优化权重和选择关键环节。
关于上述区别特征①，对比文件2公开了一种网页服务质量的检测方法及装置，包括（参见说明书第96段）：网页服务质量的检测装置还可以为各个质量参数设置一定的权重，再根据所述各个质量参数分别乘以所述权重求和得到检测页面的网页服务质量的综合质量参数。即对比文件2公开了对各个参数预先设定权重并计算得到服务质量。而对于交易人数比率、用户次月留存率、使用时长以及用户活跃率以及“根据制定的关键性绩效指标调整各个关键环节对应的权重”，这些特征属于与商业交易、经济管理相关的指标，依赖于商业行为、经济管理过程所涉及的多方面因素，其采用的手段并非是遵循自然规律的技术手段；
关于上述区别特征②，对比文件3公开了一种软件项目风险评价方法（参见说明书第[0014]-[0018]、[0040]段）：收集步骤，收集多个样本的关于项目指标和项目风险的历史数据；分割步骤，将上述项目指标所映射的值域分割为多个，针对每个分割后的子值域取代表值，设相对于某类项目风险的项目指标的种类数量为m时，上述值域是m维向量空间，其中m是大于0的整数；统计步骤，根据收集到的历史数据，统计每个子值域中伴随某类项目风险发生的项目指标映射点的数量相对于映射到该子值域中的所有项目指标映射点的数量的比值，作为该类项目风险出现的风险概率；计算步骤，根据上述代表值与统计后的上述风险概率，进行归一化处理，作为训练数据，制作项目风险评价模型；以及评价步骤，利用上述计算步骤中计算出的项目风险评价模型对新的软件项目进行风险评价，得到预测风险概率。由于同类项目的历史数据对新项目的风险分析更加具有参考价值，因此假设所收集到的数据都属于同类项目（比如都属于嵌入式开发项目），或者已经按照项目类型（如电子商务项目、手机应用项目、中间件项目等）进行了分类。由此可知，对比文件3公开了根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，且其在对比文件3中所起的作用与在本申请中所起的作用相同，都是基于项目历史数据预测项目的评价值。在此基础上，本领域技术人员能够想到，在评估活动质量时，如果不是新活动，则与目标活动同类的历史活动的指定时间内历史活动数据也可作为参考，用于评价目标活动的质量；与之属于同一类型的历史活动的指定时间内历史数据可以作为参考数据，对应的通过分析同一类型的历史活动的历史活动数据的运营区间以及历史分数得到目标活动的关键环节分数进而获得目标活动的质量评估分数。对于新活动，依据该活动的活动内容信息获取相应的活动内容信息，具体获取信息类型可以根据实际需要选择，例如活动类型、人群、活动时间以及活动方式等，从而根据关键环节历史分数得到新活动的关键环节分数，并通过常规的平均值方法，获得更准确的分数值。通过设定阈值区分得到较低得分的关键环节从而有针对性的进行优化改进是本领域技术人员常规的优化手段，此外，对于一项目标活动而言，为了对该活动的运营表现进行预估，在未上线运营之前进行质量评估，从而得到该活动各个关键环节的分数作为预估分数，并将该预估分数作为区分关键环节的阈值也是本领域技术人员容易想到的，对于得到的计算结果例如分数，本领域技术人员可以选择合适的手段（例如按照对应的部门标识在界面上进行标示，根据界面上标示的部门标识生成并展示活动质量趋势线等）进行显示以便于查看，这属于本领域的惯用手段。
综上，在对比文件1的基础上结合对比文件2、3以及本领域惯用手段以得到权利要求1的技术方案对于本领域技术人员来说是显而易见的。权利要求1要求保护的技术方案相对于对比文件1以及对比文件2、3和本领域惯用手段的结合不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
（2.2）关于权利要求2
权利要求2引用了权利要求1，其附加技术特征进一步限定了通过对于活动质量的展示情况，然而展示获取的数据属于本领域的惯用手段，例如获取的渠道类型、部门标识筛选匹配活动，采用界面对获取的相关数据（包含各种分数及项目对应的数据）进行展示也是活动质量评估结果的常规的展示方式，而活动质量趋势线是常规的反映活动质量情况的展示方式。因此，当其引用的权利要求不具备创造性时，上述从属权利要求2也不具备专利法第22条第3款规定的创造性。
（2.3）关于权利要求3
权利要求3要求保护一种活动质量评估装置，对比文件1公开了一种客观评价e-learning用户体验质量的方法，并具体公开了（参见说明书第[0083]-[0139]段）：1）建立e-learning用户体验质量评价指标体系（相当于建立预设的活动质量评估的参考指标），用户回访率、响应速度、导航清晰度和正确点击率构成了e-learning用户体验质量的要素层；2)对用户回访率、响应速度、导航清晰度以及正确点击率分别进行定义和量化（相当于活动标签根据预设的活动质量评估的参考指标建立）；3.1从用户日志的一条日志记录中提取出用户标识信息、学习对象信息以及学习动作发生时间信息（相当于加载数据）；3.2用户学习序列识别：对用户学习日志数据集中每条日志记录进行用户学习序列识别，生成含有学习对象信息、学习动作发生时间信息的用户学习序列数据集；3.3）提取用户回访特征信息并计算用户回访率（提取用户回访特征信息相当于从目标活动中抽取与活动标签对应的关键环节）：提取用户回访率的特征信息需要遍历考查时间段内的用户学习序列，统计用户有效访问系统的次数nv以及总计应访次数ny，按照公式计算用户回访率Rre。3.4）提取响应时间特征信息并计算响应速度：提取响应速度的特征，要遍历用户访问序列数据集，统计从用户请求到系统将响应页面完全呈现给用户的时长之和t，同时记录用户请求的总次数N，然后计算响应时间的均值。3.5）提取导航清晰度特征信息并计算导航清晰度：3.6）提取正确点击特征信息并计算正确点击率（相当于从所述数据中提取各个关键环节的实际运营数据，所述实际运营数据指的是在所述各个关键环节的实际数据，所述实际运营数据指的是所述目标活动在各个渠道投放上线后在所述各个关键环节的实际数据，计算各个关键环节的分数，用户回访特征信息等相当于关键环节）；4）使用Delphi方法确定影响要素的权重，按照权重对影响要素进行加权求和，计算出e-learning用户体验质量Qe（相当于按照权重分布模型对各个关键环节的分数进行计算，得到综合质量分数），根据计算的Qe的大小评价e-learning用户体验质量。
由此可知，权利要求3与对比文件1之间的区别特征包括：①参考指标包括交易人数比率、用户次月留存率、使用时长以及用户活跃率中的至少一种，预设的权重分布模型根据制定的关键绩效指标调整所述各个关键环节对应的权重；②根据综合质量分数和各个关键环节的分数，按照对应的部门标识在界面上进行标示，根据界面上标示的部门标识生成并展示活动质量趋势线；获取所述目标活动的活动类型，获取在预设时间范围内与所述目标活动属于同一活动类型的历史活动的历史活动数据，根据所述历史活动数据计算所述各个关键环节的分数，包括：分别从所述历史活动数据中获取所述各个关键环节的运营数据区间，以及与各个运营数据区间匹配的关键环节历史分数；逐一确定各个关键环节的实际运营数据所处的运营数据区间，并获取与所处的运营数据区间匹配的关键环节历史分数，从而得到各个关键环节的分数；若所述目标活动是新活动，则从所述活动数据中提取各项活动内容信息，所述活动内容信息包括活动类型、针对用户人群、活动时间以及活动方式中的至少一种；从所述历史活动数据中逐一获取与各项活动内容信息相同的历史活动的各个关键环节历史分数；根据所述各项活动内容信息对应的各个关键环节历史分数计算所述各个关键环节的分数，利用平均值算法，得到所述各个关键环节的分数；若所述目标活动不是新活动，则获取与所述目标活动匹配的各个关键环节的预估分数，其中，所述各个关键环节的预估分数指的是所述目标活动在未上线运营之前根据各项活动信息对应的各个关键环节历史分数，计算得到的各个关键环节的分数；将所述目标活动计算得到的各个关键环节的分数分别与对应的预估分数进行比较，得到比较结果；根据所述比较结果得到需优化关键环节。基于上述区别特征，权利要求3实际解决的问题是：如何结合历史数据确定活动质量评估分数、如何区分待优化环节、如何优化权重和选择关键环节。
关于上述区别特征①，对比文件2公开了一种网页服务质量的检测方法及装置，包括（参见说明书第96段）：网页服务质量的检测装置还可以为各个质量参数设置一定的权重，再根据所述各个质量参数分别乘以所述权重求和得到检测页面的网页服务质量的综合质量参数。即对比文件2公开了对各个参数预先设定权重并计算得到服务质量。而对于交易人数比率、用户次月留存率、使用时长以及用户活跃率以及“根据制定的关键性绩效指标调整各个关键环节对应的权重”，这些特征属于与商业交易、经济管理相关的指标，依赖于商业行为、经济管理过程所涉及的多方面因素，其采用的手段并非是遵循自然规律的技术手段；
关于上述区别特征②，对比文件3公开了一种软件项目风险评价方法（参见说明书第[0014]-[0018]、[0040]段）：收集步骤，收集多个样本的关于项目指标和项目风险的历史数据；分割步骤，将上述项目指标所映射的值域分割为多个，针对每个分割后的子值域取代表值，设相对于某类项目风险的项目指标的种类数量为m时，上述值域是m维向量空间，其中m是大于0的整数；统计步骤，根据收集到的历史数据，统计每个子值域中伴随某类项目风险发生的项目指标映射点的数量相对于映射到该子值域中的所有项目指标映射点的数量的比值，作为该类项目风险出现的风险概率；计算步骤，根据上述代表值与统计后的上述风险概率，进行归一化处理，作为训练数据，制作项目风险评价模型；以及评价步骤，利用上述计算步骤中计算出的项目风险评价模型对新的软件项目进行风险评价，得到预测风险概率。由于同类项目的历史数据对新项目的风险分析更加具有参考价值，因此假设所收集到的数据都属于同类项目（比如都属于嵌入式开发项目），或者已经按照项目类型（如电子商务项目、手机应用项目、中间件项目等）进行了分类。由此可知，对比文件3公开了根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，且其在对比文件3中所起的作用与在本申请中所起的作用相同，都是基于项目历史数据预测项目的评价值。在此基础上，本领域技术人员能够想到，在评估活动质量时，如果不是新活动，则与目标活动同类的历史活动的指定时间内历史活动数据也可作为参考，用于评价目标活动的质量；与之属于同一类型的历史活动的指定时间内历史数据可以作为参考数据，对应的通过分析同一类型的历史活动的历史活动数据的运营区间以及历史分数得到目标活动的关键环节分数进而获得目标活动的质量评估分数。对于新活动，依据该活动的活动内容信息获取相应的活动内容信息，具体获取信息类型可以根据实际需要选择，例如活动类型、人群、活动时间以及活动方式等，从而根据关键环节历史分数得到新活动的关键环节分数，并通过常规的平均值方法，获得更准确的分数值。通过设定阈值区分得到较低得分的关键环节从而有针对性的进行优化改进是本领域技术人员常规的优化手段，此外，对于一项目标活动而言，为了对该活动的运营表现进行预估，在未上线运营之前进行质量评估，从而得到该活动各个关键环节的分数作为预估分数，并将该预估分数作为区分关键环节的阈值也是本领域技术人员容易想到的，对于得到的计算结果例如分数，本领域技术人员可以选择合适的手段（包括按照对应的部门标识在界面上进行标示，根据界面上标示的部门标识生成并展示活动质量趋势线等）进行显示以便于查看，这属于本领域的惯用手段。
综上，在对比文件1的基础上结合对比文件2、3以及本领域惯用手段以得到权利要求3的技术方案对于本领域技术人员来说是显而易见的。权利要求3要求保护的技术方案相对于对比文件1以及对比文件2、3和本领域惯用手段的结合不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
（2.4）关于权利要求4
权利要求4引用了权利要求3，其附加技术特征进一步限定了通过对于活动质量的展示情况，然而展示获取的数据属于本领域的惯用手段，例如获取的渠道类型、部门标识筛选匹配活动，采用界面对获取的相关数据（包含各种分数及项目对应的数据）进行展示也是活动质量评估结果的常规的展示方式，而活动质量趋势线是常规的反映活动质量情况的展示方式。因此，当其引用的权利要求不具备创造性时，上述从属权利要求4也不具备专利法第22条第3款规定的创造性。
（2.5）权利要求5-6
权利要求5要求保护一种终端，其具有存储器和处理器，处理器能够执行权利要求1-2的方法，而具有存储器和处理器的终端属于本领域的基本电子设备，故而，在其引用的权利要求1-2不具备创造性的情况下，权利要求5也不具备创造性。
权利要求6要求保护一种计算机可读存储介质，其中存储的程序能够执行权利要求1-2的方法，可读存储介质是常见的存储设备，属于本领域的公知设备，故而，在其引用的权利要求1-2不具备创造性的情况下，权利要求6也不具备创造性。
对复审请求人相关意见的评述
复审请求人的陈述意见详见案由部分。
对此，合议组认为：1）对比文件1的e-learning也是一种线上服务，与本申请对线上活动的质量评估都是实现对线上服务质量的评价。对比文件1公开了对用户回访率、响应速度、导航清晰度以及正确点击率分别进行定义和量化，并且公开了使用权重计算求和得到用户体验质量Q。实际评价的对象不同，选择的参考指标可能会有所不同，而权利要求1所设定的参考指标包括交易人数比率、用户次月留存率、使用时长以及用户活跃率等，这些指标同样受用户主观感受以及商业活动的影响，不属于遵循了自然规律的技术手段。对于历史数据的使用，对比文件3公开了根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，且上述特征在对比文件3中所起的作用与在本申请中所起的作用相同，都是根据历史数据预测当前评价值，本领域技术人员结合对比文件3公开的内容，在对活动质量进行评价时，容易想到基于一定时间范围内的历史活动数据进行活动效果的预测。
2）对比文件2公开了（参见说明书第97段）：针对不同类型的终端、或者不同类型的网站设置不同的网页服务质量评价标准。即对比文件2公开了对各个参数预先设定权重并计算得到服务质量，还公开了不同的评价对象可以有不同的质量评价标准。而对于交易人数比率、用户次月留存率、使用时长以及用户活跃率以及“根据制定的关键性绩效指标调整各个关键环节对应的权重”，这些具体特征属于与商业交易、经济管理相关的指标，依赖于商业行为、经济管理过程所涉及的多方面因素，其采用的手段并非是遵循自然规律的技术手段。
3）对比文件3公开了：由于同类项目的历史数据对新项目的风险分析更加具有参考价值，因此假设所收集到的数据都属于同类项目，或者已经按照项目类型（如电子商务项目、手机应用项目、中间件项目等）进行了分类。故而，对比文件3的风险分析同样可以应用于电子商务以及手机应用中，这与本申请的应用是相似的。并且对比文件3根据与项目同类的项目历史数据建立风险评价模型从而对项目的风险概率进行预测，且上述特征在对比文件3中所起的作用与在本申请中所起的作用相同，都是根据历史数据预测当前评价值，对比文件3还公开了历史数据的使用、公开了根据历史数据对当前的软件项目风险进行预测，给出了结合历史数据得到当前评价对象情况的启示，本领域技术人员结合对比文件3公开的内容，在对活动质量进行评价时，容易想到基于历史活动数据进行活动效果的预测。综上所述，复审请求人的陈述意见不能被接受。
基于上述理由，合议组做出如下复审决定。
三、决定
维持国家知识产权局于2018年05月25日对本申请作出的驳回决定。
如对本复审决定不服，根据专利法第41条第2款的规定，复审请求人可自收到本复审决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
