发明创造名称：一种在线测试系统和方法
外观设计名称：
决定号：199157
决定日：2019-11-26
委内编号：1F283944
优先权日：
申请（专利）号：201510565632.7
申请日：2015-09-08
复审请求人：上海摩库数据技术有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：吴旭
合议组组长：刘俭
参审员：贾煜
国际分类号：H04L12/26
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：如果一项权利要求请求保护的技术方案相对于最接近的现有技术存在区别特征，但上述区别特征属于所属技术领域的技术人员的惯用手段，则现有技术给出了明确的启示，促使所属技术领域的技术人员将上述惯用手段应用于最接近的现有技术中以解决相同的技术问题并获得该权利要求请求保护的技术方案，则该权利要求不具备专利法第22条第3款规定的创造性。
全文：
本复审请求审查决定涉及申请号为201510565632.7，名称为“一种在线测试系统和方法”的发明专利申请（下称本申请）。申请人为上海摩库数据技术有限公司。本申请的申请日为2015年09月08日，公开日为2016年01月20日。
经实质审查，国家知识产权局实质审查部门于2019年02月02日发出驳回决定，以权利要求1-4相对对比文件1和本领域的惯用手段的结合不具备专利法第22条第3款规定的创造性为由驳回了本申请。驳回决定中引用的对比文件为对比文件1：CN103324566A，公开日为2013年09月25日。驳回决定所依据的文本为：2018年05月29日提交的权利要求第1-4项；申请日2015年09月08日提交的说明书第1-33段（即第1-3页），说明书附图第1页，说明书摘要及摘要附图。
驳回决定所针对的权利要求书的全文内容如下：
“1. 一种在线测试系统，其特征在于，包括：
服务器，在服务器中设置有多个需要测试的版本的代码，各版本完整且可独立运行；
前端调度器，用于流量引导，使得少部分用户访问新版本，多数用户仍然访问老版本，并以流量递增的方式向少量用户逐步放开新版本，将本次获得的版本号写入cookie中，后续访问，都会固定到cookie标示的版本，通过配置cookie的生存期来设定测试周期，用户第二次及后续访问，前端调度器判断cookie中存在版本号，则固定访问到这个版本；
监控模块，用于对每个版本的运行进行实时监控，记录访问数据；
数据分析模块，用于分析每个版本的访问数据。
2. 根据权利要求1所述的一种在线测试系统，其特征在于，所述数据分析模块采用谷歌的数据分析系统。
3. 一种在线测试方法，其特征在于，通过权利要求1所述的一种在线测试系统完成，至少包括以下步骤：
(1)通过发布系统，将多个需要测试的版本的代码发布到不同的目录；
(2)用户第一次访问，设置其中一个版本为默认版本，默认将前端调度器的根目录，定位到默认版本；
(3)使用统一入口页面，在页面中配置每个版本的权重，配置的权重使得少部分用户访问新版本，多数用户仍然访问老版本，并以流量递增的方式向少量用户逐步放开新版本；
(4)通过配置的权重，获取当前用户访问的版本号；
(5)将本次获得的版本号写入cookie中，后续访问，都会固定到cookie标示的版本；
(6)通过配置cookie的生存期来设定测试周期；
(7)用户第二次及后续访问，前端调度器判断cookie中存在版本号，则固定访问到这个版本；
(8)监控模块实时监控用户访问行为，记录访问数据；
(9)数据分析模块分析每个版本的访问数据；
(10)通过分析出的不同版本的错误日志，在全线发布前修复可能存在的问题。
4. 根据权利要求3所述的一种在线测试方法，其特征在于，所述步骤(8)还包括：在每个版本中分别设置不同的统计代码，所有客户的访问数据统一到每个版本的统计代码。”
申请人（下称复审请求人）对上述驳回决定不服，于2019年04月27日向国家知识产权局提出了复审请求，未修改申请文件。复审请求人认为：本申请与对比文件1解决的技术问题不同；对比文件1的技术方案并未涉及，更未教导以流量递增的方式向少量用户逐步开放新产品，未给出解决本申请所要解决的技术问题的技术启示；此外，采用以流量递增的方式向少量用户逐步开放新版本并非公知常识；本申请权利要求1所提出的技术方案中，新版本发布时，设定时间T如未监控到两类异常信息则增加新版本访问用户数量，如果监控到两类异常数据后停止发布新版本，所有用户回退至老版本，由此实现在发现问题前将影响降到最小的技术效果。
经形式审查合格，国家知识产权局于2019年05月31日依法受理了该复审请求，并将其转送至实质审查部门进行前置审查。
实质审查部门在前置审查意见书中坚持驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019年08月30日向复审请求人发出复审通知书，复审通知书针对的审查文本与驳回决定针对的审查文本相同，为：复审请求人于2018年05月29日提交的权利要求第1-4项；于申请日2015年09月08日提交的说明书第1-3页，说明书附图第1页，说明书摘要及摘要附图。复审通知书引用的对比文件与驳回决定中引用的对比文件相同，即上述对比文件1，同时复审通知书还引用两份公知常识证据材料：李棠之等编著的《通信网络技术》，科学技术文献出版社，2000年08月出版,“九五”军队级重点教材军队院校专业教材；刘新生主编的《软件测试理论》，中国计量出版社，2010年08月出版，人力资源和社会保障部软件测试师岗位培训指定教材。复审通知书详细评述了权利要求1-4相对于对比文件1和本领域惯用手段的结合不具备专利法第22条第3款规定的创造性的理由。针对复审请求人在复审请求书中陈述的意见，合议组进一步指出：根据对比文件1公开的内容可知，对比文件1公开的技术方案客观上解决了在产品全线发布前修复可能存在的问题这一技术问题，从而在造成大规模用户影响之前得到最后的修复机会；对比文件1公开了可以人为设定新老版本的用户流量；在人为设定上述测试不同版本的用户流量时，权利要求1与对比文件1的区别仅在于：对比文件1给出一个固定分配比例，而权利要求1采用由少到多递增分配；但是对于本领域技术人员而言，在新版本替代旧版本的过程中，由少到多，逐步放开新版本，属于本领域的惯用手段，并引用了两份公知常识证据进行证明；最后，由于原说明书和权利要求书中均未记载任何有关“设定时间T如未监控到两类异常信息则增加新版本访问用户数量，如果监控到两类异常数据后停止发布新版本，所有用户回退至老版本”的技术方案，因此该技术方案及其带来的技术效果，不能作为权利要求1具备创造性的理由。
复审请求人于2019年09月27日提交了意见陈述书，同时提交了权利要求书的全文修改替换页，将权利要求1、2和4的技术特征均补入独立权利要求3，删除权利要求1、2和4，形成新的独立权利要求1。复审请求人在意见陈述书中认为：1.采用监控模块和数据分析模块更适合搜集用户数据，并对用户行为更快速、更全面地进行分析，进而发现可能存在的质量问题，并修复该问题；2.“将版本号写入cookie中，通过配置cookie的生存期来设定测试周期”有助于高效地区分多个需要测试的版本；3.修改后的权利要求1的技术方案克服了本技术领域对于在线测试方法的技术偏见，有效地避免产品可能存在的质量问题造成大规模用户影响之前，得到最后的修复机会，产生了非常有益的技术效果；同时，通过以流量递增的方式向少量用户逐步放开新版本的技术方案实现了产品快速上线运营，在商业上获得了成功；4.采用谷歌数据分析系统，可减少开发成本，有利于快速、全面地分析用户行为；5.采用统计代码的方式可以更加高效地搜集用户数据，从而快速分析用户行为。
复审请求人于2019年09月27日提交的独立权利要求1的内容如下：
“1. 一种在线测试方法，其特征在于，通过一种在线测试系统完成，至少包括以下步骤：
(1)通过发布系统，将多个需要测试的版本的代码发布到不同的目录；
(2)用户第一次访问，设置其中一个版本为默认版本，默认将前端调度器的根目录，定位到默认版本；
(3)使用统一入口页面，在页面中配置每个版本的权重，配置的权重使得少部分用户访问新版本，多数用户仍然访问老版本，并以流量递增的方式向少量用户逐步放开新版本；
(4)通过配置的权重，获取当前用户访问的版本号；
(5)将本次获得的版本号写入cookie中，后续访问，都会固定到cookie标示的版本；
(6)通过配置cookie的生存期来设定测试周期；
(7)用户第二次及后续访问，前端调度器判断cookie中存在版本号，则固定访问到这个版本；
(8)在每个版本中分别设置不同的统计代码，监控模块实时监控用户访问行为，记录访问数据，所有客户的访问数据统一到每个版本的统计代码；
(9)数据分析模块分析每个版本的访问数据；
(10)通过分析出的不同版本的错误日志，在全线发布前修复可能存在的问题；
所述在线测试系统包括：
服务器，在服务器中设置有多个需要测试的版本的代码，各版本完整且可独立运行；
前端调度器，用于流量引导，使得少部分用户访问新版本，多数用户仍然访问老版本，并以流量递增的方式向少量用户逐步放开新版本；
监控模块，用于对每个版本的运行进行实时监控，记录访问数据；
数据分析模块，用于分析每个版本的访问数据，所述数据分析模块采用谷歌的数据分析系统。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）关于审查文本
复审请求人在2019年09月27日答复复审通知书时提交了权利要求书的全文修改替换页。经审查，上述修改文本的修改之处符合专利法第33条的规定。本复审请求审查决定依据的文本为：复审请求人于2019年09月27日提交的权利要求第1项；于申请日2015年09月08日提交的说明书第1-3页，说明书附图第1页，说明书摘要及摘要附图。
（二）关于专利法第22条第3款
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
本复审请求审查决定引用的对比文件与驳回决定及复审通知书中引用的对比文件相同，即：
对比文件1：CN103324566A，公开日为2013年09月25日。
本复审请求审查决定继续沿用复审通知书中引用的两份公知常识证据材料：李棠之等编著的《通信网络技术》，科学技术文献出版社，2000年08月出版,“九五”军队级重点教材军队院校专业教材；刘新生主编的《软件测试理论》，中国计量出版社，2010年08月出版，人力资源和社会保障部软件测试师岗位培训指定教材。
1.权利要求1要求保护一种在线测试方法。对比文件1公开了一种网页产品多版本测试方法及装置，并具体公开了如下技术特征（参见对比文件1的权利要求1、3-4和6；说明书第0039-0083、0111-0116段；附图1-4b、7）：该网页产品多版本测试方法包括：S101、针对任一参考指标，获取预期各测试版本中、该参考指标的指标值与基准版本相比变化的期望值；如图所示，图2a为基准版本，图2b为测试版本；S102、根据该期望值，分别确定各测试版本需要的测试时间；S103、在确定出的测试时间内，接收各访问用户提交的访问请求；S104、根据预设的用户分流规则，将各访问用户分配至对应的版本测试桶中，其中，将各访问用户分配至对应的版本测试桶中之前，还包括：确定各访问用户对应的测试组，所述测试组与测试变量一一对应，每个测试组包含多个版本测试桶（相当于本申请设置的多个需要测试的版本，各版本完整且可独立运行）；在一次测试中，将各分配20%的用户至各测试版本，即针对第一测试变量对应的测试版本分配6000用户，针对第二测试变量对应的测试版本分配6000用户；S105、针对任一测试版本，分别记录各访问用户的操作信息，并进行统计分析得到测试结果。任一访问用户在首次访问时，按照预设的分流规则将该访问用户分配至某一版本的测试桶中，并向用户返回为其分配的版本测试桶的桶标识，当用户后续再次访问时，需要首先判断该用户是否携带有桶标识，若无，则重新进行分配，否则直接将该访问用户定位分配至对应的版本测试桶内。分流规则实际上是一种分配算法，如随机分配、轮询分配、按照cookie分配或按照IP_HASH分配等。在创建一个新的测试时，可以动态地配置测试生效时间、选择器参数以及每个测试组包含的不同测试版本，其中选择器参数可以为访问用户的Cookie。如图7所示，与方法对应的网页产品多版本测试装置包括：分配单元704（相当于本申请的前端调度器），用于按照预设的用户分流规则，将各访问用户分配至对应的版本测试桶中（所述对用户进行分流的方法，相当于本申请的流量引导）；统计分析单元705，用于针对任一测试版本，并进行统计分析分别记录各访问用户的操作，得到测试结果（相当于实时监控用户访问行为，记录访问数据，并分析每个版本的访问数据）。
从对比文件1公开的上述内容可知，一次测试中，各分配20%的用户至各测试版本，即针对第一测试变量对应的测试版本分配6000用户，针对第二测试变量对应的测试版本分配6000用户，其中，各测试版本相对于基准版本而言即新版本，该基准版本可视为老版本，20%相当于为该版本配置的权重，因此上述分配20%的用户至测试版本的方法相当于配置每个版本的权重，使少部分用户访问新版本，多数用户仍然访问老版本；而对比文件1中将首次访问时分配给用户的某一版本测试桶的桶标识返回用户，用户再次访问时直接将用户分配至对应的版本测试桶，相当于本申请将本次获得的版本号写入，后续访问都会固定到该对应的版本，用户第二次及后续访问，前端调度器判断版本号，则固定访问这个版本。
由此可见，权利要求1所要保护的技术方案与对比文件1公开的内容相比，区别特征在于：（1）通过发布系统将多个需要测试的版本的代码发布到不同的目录，多个需要测试的版本的代码被设置在服务器中，用户第一次访问时，默认将前端调度器的根目录定位到设置的默认版本，使用统一入口界面，且由监控模块和数据分析模块这两个模块实现对比文件1中公开的统计分析单元705实现的功能，并通过分析出不同版本的错误日志，在全线发布前修复可能存在的问题。（2）将版本号写入cookie中，通过配置cookie的生存期来设定测试周期。（3）以流量递增的方式向少量用户逐步放开新版本。（4）在每个版本中分别设置不同的统计代码，所有客户的访问数据统一到每个版本的统计代码，以及采用谷歌的数据分析系统。基于上述区别特征，权利要求1的技术方案相对于对比文件1实际解决的技术问题是：如何实现为各版本灵活地分配用户流量、高效地分析用户数据以及修复各版本存在的问题。
对于上述区别特征（1），首先，通过发布系统发布多个需要测试的版本的代码，采用服务器来存储相应的代码，以及设置首次访问的默认版本，均为本领域的惯用手段，采用目录的形式实现版本的定位，并使用统一入口界面，是本领域技术人员能够根据实际需要进行的简单设计方案选择；而选择相应的功能模块以实现已知的方法步骤，也属于本领域的惯用手段，在对比文件1（参见同上）公开的统计分析单元705可以实现相应的方法步骤的前提下，本领域技术人员根据实际需要选用两个功能模块，如：监控模块和数据分析模块，来完成统计分析单元705实现的方法步骤，属于根据公知原理和采用常规技术手段就可以实现的技术内容；其次，对比文件1（参见同上）还公开了采用统计分析单元705对任一测试版本进行统计分析以得到测试结果，而错误日志即本领域最常用的统计分析测试版本的工具之一，利用错误日志可以在版本全线发布前修复存在的问题，属于本领域的惯用手段。对于上述区别特征（2），对比文件1（参见同上）已经公开了采用cookie作为用户的分流规则，且可以动态地配置测试生效时间，当用户后续再次访问时，通过判断其是否携带有首次访问分配的版本测试桶的桶标识（即版本号）来确定用户的分配，即对比文件1已经公开了根据cookie和版本号对用户进行分流，且可设定测试周期；而对于本领域技术人员而言，为了简化数据、减轻网络负担，将上述必须的信息合并，即，将版本号写入cookie中，并通过配置cookie的生存期来设定测试周期，属于本领域的惯用手段。对于上述区别特征（3），对比文件1（参见同上）已经公开了通过人为设定用户流量的比例（如：20%）以使少部分用户访问新版本，多数用户仍然访问老版本，即已经公开了可以人为设定新老版本的用户流量；而对于本领域技术人员而言，在新版本替代旧版本的过程中，由少到多，逐步放开新版本，属于本领域的惯用手段；例如，李棠之等编著的《通信网络技术》第182页明确指出以软件的新版本更换旧版本的过程中，要求新版本与老版本兼容，并“逐步更换为新版本”；刘新生主编的《软件测试理论》第2.2.6节中也明确教导了在新软件的性能测试过程中，可以设定用户的访问方式为“逐步增加”。对于上述区别特征（4），对本领域技术人员而言，通过统计代码的方式自动统计每个版本的所有客户访问数据，是本领域的惯用手段；而谷歌的数据分析系统属于本领域常用的数据分析工具，在选择数据分析模块实现相应方法时，选用该本领域常用的谷歌数据分析系统，是可以根据需要进行的简单设计方案选择。
综上所述，在对比文件1的基础上结合上述本领域的惯用手段得到该权利要求1请求保护的技术方案，对于本领域技术人员来说是显而易见的。因此，权利要求1请求保护的技术方案不具有突出的实质性特点和显著的进步，不具备专利法第22条第3款规定的创造性。
（三）对复审请求人意见的回复
对于复审请求人在意见陈述书中提出的意见，合议组认为：
1.针对复审请求人提出的第1、2、4和5点意见，请参见上文针对独立权利要求1相对于对比文件1和本领域惯用手段的结合不具备创造性的审查意见，其中针对每一个区别特征都进行了详细阐述，此处不再赘述。
2.针对复审请求人提出的第3点意见，首先，在软件产品测试领域，修复bug是最常规的功能，在产品正式发布前对该软件产品进行测试的基本目的之一就是修复产品可能存在的问题；对比文件1（参见同上）公开了产品正式发布前使用多个版本测试桶分别分配相应的用户流量进行测试，且针对任一测试版本可进行统计分析分别记录各访问用户的操作，得到测试结果；通过测试结果必然能够发现被测试版本可能存在的问题，因此，对比文件1公开的技术方案客观上解决了在产品全线发布前修复可能存在的问题这一技术问题，从而在造成大规模用户影响之前得到最后的修复机会，也能产生非常有益的技术效果。其次，对比文件1（参见同上）已经公开了通过人为设定用户流量的比例（如：20%）以使少部分用户访问新版本，多数用户仍然访问老版本，即已经公开了可以人为设定新老版本的用户流量；在人为设定上述测试不同版本的用户流量时，权利要求1与对比文件1的区别仅在于：对比文件1给出一个固定分配比例，而权利要求1采用由少到多递增分配；但是对于本领域技术人员而言，在新版本替代旧版本的过程中，由少到多，逐步放开新版本，属于本领域的惯用手段；例如，李棠之等编著的《通信网络技术》第182页明确指出以软件的新版本更换旧版本的过程中，要求新版本与老版本兼容，并“逐步更换为新版本”；刘新生主编的《软件测试理论》第2.2.6节中也明确教导了在新软件的性能测试过程中，可以设定用户的访问方式为“逐步增加”。因此，本领域技术人员根据实际需要，采用本领域常用的由少到多递增的人为设定方式，属于本领域的惯用手段。
基于上述理由，合议组对复审请求人的意见不予支持。
三、决定
维持国家知识产权局于2019年02月02日对本申请作出的驳回决定。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可以自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
