发明创造名称：一种填空题试题的生成和判卷的方法及系统
外观设计名称：
决定号：200790
决定日：2020-01-09
委内编号：1F265787
优先权日：
申请（专利）号：201611040464.0
申请日：2016-11-22
复审请求人：深圳市鹰硕技术有限公司
无效请求人：
授权公告日：
审定公告日：
专利权人：
主审员：徐小岭
合议组组长：罗崇举
参审员：杨丽丽
国际分类号：G06Q50/20，G09B7/02
外观设计分类号：
法律依据：专利法第22条第3款
决定要点
：一项权利要求请求保护的技术方案相对于作为最接近现有技术的对比文件存在区别技术特征，如果该区别技术特征没有被其它对比文件公开，该区别技术特征也不属于本领域的公知常识，本领域技术人员在上述对比文件基础上结合本领域公知常识得到该权利要求的技术方案是非显而易见的，且由于包括该区别技术特征使得该权利要求的技术方案实现了有益的技术效果，则该权利要求具有突出的实质性特点和显著的进步，具备创造性。
全文：
本复审请求涉及申请号为201611040464.0，名称为“一种填空题试题的生成和判卷的方法及系统”的发明专利申请（下称本申请）。本申请的申请人为深圳市鹰硕技术有限公司，申请日为2016年11月22日，公开日为2017年02月15日。
经实质审查，国家知识产权局原审查部门于2018年08月13日发出驳回决定，以权利要求1-6不符合专利法第22条第3款的规定为由驳回了本申请，其具体理由为：（1）权利要求1和对比文件1（CN101261617A，公开为2008年09月10日）相比的区别技术特征为：所述至少一个正确答案的其他答案是与所述首选答案等同或近似的答案；编辑启动步骤及题干编辑步骤的具体规则。上述区别技术特征属于本领域的惯用手段，因此权利要求1相对于对比文件1和本领域惯用手段的结合不具备专利法第22条第3款规定的创造性。（2）权利要求2-3的附加技术特征属于本领域的惯用手段，在其引用的权利要求不具备创造性时，上述权利要求也均不具备创造性。（3）权利要求4和5引用了权利要求1-3的生成方法、权利要求6引用了权利要求4的判卷方法，其进一步限定的技术特征属于本领域的惯用手段，因此权利要求4-6相对于对比文件1和本领域惯用手段的结合不具备专利法第22条第3款规定的创造性。
驳回决定所依据的文本为：申请人于申请日2016年11月22日提交的说明书第1-96段、说明书附图1-2、说明书摘要、摘要附图；于2018年06月07日提交的权利要求第1-6项 。
驳回决定所针对的权利要求书如下：
“1. 一种填空题试题的生成方法，其特征在于，包括以下步骤：
编辑启动步骤：调取用于编辑成填空题的原始题干信息，原始题干信息是未经编辑的包含题干填空项上内容的信息；
题干编辑步骤：对填空题的题干内容进行编辑，产生至少两个填空项，对所述题干和所述填空项分别添加包含属性信息的填空题ID标识和填空项ID标识；
答案赋予步骤：为所述填空项设定至少一个正确答案和至少一个错误答案，所述填空项ID标识与所述填空题ID标识存在关联关系，并根据所述填空题ID标识和填空项ID标识，建立所述填空项和所述答案之间的对应关联关系，并且保存至填空题数据库；
试题生成步骤：根据试题生成规则，通过与所述数据库中的填空题的以上两种ID标识进行比对，提取符合所述生成规则的填空题及其对应的答案，并且生成试题，并保存至试题数据库；
其中，
在所述题干编辑步骤中，对所述题干内容的编辑包括，采用定义数据源规则以规范题干内容数据表达，或者，采用集成至文字编辑器的中间件按钮对题干内容进行编辑；所述定义数据源规则是由任意符号、数字、字母、或文字定义的规范，包括()、##、||、＜＞、《》、{}、「」、〖〗、『』、〈〉、和AA；所述中间件按钮在编辑器定义一个按钮，点击实现新填空项的插入；
所述试题生成步骤包括规则设定步骤、比对步骤和生成步骤，其中，所述规则设定步骤，用于产生试题生成规则，规则内容对应于所述题干和/或所述填空项的有关属性信息，所述比对步骤，用于根据试题生成规则，通过与所述填空题的以上两种所述ID标识进行比对，生成符合所述生成规则的填空题试题，所述生成步骤用于在生成填空题试题后，根据实际生成的填空项内容，更新所述填空题数据库中的填空题ID标识中的属性信息；
所述至少一个正确答案的首选答案是所述填空项原先对应的所述题干的内容，所述至少一个正确答案的其他答案是与所述首选答案等同或近似的答案，所述至少一个错误答案为典型的错误答案；
在所述试题生成步骤中，根据不同的试题生成规则，每次可以从每道填空题的所述至少两个填空项中选择至少一个填空项生成填空题试题，对于没有被选中的填空项，将相应的首选答案填充回所述没有被选中的填空项，在所述生成的填空题试题中不再构成填空项。
2. 根据权利要求1的方法，其特征在于，所述属性信息包括：顺序编号、涉及的知识点、标准分值、难度系数、被采用的次数、以往的错误率、最近一次被 采用的时间。
3. 根据权利要求2的方法，其特征在于，所述试题生成规则是根据试题生成需要设定的，其中的规则内容对应于所述填空题和/或所述填空项的至少一个属性信息。
4. 一种由权利要求1-3之一的方法生成的填空题试题构成的填空题试卷的判卷方法，其特征在于，包括以下步骤：
填空题试卷生成步骤：从所述试题数据库中，选择至少一道填空题试题构成填空题试卷或者试卷的填空题试题部分；
测试答案提取步骤：在生成的填空题试卷完成测试之后，提取试卷中试题的填空题ID标识和填空项ID标识、以及对应的填空项的测试答案；
测试答案比对步骤：将提取的试题的上述信息与所述的答案进行比对，如果测试答案与所述至少一个错误答案相同，或者测试答案为空数据，判定答题错误，如果测试答案与所述至少一个正确答案相同，判定答题正确；
测试答案确认步骤：对于不能通过上述步骤判定测试答案正误的情况，将这些测试答案顺序显示到相应题干的相应填空项上，以供判卷者一一核实确认，并且根据确认结果，首先更新所述的错误答案和正确答案，然后重复上述测试答案比对步骤；
测试答案统计步骤：对测试答案进行统计分析，更新相应的填空题ID标识和填空项ID标识中的有关属性信息；
其中，在所述测试答案确认步骤中，对于不能通过前三个步骤判定测试答案正误的情况，按照同样的测试答案的数量多少顺序排序，并显示在相应的填空项中，从而使得判卷者在核实这些测试答案正误的过程中，可以结合题干内容进行判定；判卷者做出判断之后的错误答案和正确答案可以添加到已有的错误答案和正确答案中，更新有关对应关系数据，对未完成的试卷进行重新的自动判卷。
5. 一种填空题试题的生成系统，包括：
存储器，用于存储用来执行权利要求1-3之一的方法的程序代码；
处理器，用于执行所述程序代码。
6. 一种填空题试卷的判卷系统，包括：
存储器，用于存储用来执行权利要求4的方法的程序代码；
处理器，用于执行所述程序代码。”
申请人（下称复审请求人）对上述驳回决定不服，于2018年11月13日向国家知识产权局提出了复审请求，其中没有对申请文件进行修改。复审请求人认为：（1）权利要求1与对比文件1的区别技术特征包括：①一种填空题试题的生成方法；②编辑启动步骤；③题干编辑的具体编辑方法；④试题生成步骤的具体步骤；⑤在所述试题生成步骤中，根据不同的试题生成规则，每次可以从每道填空题的所述至少两个填空项中选择至少一个填空项生成填空题试题，对于没有被选中的填空项，将相应的首选答案填充回所述没有被选中的填空项，在所述生成的填空题试题中不再构成填空项。（2）上述特征也不属于本领域的公知常识，且上述区别技术特征是对现有技术做出贡献的组合，实现了技术效果，因此权利要求1具备创造性。
经形式审查合格，国家知识产权局于2018年11月19日依法受理了该复审请求，并将其转送至原审查部门进行前置审查。
原审查部门在前置审查意见书中认为：对比文件1公开了将各种题型归结于判断题、填空题、选择题（单项或多项）、简答题（含名词解释）、论述题（含计算题、证明题、设计题）五大类，所有题型又都可归结于填空题，而且用对比文件1中公开的方法构建的命题组卷系统可以自动多变地生成试题，对于客观试题可以自动生成标准答案，自动改卷评分，对于主观试题则生成参考答案或评分标准，有效的克服人工命题的许多缺陷，使试卷更加标准化、科学化。权利要求1与对比文件1存在的区别仅仅是人为定义的出卷、出题、判卷的规则，未作出技术上的贡献。因此不具备创造性，因而坚持原驳回决定。
随后，国家知识产权局成立合议组对本案进行审理。
合议组于2019 年08 月26 日向复审请求人发出复审通知书，指出：（1）权利要求1和对比文件1相比的区别技术特征为：①在所述题干编辑步骤中，采用集成至文字编辑器的中间件按钮对题干内容进行编辑，所述中间件按钮在编辑器定义一个按钮，点击实现新填空项的插入，定义数据源规则包括##、||、＜＞、《》、「」、〖〗、『』、〈〉、和AA；②答案赋予步骤中，为所述填空项设定至少一个错误答案，所述至少一个正确答案的其他答案是与所述首选答案等同或近似的答案，所述至少一个错误答案为典型的错误答案；③所述生成步骤用于在生成填空题试题后，根据实际生成的填空项内容，更新所述填空题数据库中的填空题ID标识中的属性信息。上述区别技术特征①-③属于本领域的常用技术手段，权利要求1相对于对比文件1和本领域常用技术手段的结合不具备专利法第22条第3款规定的创造性。（2）权利要求2-3的附加技术特征属于本领域的常用技术手段，在其引用的权利要求不具备创造性时，上述权利要求也均不具备创造性。（3）权利要求5引用了权利要求1-3，其进一步限定的技术特征被对比文件1公开了。因此在其引用的权利要求1-3不具备创造性时，该权利要求也不具备创造性。
复审请求人于2019 年09 月24 日提交了意见陈述书，并提交了权利要求书的替换页，其中将权利要求4的特征增加到权利要求1中，并在权利要求1中增加了特征“通过规则的设定避免两次生成同样的试题或者同一试题生成不同的填空项”，同时删除了权利要求4，适应性修改了权利要求编号。复审请求人认为：权利要求1与对比文件1存在的区别技术特征为：（1）一种填空题试题的生成方法；（2）编辑启动步骤：调取用于编辑成填空题的原始题干信息，原始题干信息是未经编辑的包含题干填空项上内容的信息；（3）题干编辑步骤的相关特征；（4）所述试题生成步骤包括规则设定步骤、比对步骤和生成步骤相关内容；（5）在所述试题生成步骤中，根据不同的试题生成规则，每次可以从每道填空题的所述至少两个填空项中选择至少一个填空项生成填空题试题，对于没有被选中的填空项，将相应的首选答案填充回所述没有被选中的填空项，在所述生成的填空题试题中不再构成填空项；（6）试卷生成步骤：从所述试题数据库中，选择至少一道填空题试题构成填空题试卷或者试卷的填空题试题部分；测试答案提取步骤、测试答案比对步骤、测试答案确认步骤、测试答案统计步骤相关内容。上述区别技术特征（1）-（6）不属于本领域的公知常识，同时属于是做出技术贡献的技术特征组合，基于上述技术特征组合本申请解决了技术问题，实现了技术效果，因而权利要求1具备创造性。
复审请求人新提交的权利要求书如下：
“1. 一种填空题试题的生成方法，其特征在于，包括以下步骤：
编辑启动步骤：调取用于编辑成填空题的原始题干信息，原始题干信息是未经编辑的包含题干填空项上内容的信息；
题干编辑步骤：对填空题的题干内容进行编辑，产生至少两个填空项，对所述题干和所述填空项分别添加包含属性信息的填空题ID标识和填空项ID标识；
答案赋予步骤：为所述填空项设定至少一个正确答案和至少一个错误答案，所述填空项ID标识与所述填空题ID标识存在关联关系，并根据所述填空题ID标识和填空项ID标识，建立所述填空项和所述答案之间的对应关联关系，并且保存至填空题数据库；
试题生成步骤：根据试题生成规则，通过与所述数据库中的填空题的以上两种ID标识进行比对，提取符合所述生成规则的填空题及其对应的答案，并且生成试题，并保存至试题数据库；
其中，
在所述题干编辑步骤中，对所述题干内容的编辑包括，采用定义数据源规则以规范题干内容数据表达，或者，采用集成至文字编辑器的中间件按钮对题干内容进行编辑；所述定义数据源规则是由任意符号、数字、字母、或文字定义的规范，包括()、##、||、＜＞、《》、{}、「」、〖〗、『』、〈〉、和AA；所述中间件按钮在编辑器定义一个按钮，点击实现新填空项的插入；
所述试题生成步骤包括规则设定步骤、比对步骤和生成步骤，其中，所述规则设定步骤，用于产生试题生成规则，规则内容对应于所述题干和/或所述填空项的有关属性信息，通过规则的设定避免两次生成同样的试题或者同一试题生成不同的填空项；所述比对步骤，用于根据试题生成规则，通过与所述填空题的以上两种所述ID标识进行比对，生成符合所述生成规则的填空题试题，所述生成步骤用于在生成填空题试题后，根据实际生成的填空项内容，更新所述填空题数据库中的填空题ID标识中的属性信息；
所述至少一个正确答案的首选答案是所述填空项原先对应的所述题干的内容，所述至少一个正确答案的其他答案是与所述首选答案等同或近似的答案，所述至少一个错误答案为典型的错误答案；
在所述试题生成步骤中，根据不同的试题生成规则，每次可以从每道填空题的所述至少两个填空项中选择至少一个填空项生成填空题试题，对于没有被选中的填空项，将相应的首选答案填充回所述没有被选中的填空项，在所述生成的填空题试题中不再构成填空项；
填空题试卷生成步骤：从所述试题数据库中，选择至少一道填空题试题构成填空题试卷或者试卷的填空题试题部 分；
测试答案提取步骤：在生成的填空题试卷完成测试之后，提取试卷中试题的填空题ID标识和填空项ID标识、以及对应的填空项的测试答案；
测试答案比对步骤：将提取的试题的上述信息与所述的答案进行比对，如果测试答案与所述至少一个错误答案相同，或者测试答案为空数据，判定答题错误，如果测试答案与所述至少一个正确答案相同，判定答题正确；
测试答案确认步骤：对于不能通过上述步骤判定测试答案正误的情况，将这些测试答案顺序显示到相应题干的相应填空项上，以供判卷者一一核实确认，并且根据确认结果，首先更新所述的错误答案和正确答案，然后重复上述测试答案比对步骤；
测试答案统计步骤：对测试答案进行统计分析，更新相应的填空题ID标识和填空项ID标识中的有关属性信息；
其中，在所述测试答案确认步骤中，对于不能通过前三个步骤判定测试答案正误的情况，按照同样的测试答案的数量多少顺序排序，并显示在相应的填空项中，从而使得判卷者在核实这些测试答案正误的过程中，可以结合题干内容进行判定；判卷者做出判断之后的错误答案和正确答案可以添加到已有的错误答案和正确答案中，更新有关对应关系数据，对未完成的试卷进行重新的自动判卷。
2. 根据权利要求1的方法，其特征在于，所述属性信息包括：顺序编号、涉及的知识点、标准分值、难度系数、被采用的次数、以往的错误率、最近一次被采用的时间。
3. 根据权利要求2的方法，其特征在于，所述试题生成规则是根据试题生成需要设定的，其中的规则内容对应于所述填空题和/或所述填空项的至少一个属性信息。
4. 一种填空题试题的生成系统，包括：
存储器，用于存储用来执行权利要求1-3之一的方法的程序代码；
处理器，用于执行所述程序代码。
5. 一种填空题试卷的判卷系统，包括：
存储器，用于存储用来执行权利要求1的方法的程序代码；
处理器，用于执行所述程序代码。”
在上述程序的基础上，合议组认为本案事实已经清楚，可以作出审查决定。
二、决定的理由
（一）审查文本的认定
复审请求人于2019年09月24日答复复审通知书时提交了权利要求书修改替换页，包括权利要求第1-5项，经审查，其修改符合专利法第33条和专利法实施细则第61条第1款的规定。因此，本复审请求审查决定所依据的审查文本为：复审请求人于2019年09月24日提交的权利要求第1-5项；于申请日2016年11月22日提交的说明书第1-96段、说明书附图1-2、说明书摘要、摘要附图。
（二）具体理由的阐述
专利法第22条第3款规定：创造性，是指与现有技术相比，该发明具有突出的实质性特点和显著的进步，该实用新型具有实质性特点和进步。
一项权利要求请求保护的技术方案相对于作为最接近现有技术的对比文件存在区别技术特征，如果该区别技术特征没有被其它对比文件公开，该区别技术特征也不属于本领域的公知常识，本领域技术人员在上述对比文件基础上结合本领域公知常识得到该权利要求的技术方案是非显而易见的，且由于包括该区别技术特征使得该权利要求的技术方案实现了有益的技术效果，则该权利要求具有突出的实质性特点和显著的进步，具备创造性。
本复审决定引用与驳回决定以及复审通知书中相同的对比文件，为：
对比文件1：CN101261617A，公开日为2008年09月10日。
1、 权利要求1的创造性
权利要求1请求保护一种填空题试题的生成方法。对比文件1公开了一种机器命题的方法，并具体公开了以下的技术特征（参见说明书第1页倒数第13行至第7页第5行，附图1-2）：本发明的机器命题方法（相当于试题生成规则）：设题干为(p，Q，A)→(a，p，b，Q，c)→(a，p，b，T，F，c)，其中T有j个元素，j＞0；F有k个元素，k＞＝0；填空题的命题方法：第一步：生成试题，从T的所有元素中抽取x个元素，每个抽出的元素用一个空括号对代替并返回T组成一个合集M，然后与题干中其它部分顺序连接在一起组成一个试题apbMc，x＝1，…，j；可成题总数S填＝∑C(j，x)，x＝1，…，j。第二步：生成答案，生成的正确答案就是刚从T中抽出的元素。
实施例1：设有知识点“我国的专利种类”：《中华人民共和国专利法》中规定的“发明创造”是指发明、实用新型和外观设计（相当于编辑启动步骤，“《中华人民共和国专利法》中规定的“发明创造”是指发明、实用新型和外观设计”相当于原始题干信息，确定该知识点的步骤即为调取过程）。
第一步：执行题材描述模块，其中题量根据命题方法中所述公式由模块自动计算出，用表格形式输入题干：
输入关系集：R＝{“直接对应”，“与”}
输入命题参数表D为：
可见该题材最多可产生7道判断题和7道填空题（相当于题干编辑步骤）。其中真词题集为3个选项，因此可以产生3个填空项。在该题材描述模块中，题材＝(p，Q，A，R，D) ，题材中的(p、Q、A)部分称为题干，即题干＝(p，Q，A)，其中，p是问词，是题材中的关键性问词，机器命题时形成试题的核心；Q是答词集，是针对问词的答案，Q又由T和F两部分组成，T为真词集(正确的答词集)，F为假词集即错误的答词集，也就是被考者常理解错的答词集，即Q＝{T，F}。同时还给出了难度系数、重要程度和分值等命题参数（即公开了对填空题的题干内容进行编辑，产生至少两个填空项，对所述题干和所述填空项分别添加包含属性信息的填空题ID标识和填空项ID标识，在所述题干编辑步骤中，对所述题干内容的编辑包括，采用定义数据源规则以规范题干内容数据表达，所述定义数据源规则是由任意符号、数字、字母、或文字定义的规范，包括（）、{ }）。
第二步：执行题材存贮模块，将以上内容存入题材库。设题材库中原有许多其它题材，并已建立题材树结构，新增加这个题材后，该题材将作为题材树的一个新的叶节点存贮。
第三步：执行抽取题材模块，将该抽题参数表与题材树的命题参数表逐级对比和分派后，设抽到所举例题，并指定生成一个填空题。
第四步：执行机器命题模块（相当于试题生成步骤和答案赋予步骤），命题模块将指定题材从题材库中读出后在内存中表示为：
A＝{″《中华人民共和国专利法》中规定的“″，″”是指″，″等三类。″}
p＝″发明创造″
T＝{″发明″，″实用新型″，″外观设计″}
由于指定生成一个填空题，所以机器命题模块按照填空题的命题子方法（相当于规则设定步骤），先随机地确定从T的所有元素中抽取元素的个数x，设为2，再随机地确定抽取元素的位置，设为1、3， 每个抽出的元素用一个空括号对代替并返回T组成一个合集M，M＝{″( )″，″实用新 型″，″( )″}（相当于比对步骤），然后与题干中其它部分顺序连接在一起组成一个真题apbMc，即真题为：《中华人民共和国专利法》中规定的“发明创造”是指( )、实用新型、( ) 等三类（相当于生成步骤）。
抽出来的元素为答案，即正确答案为″发明″、″外观设计″（相当于答案赋予步骤）。最后提供出来的真题则是：
《中华人民共和国专利法》中规定的“发明创造”是指( )、实用新型、( ) 等三类。
答案：发明、外观设计。
将试题和答案存入试题库。
第五步：执行组卷确认模块
将该试题与其它已命好的试题一起组合成试卷，再采用人机对话的方式进行确认和调整， 若需要可将相应试卷、答案清单打印输出。
第六步：执行在线考试模块
将试卷内容逐题显示在屏幕上给考生作答，接受考生的答题内容并存入答题库。
第七步：执行判卷评分模块
将标准答案、评分标准从试题库中调出，将考生答案从答题库中调出，自动对考生的考试结果判卷评分。
该权利要求所要求保护的技术方案与该对比文件所公开的技术内容相比，其区别技术特征为：①在所述题干编辑步骤中，采用集成至文字编辑器的中间件按钮对题干内容进行编辑，所述中间件按钮在编辑器定义一个按钮，点击实现新填空项的插入，定义数据源规则包括##、||、＜＞、《》、「」、〖〗、『』、〈〉、和AA；②答案赋予步骤中，为所述填空项设定至少一个错误答案，所述至少一个正确答案的其他答案是与所述首选答案等同或近似的答案，所述至少一个错误答案为典型的错误答案，通过规则的设定避免两次生成同样的试题或者同一试题生成不同的填空项；测试答案比对步骤：将提取的试题的上述信息与所述的答案进行比对，如果测试答案与所述至少一个错误答案相同，或者测试答案为空数据，判定答题错误，如果测试答案与所述至少一个正确答案相同，判定答题正确；③所述生成步骤用于在生成填空题试题后，根据实际生成的填空项内容，更新所述填空题数据库中的填空题ID标识中的属性信息；④测试答案确认步骤：对于不能通过上述步骤判定测试答案正误的情况，将这些测试答案顺序显示到相应题干的相应填空项上，以供判卷者一一核实确认，并且根据确认结果，首先更新所述的错误答案和正确答案，然后重复上述测试答案比对步骤；测试答案统计步骤：对测试答案进行统计分析，更新相应的填空题ID标识和填空项ID标识中的有关属性信息；其中，在所述测试答案确认步骤中，对于不能通过前三个步骤判定测试答案正误的情况，按照同样的测试答案的数量多少顺序排序，并显示在相应的填空项中，从而使得判卷者在核实这些测试答案正误的过程中，可以结合题干内容进行判定；判卷者做出判断之后的错误答案和正确答案可以添加到已有的错误答案和正确答案中，更新有关对应关系数据，对未完成的试卷进行重新的自动判卷。由上述区别技术特征确定该权利要求要解决的技术问题是：①采用不同的规则来编辑填空题题干；②关注多个正确选项和错误选项，以及判卷的规则；③统计该填空题的出题次数等属性信息；④提高自动判卷的效率。
对于区别技术特征①，无论是试用定义数据源规则以规范题干内容数据表达，还是采用集成至文字编辑器的中间件按钮对题干内容进行编辑，均是本领域的常用技术手段，本领域技术人员均可以使用；而##、||、＜＞、《》、「」、〖〗、『』、〈〉、和AA是常用的数据源表达符号，本领域技术人员可以根据需要来选择使用，属于本领域的常用技术手段。
对于区别技术特征②，对比文件1中公开了（参见说明书实施例2）：设有知识点设 “江西省的省会城市”：江西省的省会城市是南昌市，T＝{″南昌″}，F＝{″九江″，″长沙″，″合肥″，″杭州″，″福州″}。在此实施例中，给出了正确答案：南昌，同时给出了五个错误答案：九江、长沙、合肥、杭州、福州，即在对比文件1中已经给出了常见的错误答案，因此本领域技术人员在设定填空题时，也可以想到关注错误答案。对于正确答案不唯一的真题，本领域技术人员可以想到设置多个正确答案，属于本领域的常用技术手段。而且在进行判卷时，对于与给出的错误答案一致的答案、空的答案判断为错误，以及与正确答案相同的判定为正确是本领域的常用技术手段，同时，为了避免两次测试考察相同的知识点，设定规则来避免两次生成同样的试题或者同一试题生成不同的填空项，属于本领域的常用技术手段。
对于区别技术特征③，对于有多个填空项的填空题，为了考察知识点的均衡，可以在选择填空项后更新题库中该填空题的属性信息，如填空选择项的选择次数，属于本领域的常用技术手段。
对于区别技术特征④，对比文件1公开了用计算机信息技术的手段实现机器自动命题、自动生成答案的方法和系统，解决的技术问题是客服人工命题的缺陷，使试卷更加标准化、科学化，客观、真实和全面的反映被测评者掌握知识的实际程度。其主要的技术方案是：对知识点进行题材描述、建立自动命题模型，将题材存储在题材库中，根据考试需要提出一个抽提参数表，根据抽提参数表从题库中抽取题材，将抽到的题材按照指定题型的命题子方法命题。在填空题命题方法中，包括生成试题后生成正确答案，判卷时根据正确答案进行判卷。因此对比文件1公开了如何自动出题、以及测试内容的合理化，没有关注自动判卷的效率问题，也没有公开对错误答案进行统计分析，然后将错误答案添加到题库中的填空题的错误答案选项中，以提高自动判卷效率。即对比文件1没有公开区别技术特征④，同时在现有技术中，填空题通常关注正确答案，因此区别技术特征④也不属于本领域的公知常识，而且正是由于采用了区别技术特征④中的技术手段，权利要求1的技术方案取得了能够提高自动判卷效率的有益效果，具有显著的进步。
因此权利要求1相对于对比文件1和本领域公知常识的结合具有突出的实质性特点和显著的进步，具备专利法第22条第3款规定的创造性。
2、关于权利要求2-5的创造性
权利要求2-5直接或间接引用权利要求1，鉴于权利要求1相对于对比文件1和本领域公知常识的结合具备创造性，引用权利要求1的权利要求2-5相对于对比文件1和本领域公知常识的结合也具备专利法第22条第3款规定的创造性。
（三）关于驳回决定和前置审查意见
对于驳回决定和前置审查意见中的相关意见，合议组意见如下：
①对比文件1公开了用计算机信息技术的手段实现机器自动命题、自动生成答案的方法和系统，解决的技术问题是客服人工命题的缺陷，使试卷更加标准化、科学化，客观、真实和全面的反映被测评者掌握知识的实际程度。其主要的技术方案是：对知识点进行题材描述、建立自动命题模型，将题材存储在题材库中，根据考试需要提出一个抽提参数表，根据抽提参数表从题库中抽取题材，将抽到的题材按照指定题型的命题子方法命题。在填空题命题方法中，包括生成试题后生成正确答案，判卷时根据正确答案进行判卷。因此对比文件1公开了如何自动出题、以及测试内容的合理化，没有关注自动判卷的效率问题，也没有公开对错误答案进行统计分析，然后将错误答案添加到题库中的填空题的错误答案选项中，以提高自动判卷效率。即对比文件1没有公开区别技术特征④，同时在现有技术中，填空题通常关注正确答案，因此区别技术特征④也不属于本领域的公知常识，而且正是由于采用了区别技术特征④中的技术手段，权利要求1的技术方案取得了能够提高自动判卷效率的有益效果，具有显著的进步。
②权利要求1要求保护一种填空题试题的生成和判卷的方法，该方案能对填空题的题干进行编辑，试题属性信息进行编辑，自动生成填空项和填空题试题，形成一填空项对应多个不同答案，并对错误答案进行分析统计，更新填空项与答案对应的关系数据库。该方案解决了现有技术中，只关注正确答案，没有关心典型的错误答案，自动判卷效率低下的技术问题，采用调取、编辑、更新等具体的信息处理技术，这种利用实体设备进行的信息处理手段属于利用自然规律的技术手段，达到快速高效自动判卷的技术效果，因此，权利要求1所请求保护的方案属于技术方案。
对于其他区别技术特征的相关认定，合议组予以支持。
综上，合议组认为权利要求1相对于已有证据和本领域公知常识的结合具备创造性。
本复审决定仅针对驳回决定和前置审查意见中指出的缺陷进行评述，至于本申请中是否还存在其他不符合专利法及实施细则的缺陷，留待实质审查部门继续审查。
基于上述理由，合议组依法作出以下复审请求审查决定。
三、决定
撤销国家知识产权局于2018 年08 月13 日对本申请作出的驳回决定。由国家知识产权局原审查部门在复审请求人于2019年09月24日提交的权利要求第1-5项；于申请日2016年11月22日提交的说明书第1-96段、说明书附图1-2、说明书摘要、摘要附图的基础上对本申请继续进行审查。
如对本复审请求审查决定不服，根据专利法第41条第2款的规定，复审请求人可自收到本决定之日起三个月内向北京知识产权法院起诉。
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。
