梧桐文学

第三 计算机化自适应测验开发流程(第1页)

天才一秒记住【梧桐文学】地址:https://www.wtwx.net

第三节计算机化自适应测验开发流程

banner"

>

计算机化自适应测验的开发是一项庞大复杂的工程,它至少涉及以下五个基本过程:准备阶段、题库建设、CAT算法确定、信度与效度验证以及正式使用与题库维护更新等(图2-3-1)。

图2-3-1CAT开发流程

一、准备阶段

为了更好地开发CAT系统,相关的先期准备与调研工作显得十分必要。

(一)技术团队准备

良好的技术团队是保障CAT开发工作顺利开展的前提条件。

CAT开发的技术团队应包括:心理与教育测量专家、题目内容领域专家以及计算机专家等。

心理与教育测量学家主要负责测量模型(IRT模型)的开发或选用、等值设计与组卷、参数估计与等值算法、CAT算法等;题目内容领域专家主要负责CAT拟测量的潜在特质及其结构、试题开发、测量结果的解释等;计算机专家负责数据库开发、CAT测试系统开发、题库的维护等。

因此,开发一个CAT系统前,应保证具有以上相关技术团队。

(二)实验性预分析:可行性分析及IRT模型的选用

在CAT开发前,应对要开发的CAT的具体领域进行调查与实验性预分析,从而判断该CAT的可行性以及为具体IRT模型的选用提供基础。

例如,要开发大学生英语能力的CAT系统,那么应先对现有大学英语能力测验数据进行相关分析,如测验维度分析、项目相依性分析、项目质量分析、计分方式分析、项目功能差异分析(DIF)、信度分析以及模型-资料拟合检验分析等,从而判断是否适合采用IRT模型来指导CAT开发?如果适合,那么结合实际情况,应具体采用哪种IRT模型(如单维模型VS多维模型、二级评分模型VS多级评分模型、题组反应模型VS项目反应模型、计时模型VS非计时模型等)。

二、题库建设

大型题库是CAT的基础,也是CAT开发的难点所在。

CAT的题库不是简单地将试题拼凑在一块(这个称为“题集”

或“题堆”

)。

CAT对题库的要求较高,它应具备以下特征:

·题库测量内容及其分布符合测量目标要求(如测量维度、内容分布等);

·每题具有明确的测量内容领域、考核的认知能力层次等;

·每题都有IRT模型参数(如难度参数、区分度参数等);

·每题的参数都定义在同一量尺上(入库前需进行等值设计与等值转换);

·每题的测量学特征符合测量学要求(如有高区分度,无DIF等);

·试题量大(如超过300题)。

高质量的大型题库是保证CAT的科学性以及CAT优点充分展现的基础,CAT题库的开发与传统CTT理论下的题库开发具有本质性的区别,它至少涉及以下环节(图2-3-2)。

图2-3-2题库建设的基本步骤

(一)试题开发

试题开发离不开相关内容领域的专家,试题的开发一般有两条路径:一是对已有试题的修改或直接使用,二是根据测量要求由相关内容领域的专家开发编制新的试题。

那么到底要开发多少道试题呢?如果计划最终CAT的题库要有300题,那么最初编制的试题数应该要远超过300题(如450题),因为内容领域的专家无法保证所编制的每道试题都符合测量学要求(如高区分度等),并符合相关测试标准(如教学大纲等)。

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

斯坦索姆神豪九零后天师一睁眼,我穿成两个熊孩子后娘桃桃乌龙满级大佬从斗罗开始重生后我成了全大陆最横的崽狂探我的重返2008我真不知道原来我家这么有钱斗破乾坤,龙王求亲请排队重生之惊羽夫人每天都被套路从水浒开始的好汉之旅星际第一女将极品赘婿八零之珠光宝气公子实在太正义了棋魂:随身阿尔法狗穿成反派的病美人妹妹[穿书]洪荒之太清问道袖藏天光破茧一剑倾国空间农女:团宠娇妻甜又飒权游:睡龙之怒