天才一秒记住【梧桐文学】地址:https://www.wtwx.net
第三节计算机化自适应测验开发流程
banner"
>
计算机化自适应测验的开发是一项庞大复杂的工程,它至少涉及以下五个基本过程:准备阶段、题库建设、CAT算法确定、信度与效度验证以及正式使用与题库维护更新等(图2-3-1)。
图2-3-1CAT开发流程
一、准备阶段
为了更好地开发CAT系统,相关的先期准备与调研工作显得十分必要。
(一)技术团队准备
良好的技术团队是保障CAT开发工作顺利开展的前提条件。
CAT开发的技术团队应包括:心理与教育测量专家、题目内容领域专家以及计算机专家等。
心理与教育测量学家主要负责测量模型(IRT模型)的开发或选用、等值设计与组卷、参数估计与等值算法、CAT算法等;题目内容领域专家主要负责CAT拟测量的潜在特质及其结构、试题开发、测量结果的解释等;计算机专家负责数据库开发、CAT测试系统开发、题库的维护等。
因此,开发一个CAT系统前,应保证具有以上相关技术团队。
(二)实验性预分析:可行性分析及IRT模型的选用
在CAT开发前,应对要开发的CAT的具体领域进行调查与实验性预分析,从而判断该CAT的可行性以及为具体IRT模型的选用提供基础。
例如,要开发大学生英语能力的CAT系统,那么应先对现有大学英语能力测验数据进行相关分析,如测验维度分析、项目相依性分析、项目质量分析、计分方式分析、项目功能差异分析(DIF)、信度分析以及模型-资料拟合检验分析等,从而判断是否适合采用IRT模型来指导CAT开发?如果适合,那么结合实际情况,应具体采用哪种IRT模型(如单维模型VS多维模型、二级评分模型VS多级评分模型、题组反应模型VS项目反应模型、计时模型VS非计时模型等)。
二、题库建设
大型题库是CAT的基础,也是CAT开发的难点所在。
CAT的题库不是简单地将试题拼凑在一块(这个称为“题集”
或“题堆”
)。
CAT对题库的要求较高,它应具备以下特征:
·题库测量内容及其分布符合测量目标要求(如测量维度、内容分布等);
·每题具有明确的测量内容领域、考核的认知能力层次等;
·每题都有IRT模型参数(如难度参数、区分度参数等);
·每题的参数都定义在同一量尺上(入库前需进行等值设计与等值转换);
·每题的测量学特征符合测量学要求(如有高区分度,无DIF等);
·试题量大(如超过300题)。
高质量的大型题库是保证CAT的科学性以及CAT优点充分展现的基础,CAT题库的开发与传统CTT理论下的题库开发具有本质性的区别,它至少涉及以下环节(图2-3-2)。
图2-3-2题库建设的基本步骤
(一)试题开发
试题开发离不开相关内容领域的专家,试题的开发一般有两条路径:一是对已有试题的修改或直接使用,二是根据测量要求由相关内容领域的专家开发编制新的试题。
那么到底要开发多少道试题呢?如果计划最终CAT的题库要有300题,那么最初编制的试题数应该要远超过300题(如450题),因为内容领域的专家无法保证所编制的每道试题都符合测量学要求(如高区分度等),并符合相关测试标准(如教学大纲等)。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!