梧桐文学

第二 可修改答案的计算机化自适应测验设计与方法(第5页)

天才一秒记住【梧桐文学】地址:https://www.wtwx.net

例如,对于一个高难度题目所考查的全部知识,一个低能力被试可能已掌握了部分。

那么低能力被试答对该题目的概率就高于猜测系数c。

同样地,一个高能力的被试由于紧张、误解题意、粗心等一些因素也可能答错简单题目,所以高能力被试答对简单题目的概率不总是等于1。

基于此,Barton和Lord(1981)提出了4PLM。

4PLM增加了上限参数Δ,其公式如下:

Yen,Ho,Liao和应用到RCAT中(简称R4PLM),并将4PLM与重新安排题目顺序方法结合起来应用于RCAT(简称RR4PLM),研究结果表明R4PLM精度高于R3PLM,而RR4PLM精度又高于R4PLM。

测验效率按照达到一定精度所需要的题目数来评价,R4PLM效率高于R3PLM,在中高能力(θ≥0)水平处R4PLM效率高于RR3PLM,其中RR4PLM的效率高于其他三种方法。

高能力被试答错了本该答对的简单题目后,计算机会估计出一个低的能力值,并由此选择一个与真实能力极不匹配的题目。

与3PLM相比,4PLM增加了上限参数Δ,意味着高能力被试答对简单题目概率并不是1,而是Δ,Δ依据具体测验而定,如可取0.99、0.98等。

因此即使高能力被试由于疏忽答错了一个简单题目,在4PLM下估计的能力值要比3PLM更接近真实能力值。

然而该实验的结果表明,R4PLM和R3PLM的能力估计精度差异并不大,甚至在高能力值处R4PLM的估计偏差要更大,也就是说4PLM对能力估计偏差的修正程度是有限的。

由此可看出,若将4PLM单独应用于RCAT时,并不能有效地降低“人题”

不匹配的误差。

虽然Yen,Ho,Liao和(2012)通过模拟实验发现4PLM和重新安排题目顺序结合在一起,可以将能力估计精度和测验效率保持在一个可接受的范围内,但是重新安排题目顺序的方法有很大的缺陷,在应用中可能会出现“得不偿失”

的后果。

因此4PLM的真实有效性还需要经受更多真实数据的检验。

另外,4PLM能否有效对抗“作弊”

策略的影响也需要进一步的研究。

(二)条件概率模型

vanderLinden和Jeon(2012)认为修改的概率是建立在第一次作答基础上的条件概率,基于此在3PLM基础上提出了条件概率模型,该模型建立在三个前提假设基础之上:①修改阶段的猜测参数c=0,即逻辑斯蒂克2参数模型(2PLM)。

②两个条件模型参数ai,bi相互独立,分别独立受到第一次作答的影响,a0i,b0i分别表示第一次错误作答后题目区分度和难度参数的估计值。

③假设在两次作答中被试能力保持不变,即θ(2)n=θ(1)n。

条件概率模型的公式如下:

其中n=1,2,…,n代表被试,i=1,2,…,i表示题目,θ(1)n是被试n第一次作答的能力估计值,用Pr{U(2)ni=1|U(1)ni=0}表示被试n第一次答错了第i题,修改阶段改为正确的条件概率。

En表示被试n将错误答案改为正确答案的题量,服从伯努利分布,其概率计算公式如下:

n表示被试,in=1表示被试n将第i题的错误答案改为正确,Pnin=Pr{U(2)ni=1|U(1)ni=0},Qnin=1-Pnin,z是哑变量。

通过假设检验来诊断被试是否在测验中使用“作弊”

策略,公式如下:

a为显著性水平,e*n为a水平下的临界值。

如果式(7.2.6)成立意味着被试可能使用了“作弊”

策略。

vanderLinden和Jeon(2012)通过真实的实验数据研究发现,修改阶段的区分度参数和难度参数都高于第一阶段,其中难度参数的差异程度要大于区分度参数。

这是因为模型假设修改阶段的猜测参数c=0,相应地项目曲线就会陡峭一点。

同时难度参数变大意味着与第一次答对一个题目相比,要把错误答案改为正确的难度更大。

另外,条件概率模型在模型资料拟合度检验中表现良好。

该模型考虑了第一次作答对修改阶段参数的影响,并通过精确的数学公式来诊断被试是否作弊,与前面所提到的方法相比是一个创新。

然而条件概率模型中的每个题目都有两种参数:一是正确作答的参数,二是错误作答的参数。

该模型能否有效应用取决于这两种参数的获得,从建立题库的角度来看要估计这两类参数还是一个很大的挑战。

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

电影空间黑粉五百万的影帝夫人又拽又凶柴刀流恋爱日常陵夭苍穹之上我真的没想当魔王啊侯门风华:拜见极品恶婆婆沈影帝的小甜妻七十年代掌中娇重生之学霸攻略被拉入群聊的创世神国民影后:老公,安分点!三国之上将邢道荣西游:大王不好,他又来抓食材了梦回大明春都市之大仙尊龙图案卷集·续重生之我是星二代镇国战神风水主播,一个关注全网官方慌了我在大明养生百年电影世界交换师仙酿师重生农女巧当家年代文中的小媳妇