梧桐文学

第二 可修改答案的计算机化自适应测验设计与方法(第4页)

天才一秒记住【梧桐文学】地址:https://www.wtwx.net

除此之外,该方法必须限定可修改答案的题目数,即被试并不能任意地修改题目。

这也会减弱被试对测验的控制感,易引起测验焦虑。

二、基于选题策略视角的RCAT

除了从测验设计的角度来改善RCAT,也有学者从选题策略角度改善RCAT。

不管是传统的CAT还是RCAT选题策略都是一个非常重要的环节,选题策略的好坏直接影响到测验的精度、信效度和测验的效率。

在已有关于RCAT的研究方面,多数研究者选择MFI作为选题的标准,即从剩余题库中选择在当前能力估计值处具有最大信息量的题目。

第i题的信息量计算公式如下:

Pi(θ)是当前能力估计值θ处第i题的项目反应函数,Qi(θ)=1-Pi(θ),每次选题计算机都会按照上式计算题库中剩余题目的信息量,然后,从其中挑选出信息量最大的题目(罗芬,丁树良,王晓庆,2012)。

MFI只用较少的题目就能准确地测量被试的真实能力水平,这使得MFI在传统的CAT得到了广泛的应用(毛秀珍,辛涛,2011)。

然而,在传统的CAT中无须担心被试利用MFI的选题特征来使用“作弊”

策略。

但是在RCAT中MFI的选题优势同时也会成为其劣势,因为被试更容易通过故意答错题目来获得低于真实水平的简单题目,从而成功应用Wainer策略。

(一)SIIS选题策略

针对在RCAT中被试易通过MFI选题来作弊的情况,Davey和Fan(2000)提出特定(Speatioion,SIIS)信息选题策略,SIIS的选题步骤介绍如下:

首先,从剩余题目中选出一批题目作为下一题的备选题,这批题目的难度与被试当前能力估计值差异在一定范围之内。

其次,将备选题所有题目的信息量与当前能力后验分布相结合,产生期望信息量Oi(i代表题目)。

再次,将总目标信息量减去已施测题目的总信息量作为下一题的目标信息量,记为T。

最后,把备选题中所有题目Oi与T比较,选择最小的(T-Oi)2作为下一题,如果选择的题目受到曝光率的限制,则选择次小的(T-Oi)2,被试每作答完一题,能力后验分布就要更新一次。

(二)SIIS选题策略的评价

首先,Bowles和Pommerich(2001)通过模拟研究发现SIIS和MFI在对抗“作弊”

策略中的差异不明显。

然而,可以预见的是在对抗Wainer策略方面SIIS选题策略要好于MFI,因为在MFI中被试在自适应作答阶段更容易通过故意答错来获得极简单的题目。

但是在SIIS中,即使被试故意答错所有题目也不可能完全获得低于真实水平的简单题目。

同样地,与MFI相比在SIIS选题策略下被试更难通过判断前后作答题目的难度来实施K策略。

其次,MFI倾向于选择区分度高的题目,这会导致题目曝光率不均匀,另外最大信息量选题方法依赖于当前能力估计值的精确性,因此在测验开始阶段MFI方法可能存在较大的偏差(毛秀珍,辛涛,2011)。

SIIS选题降低了高区分度的题目过度曝光率,使题目的曝光率更均匀。

最后,MFI选题每次都要计算题库中剩余题目的信息量,从中选择具有最大信息量的题目,如果题库容量过大,每次选题都要花费一定时间,这可能会降低测验的效率。

而SIIS选题只从备选题目中选择合适的题目,在一定程度上提高了测验效率。

但是SIIS兼顾曝光率后所选题目与被试真实能力并不是最匹配的,因此SIIS的测量精度会略低于MFI。

三、基于模型视角的RCAT

以上研究从测验设计和选题策略两方面来实施及改善RCAT,这些研究更多的是通过外部的技术手段来达到RCAT的目的。

已有研究者试着通过模型的变化来实现RCAT,目前有关RCAT的模型有逻辑斯蒂克4参数模型、条件概率模型和综合评分模型。

(一)逻辑斯蒂克4参数模型

为了降低测验初始阶段由于高能力被试不小心答错简单题目而引起的误差,Barton和Lord(1981)提出了逻辑斯蒂克4参数模型(4PLM)。

4PLM是在逻辑斯蒂克3参数模型(3PLM)的基础上加以改进而来。

3PLM公式如下:

其中d=1.702,θ代表被试能力值,a是题目区分度,b是题目难度,c为题目猜测系数。

3PLM的一个潜在假设是:低能力被试答对高难度题目的概率为猜测系数c,高能力被试答对简单题目的概率接近1。

然而这个假设并不一定成立。

本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!

如遇章节错误,请点击报错(无需登陆)

新书推荐

电影空间黑粉五百万的影帝夫人又拽又凶柴刀流恋爱日常陵夭苍穹之上我真的没想当魔王啊侯门风华:拜见极品恶婆婆沈影帝的小甜妻七十年代掌中娇重生之学霸攻略被拉入群聊的创世神国民影后:老公,安分点!三国之上将邢道荣西游:大王不好,他又来抓食材了梦回大明春都市之大仙尊龙图案卷集·续重生之我是星二代镇国战神风水主播,一个关注全网官方慌了我在大明养生百年电影世界交换师仙酿师重生农女巧当家年代文中的小媳妇