天才一秒记住【梧桐文学】地址:https://www.wtwx.net
而且两种设计中被试还不能返回修改前一个单元,被试并不能按照自己的考试习惯来修改答案,这也给被试带来了极大的不便。
设计三在应用中还存在一些局限性。
例如,在只考查阅读水平的测验中,所有的题目都拥有共同的刺激背景,如何来划分题目单元将会很困难;相反如果一个测验的绝大部分题目都没有共同刺激背景,那么设计三与传统CAT几乎没有差异。
(二)优化的Stog设计
针对Stog设计造成的RCAT效率的下降,Vispoel等人(2000)将Stog设计加以改进提出了优化的Stog法。
该方法的思路是允许被试在作答题目单元时,暂时将不确定答案的题目标记起来,待当前单元内的其余题目全部作答完以后,计算机会再次呈现该单元内的所有题目供被试修改,通过标记待修改题目节约了测验的时间。
另外,计算机屏幕下方会显示测验所剩余的时间,以此提醒被试合理安排时间,如果被试不想受到时钟的干扰也可以选择将其隐藏。
Vispoel等人(2000)将优化的Stog法应用到真实的CAT中,测验包括40道考查词汇记忆的题目。
实验结果表明这种方法是非常有效的,因为在修改阶段被试花费55%的时间用于修改标记过的题目(标记的题目只占总题目数的6.93%)。
优化后的Stog法的平均测验时间只比传统CAT多了12%,而且差异不显著。
在将测验分为8个题目单元时,其测验时间只比传统CAT多了6%。
这都说明优化的Stog法对提高RCAT的效率是有效的。
从实验结果来看,Stog设计(尤其是设计二)和优化Stog设计都将RCAT的效率和精度保持在一定的范围内。
但是这些设计都将被试的修改行为限制在一个题目单元内,被试必须修改完当前题目单元并提交答案之后再作答下一个单元(除非被试放弃修改当前题目单元),在这种测验环境中,被试的作答习惯会受到极大的限制。
并且要成功应用以上设计还需要对每个题目单元单独限时,在应用于RCAT中如何规定每个单元的测验时间也是个很复杂的问题。
如果每个单元的作答时间是没有限时的,那么被试在作答完一个单元之后就会纠结要不要花时间来修改,修改过程中又要担心花费时间过长影响后面的答题。
这种情形导致被试在整个测验过程中经常处于一种焦虑的状态,而由此带来的考试焦虑有可能更高。
另外,按照以往的纸笔考试习惯,遇到一些难题或是暂时想不起答案的题目,考生经常会跳过这些题目继续作答。
然而在Stog设计和优化Stog设计中并不允许被试跳过题目来作答,甚至在一个单元内也不能跳过。
也许有考生认为在遇到较难的题目时先随意选择一个答案,等到一个单元作答完毕之后再修改答案,但这样做又会违背CAT的选题策略,反而会引起更大的误差。
(三)题目口袋(ItemPocket)设计
Stog(1997)的设计将题目划分为单独的小单元,被试只允许修改单元内的题目。
所以被试每作答一个单元就要做出一个决定:是否要花费时间去修改当前单元,还是抓紧时间作答剩余单元。
另外,修改答案后会造成“人题”
不匹配,Stog和优化Stog法的设计中都没有消除“人题”
不匹配造成的测量误差。
针对以上两种设计的缺陷,Han(2013)提出了一种题目口袋(ItemPocket,IP)法。
1.题目口袋法的设计方案
IP的设计思路是指在测验的过程中,计算机为被试提供了一种题目口袋选择,即允许被试在作答过程中,随时可以把待修改的题目或者暂时想跳过的题目放入IP中,然后接着作答下一个题目,放入IP内的题目不参与当前能力估计。
当IP容量已满后,被试需要替换一题才能再次放入。
在规定的测验时间内被试随时可以修改IP内的题目,修改后的题目自动从IP内释放。
测验时间结束后IP内还未被释放的题目视作错误作答。
从IP内释放的题目与IP外的题目一样也参与被试的能力估计,IP容量可以根据测验的长度、时间等设定。
2.题目口袋设计的评价
IP方法允许被试随时将不确定答案的题目放入其中,一来可以帮助被试有效安排时间,防止被试在一个不确定答案的题目上花费过长时间,影响剩余题目的作答。
二来IP方法允许被试跳过题目来作答,并且在IP内作答不影响IP外的选题,从而有效地降低了由于“人题”
不匹配引起的误差。
另外,与Stog和优化Stog法相比,在IP设计中被试对测验的控制感更足,更符合被试考试习惯,能有效降低被试的紧张及焦虑度。
但Han并没有指出IP容量大小该如何选择,IP容量过大或过小都会产生不利的影响。
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!