相比传统认知能力测验,北森CATA的三大优势

2017-03-0212138

目前企业中应用广泛的人才测评应属认知能力测验,企业在校园招聘中会大量使用到这项测验,但是近几年认知能力测验出现了一些问题,在相当程度上影响了测评效果。

、认知能力测验的题目在网上被曝光甚至恶意泄露,选拔的准确性和公平性受到影响。尽管北森已采用监控和水印等方式尽力去降低题目的泄露和扩散,仍很难降低其带来的影响。

第二、应聘者体验越来越被看重,受测者做测评的时间“越短越好”,将会成为未来企业选择测评的重要诉求。

第三、测评对受测者能力的评价也会受到练习效应、组卷合理性、计分方式等因素的影响,如何能准确评价能力水平呢?

 

抱着改善这些问题的决心,北森产品和技术小组,用一年半的时间做了一个新的认知能力测验,CATA,Computerised Adaptive Test for Ability。

 

CATA采用了计算机自适应测验技术(Computerised Adaptive Testing)。它融合了计算机技术和项目反应理论,采用了自适应抽题和题目参数估计受测者的能力水平。它为受测者随机提供一个中等难度的题目。受测者每做对一题,会获得一道难的题,反之下一题会简单。当受测者回答完一定数量的题目,测验获得了足够的关于其能力水平的信息,程序会自动停止。美考试服务中心(ETS)在TOEFL、GRE、GMAT等考试中均采用了自适应测验。

 

CATA与一般的能力测验相比,解决了哪些问题?

 

1、降低了题目曝光的影响


自适应抽题的方式让受测者的作答题目全程处于动态调整中,下一题是什么取决于上一题的作答结果,不同的受测者会遇到不同的题目。由于采用参数估计的方式,受测者即使遇到了见过的题,单次作答正确,也不会对整体能力估计产生太大的影响。

 

2、作答体验好


CATA在测评过程中为受测者提供的题目非常接近她/他的真实能力水平,题目不会过难或过容易。受测者表现的能力水平稳定时,作答时间会缩短,与传统测验相比自适应测验可以减少1/3的题量。

 

3、测评准


CATA的计分,不是采用卷面分,而是基于题目参数和受测者的作答模式去估算其能力水平。这种估算方式受题目难度的影响,结果接近受测者的潜质水平。如下图中的两个受测者,按照传统计分(正确计1分,错误计0分),A和B分差为9分(100*8/12-100*7/12),而用新的方式去评估时,我们发现A和B的能力水平相差非常大,差距接近1.7个标准差(如果把标准差设定为15,差距接近26分)。

CATA测评

 

计算机自适应测验的诸多优点,决定了它是高难度的系统工程。任何一个的计算机自适应测验都需要解决好题库建设、初始题选择、能力值估计、抽题策略、测验终止策略、曝光率控制六大问题,而每一部分的构建都涉及到复杂的算法和精妙的设计。开发一个在线的自适应测验就加不容易,举例来讲,大量受测者同时作答,每个人作答完一题就需要重新做出能力值估计和抽取下一题,这对计算机的运算能力和服务器性能都是非常高的要求。北森在一年半的时间通过无数次调试和优化,克服了这些困难。

 

北森新一代能力测验CATA已经上线,很快就会邀请您来试一试。