ETS专访之行学者滕达

新东方《托福年度报告》正式发布
　　网易教育讯 2015年1月27日《2014-2015新东方托福年度报告》正式发布。

　　滕达ETS总部访问学者
　　在未来越来越多的考试，尤其是语言类的考试会以在线机考形式出现。以TOEFL家族考试为例，本系列的考试包括TOEFLiBT,、TOEFL Junior Comprehensive、TOEFL Primary。这些考试测试语言能力多样，参考人数众多。所以一个完善，公平，高效的在线判分系统和判分流程无比重要。在这篇文章中，我来给大家揭秘ETS神秘的判分系统和判分流程。
　　首先我们来说一说系统中的“人”：判分人。ETS官方网站上罗列出的测试产品有47项之多，其中有些考试可以由程序判分，比如说我们熟知的TOEFL听力和阅读。也有不少的考试项目必须由判分员（Human-Rater）判分，比如说TOEFL口语写作这一类的主观题（Construct Response）。ETS的判分员来源多样，比如大学教授、中学教师、国际学校教师、美国高等院校考试测评专业学生。这些人要通过笔试、面试和严格的筛选培训流程才能上岗。上岗后往往会被分配到某个考试的某个科目，专人专项判分。一个成功达标的判分人可以在美国境内的任何地点登录在线判分系统进行判分。当然他们要在指定的时间内登录，因为每个判分员在登录系统时，他的判分组长也会在同样时段内保证在线，以便监督判分公平性，并给予他们所需的指导和帮助。成功登录后，每个判分员需要做当日校准（Daily Calibration）。在这个环节评分员会判一些“预置答案”，这些口语录音已经由出题员，语言学学者，考试学者组成的专家小组提前定义好了分数。判分员会对这些答案进行“盲判”，当系统确认判分员给出的分数和专家小组提前预置的分数达到给定的标准时，判分员才会被分配真实考生的答案，并对它们进行判分。在当天的真实考试的判分过程中，系统还会给他们随机分配这样的“预置答案”，以便于监控全天判分过程中的准确度。
在真实判分的过程中，他们也能获得很多帮助，这包括判分原则、标答参考、组长沟通。判分原则也就是官方提供的答案标准。以TOEFL为例，在《TOEFL官方指南》上印有详细的评分标准。判分员在判分界面上可以随时呼出电子版的标准，也有不少判分员会把标准打印成卡片放在手边，随时进行参考；标答参考也叫做Benchmark，以TOEFL口语为例，判分系统上备有4，3，2，1，0各个档位的标准答案，供判分员随时参考以便矫正自己的准确度；如果判分原则和标答参考还不足以帮助判分员界定某些答案，那么他们可以呼叫自己的小组长，小组长会在线和判分员沟通，一起评判这个答案，界定分数。
　　ETS还会定期对判分员的数据进行抽查，以保证考生能获得公平科学的成绩。不合格的判分员会被“回炉重造”，甚至辞退。为了避免有些教师遇到自己学生的答案，在一些美国本土的考试中，ETS会故意混搭邮政编码，以保证来自纽约市的判分员不会判到来自纽约市学生的试卷。他们也会在培训过程中和判分员强调，必须看完整个文章或听完完整口语录音才下定论给分。比如说系统会强制一个60秒的口语答案被完整播放完，判分员才能在界面上评分。有趣的是，ETS的培训官员还会和判分员强调：哪怕有些学生口出狂言在口语考试中说脏话，你也要把答案听完，也许最后有几句英文，多多少少也是可以给个一分之类的。
　　总而言之，ETS是个严谨负责的机构，做事态度更是精益求精，所有我们所有的考生还是要认真对待自己的分数。当然人无完人，再严谨的系统都会有误差，ETS也给我们提供了复议的选择。中国考生对复议还是不复议经常拿不准。ETS给出的回答是：当考生特别自信的认为自己的答案被误判了，就应该复议。我的意见如下，如果口语连着两次都是20分以上突然降到了15分，而且自己很确定考试当天发挥得很正常，那么就勇敢复议。如果说是怀着侥幸心理觉得复议也许会提高一分两分，那还是回家好好复习，继续冲刺吧！

2015-01-28 11:26

来源：凤凰教育

作者：(微信号xdfjnxx)

分享到