托福写作e-rater偏向中国考生？？
VICE近日的一篇报道对作文的机器打分提出了质疑，而托福考试的写作部分正是采用了ETS自行研究的e-rater电子评分系统。
该报道同时指出，根据ETS的研究，e-rater给中国考生作文的分数比人工评分要高。
什么是e-rater？
早在2010年1月，ETS就对托福写作评分进行了调整，由原来的2个阅卷人评分，取算术平均分作为原始分(raw score)，改为1个阅卷人和1个电脑评分系统(e-rater)评分。
e-rater所使用的是计算机语言学中的自然语言处理（Natural Language Process）方法。e-rater抽取出影响一篇文章好坏的一些要素，通过计算机数据功能与考生写作文本的相关信息进行标签匹配，并结合ETS过往的写作数据库来审核考生的写作质量。
根据ETS网站的信息，e-rater目前考虑的文章要素包括以下几个方面：
★ content analysis based on vocabulary measures
基于词汇量的文本分析
★ lexical complexity/diction
用词复杂性
★ proportion of grammar errors
语法错误的比例
★ proportion of usage errors
用法错误的比例
★ proportion of mechanics errors
结构错误比例
★ proportion of style comments
文体得当程度
★ organization and development scores
组织语言及展开的能力
★ features rewarding idiomatic phraseology
使用习语的情况
ETS也在官网上表示，由于机器无法判定语言的有效性及内容的合理性，因此这部分内容必须由人工评分员完成。
值得一提的是，为了保证分数的公平有效，人工给分和机器给出的原始分（评分范围0-5）相差不得超过1分，若两者分数误差超过1分，将由ETS的专业阅卷者进行再次评分。
e-rater偏爱中国考生？
根据VICE的报道，据ETS于1999年、2004年、2007年、2008年、2012年和2018年进行的研究显示，相比人工打分，e-rater会特别偏爱某些地区的考生，特别是来自中国的考生。
（VICE报道截图）
（ETS发布的2018年托福成绩报告）
同时，尽管ETS进行了调整，e-rater倾向于给非裔、阿拉伯裔、西班牙裔和印度裔打分较低。
由于各族裔的语言习惯不同，ETS高级研究员Brent Bridgeman表示，“如果我们对系统进行调整，某个国家的考生分数可能会得到修正，但这样很可能会伤害另一个国家的考生。“
分数偏见由何而来？
除了托福，ETS开设的另一个考试GRE（研究生入学考试）同样采用e-rater给考生的写作部分打分。
2018年12月，一项有关GRE写作评分的最新研究拆解了ETS的算法，从而揭示是什么造成了e-rater评分上的不一致。
结果显示，相对整体GRE考生，中国考生在语法和结构上的得分较低，但e-rater会在文章长度、词汇复杂程度上给中国考生的分数超过平均分，其结果e-rater最终给出的中国考生写作成绩平均比人工打分高1.3分。
很多研究者认为，这与很多中国考生在答题时使用事先背好的模板（pre-memorized shell text）有关。
另一方面，e-rater给非裔考生在语法、风格、语言组织（与文章长度相关的指标）上往往打分较低，因此非裔考生总体得分低。而人工打分则往往会高e-rater的成绩0.83分。
不过，正如上面介绍的，当e-rater和人工打分存在超过1分的分歧时，将会由另一个专业阅卷人士再次打分，所以ETS认为实际中并没有考生会被e-rater的“偏见“所影响。
VICE的报道则认为，尽管写作评分的“偏见”可能一直都存在，但由于像e-rater这样的机器通过学习大量人工打分而去模仿人工，很大程度上可能强化了原本存在的“偏见”。
如何备考托福写作
尽管上述研究表明中国考生套用模板获得了e-rater的青睐。但网上一直流传着ETS建立了查重机制的传言，甚至是和自己此前考试的文章重复都不行。
那么，大家应该如何应对备考托福写作呢？
一方面大家可以积累语料，尽管死记硬背模板已行不通，但学习句式和文章结构仍然是提升写作水平的有利方法。同时，背好不同话题下所需要的必备词汇，塑造属于自己独一无二的语料库。
另一方面，所有的提高都离不开练习。针对不同话题如何快速梳理思路、保证文章的语法正确、逻辑清晰，都是需要平时不断练习来提升的。
当然，练习的文章可以请专（xin）业（dong）的（fang）老师提出修改建议，从而不断完善自己的写作文章。点击阅读原文即可查看最新托福课程哦~
2019-12-17 11:00
来源：济南新东方学校
作者：新东方小新
焦点推荐
版权及免责声明
①凡本网注明"稿件来源：新东方"的所有文字、图片和音视频稿件，版权均属新东方教育科技集团（含本网和新东方网） 所有，任何媒体、网站或个人未经本网协议授权不得转载、链接、转贴或以其他任何方式复制、发表。已经本网协议授权的媒体、网站，在下载使用时必须注明"稿件来源：新东方"，违者本网将依法追究法律责任。
② 本网未注明"稿件来源：新东方"的文/图等稿件均为转载稿，本网转载仅基于传递更多信息之目的，并不意味着赞同转载稿的观点或证实其内容的真实性。如其他媒体、网站或个人从本网下载使用，必须保留本网注明的"稿件来源"，并自负版权等法律责任。如擅自篡改为"稿件来源：新东方"，本网将依法追究法律责任。
③ 如本网转载稿涉及版权等问题，请作者见稿后在两周内速来电与新东方网联系，电话：010-60908555。
新闻动态
