AI阅卷老师逼学生作弊!懂了套路乱写也能拿满分


边策 萧箫 发自 凹非寺
量子位 报道 | 公众号QbitAI

上学的时候,老师一定教导过你:遇到不会的问答题,就算是瞎写,也要随便写两句。也许阅卷老师心情好,可能会酌情给分呢。

老师会不会给分,不知道。但是,AI真的会给分,甚至可能是满分,即使你什么也不知道。

最近,一个号称服务于美国2万所学校的AI教学平台翻车了,利用它的漏洞去“裸考”就能轻松及格,简直就是“学渣福音”。

翻车过程

事情的起因是这样的:

一位美国家长Dana有一天发现,她正在读七年级的儿子突然哭了。因为有道历史题,孩子只拿了50%的分数。

这意味着他必须把剩下题目全部答对,否则就会不及格。

这道题问的是:君士坦丁堡的地理位置是如何帮助拜占庭帝国变得富有强大的?

而孩子的回答是基本没有问题的。(请忽略最后一句话,这句话不是孩子写的,原因后面自见分晓。)

一开始,Dana觉得,改卷子的老师是不是太苛刻?她这样安慰儿子。

但是孩子说,他把答案提交1秒后就得到了分数。所以Dana意识到,批阅试卷的应该不是人,而是AI。

Dana对技术有一定的了解,她觉得,AI系统很可能是根据关键词来评分。为了验证自己的想法,他把儿子的作业做了一遍。

她尝试在答案里加入“财富、商队、中国、印度”,也就是上图中的最后一句,反正能想到的关键词都一股脑儿填进去。

奇迹出现了,这道题她拿了满分。即使这些关键词之间没有任何串联。

单词沙拉——Dana找到了一种获得高分的好办法,就是把所有可能的关键词组合起来,总有能蒙对的。这种方法对短问答题尤其有效。

当然,这只是Dana本人的猜测。实际上这家公司在官方的帮助中心里已经承认了:我们就是按照关键词的百分比来评分的。

没有关键词0分,有一个就拿一点分,全部命中拿100分。

绕过AI的作弊“妙招”

提供这项AI评分技术的公司叫做Edgenuity。

新冠疫情让美国的不少学校无法开学,学生只能在家学习,所以很多学校就用上了Edgenuity的远程教学和考试方案。

而Edgenuity的AI评分问题早已有之,只是最近才被外媒发现。

一周前,有网友抱怨自己只拿了0分,很多人就指出了Edgenuity是靠关键词评分的事实。

一位多年前使用过该系统的高中生说,他当年就发现了这个作弊方法。当他完全不知道怎么答题的时候,就在回答框里填入各种单词,而且“经常会奏效”。

还有学生发现,把问题粘贴到答案里也可以得分,因为问题里常常包含了关键词。

想当年老师说过,遇到不会的问答题,把问题抄一遍。诚不欺我也!AI真的比阅卷老师还好说话。

有些学生告诉记者,他们在上学期都使用了这个技巧,并每次都考到了不错的分数。

如果你去Google搜索Edgenuity,那么就会发现,“如何在Edgenuity里作弊”一直处在热搜的位置。

在Reddit论坛的Edgenuity板块里,学生们公然讨论着如何作弊。这款号称防作弊、自动判卷子的Edgenuity其实漏洞百出。

进入这个链接后,真是打开了新世界的大门,原来美国中学生对如何在AI系统中作弊有着颇深的研究。

Edgenuity不是可以防