AI閱卷老師逼學生作弊!懂了套路亂寫也能拿滿分
量子位 報道 | 公衆號QbitAI
上學的時候,老師一定教導過你:遇到不會的問答題,就算是瞎寫,也要隨便寫兩句。也許閱卷老師心情好,可能會酌情給分呢。
老師會不會給分,不知道。但是,AI真的會給分,甚至可能是滿分,即使你什麼也不知道。
最近,一個號稱服務於美國2萬所學校的AI教學平臺翻車了,利用它的漏洞去“裸考”就能輕鬆及格,簡直就是“學渣福音”。
翻車過程
事情的起因是這樣的:
一位美國家長Dana有一天發現,她正在讀七年級的兒子突然哭了。因爲有道歷史題,孩子只拿了50%的分數。
這道題問的是:君士坦丁堡的地理位置是如何幫助拜占庭帝國變得富有強大的?
而孩子的回答是基本沒有問題的。(請忽略最後一句話,這句話不是孩子寫的,原因後面自見分曉。)
一開始,Dana覺得,改卷子的老師是不是太苛刻?她這樣安慰兒子。
但是孩子說,他把答案提交1秒後就得到了分數。所以Dana意識到,批閱試卷的應該不是人,而是AI。
Dana對技術有一定的瞭解,她覺得,AI系統很可能是根據關鍵詞來評分。爲了驗證自己的想法,他把兒子的作業做了一遍。
她嘗試在答案里加入“財富、商隊、中國、印度”,也就是上圖中的最後一句,反正能想到的關鍵詞都一股腦兒填進去。
奇蹟出現了,這道題她拿了滿分。即使這些關鍵詞之間沒有任何串聯。
單詞沙拉——Dana找到了一種獲得高分的好辦法,就是把所有可能的關鍵詞組合起來,總有能蒙對的。這種方法對短問答題尤其有效。
當然,這只是Dana本人的猜測。實際上這家公司在官方的幫助中心裡已經承認了:我們就是按照關鍵詞的百分比來評分的。
沒有關鍵詞0分,有一個就拿一點分,全部命中拿100分。
繞過AI的作弊“妙招”
提供這項AI評分技術的公司叫做Edgenuity。
新冠疫情讓美國的不少學校無法開學,學生只能在家學習,所以很多學校就用上了Edgenuity的遠程教學和考試方案。
而Edgenuity的AI評分問題早已有之,只是最近才被外媒發現。
一週前,有網友抱怨自己只拿了0分,很多人就指出了Edgenuity是靠關鍵詞評分的事實。
一位多年前使用過該系統的高中生說,他當年就發現了這個作弊方法。當他完全不知道怎麼答題的時候,就在回答框裡填入各種單詞,而且“經常會奏效”。
還有學生髮現,把問題粘貼到答案裡也可以得分,因爲問題裡常常包含了關鍵詞。
想當年老師說過,遇到不會的問答題,把問題抄一遍。誠不欺我也!AI真的比閱卷老師還好說話。
有些學生告訴記者,他們在上學期都使用了這個技巧,並每次都考到了不錯的分數。
如果你去Google搜索Edgenuity,那麼就會發現,“如何在Edgenuity裡作弊”一直處在熱搜的位置。
在Reddit論壇的Edgenuity板塊裡,學生們公然討論着如何作弊。這款號稱防作弊、自動判卷子的Edgenuity其實漏洞百出。
進入這個鏈接後,真是打開了新世界的大門,原來美國中學生對如何在AI系統中作弊有着頗深的研究。
Edgenuity不是可以防止學生開網頁找答案嗎?沒問題。
設置瀏覽器在關閉時刪除緩存和Cookie,打開另一個瀏覽器窗口作爲搜索答案使用,滿分so easy。
其實也不必這麼麻煩,現在智能手機這麼發達,去Brainly(類似於國內的作業幫)找一下答案就好。反正手機和電腦是分開的嘛。
也就是說,Edgenuity必須和人類教師結合,需要人類幫忙在線監考、審覈閱卷結果,這樣才能發揮其功效。
顯然,美國的一些教師偷懶了。
超過2萬所美國學校在用
那麼,這家生產“人工智障”的公司Edgenuity,究竟是什麼來頭?
事實上,1998年就成立的Edgenuity,是美國K-12市場的在線課程和教學服務的領先供應商。
2011年,Edgenuity以5000萬美元被Weld North收購後,目前已經有超過2萬所學校使用這個教學平臺,包括全美排名前25的學區中的20個。
也就是說,全美國教育資源最頂尖的地區,80%都能見到Edgenuity的身影。
不過,原先的Edgenuity,主要是一家教育內容提供商,但它於2016年收購了一家名爲Compass Learning的教育軟件提供商。
Compass Learning成立於1964年,主要負責做小學和中學階段的學習評測軟件,被收購時,已經有超過200萬個美國學生、1萬多所美國學校在使用。
前段時間有網友回憶起曾經被Compass Learning相關軟件支配的恐懼,在社交媒體上獲得了網友的激烈響應。
現在由於疫情原因,大部分美國學校將目光轉向了在線教育課程,其中一些學校更是直接將教學和測驗都外包給了像Edgenuity這樣的在線教育公司。
針對此事,Edgenuity做出了迴應,稱AI打分永遠只會提供“算法上的指導”,不能決定學生的課程成績。
Edgenuity不會使用算法去代替教師評分,只會提供一個打分參考。老師們有能力接受或否定推薦的分數。AI不會爲測試打分,也不會決定學生的測試成績。
但即便如此,Edgenuity的影響卻還在美國擴大。
據美通社消息,Edgenuity近日獲得了2020年的卓越教學獎(Tech & Learning Awards of Excellence),全球教育最具代表性之一的EdTech獎項(the EdTech Cool Tool Awards),美國“軟件與信息產業協會”(SIIA)唯一核心大獎(the CODiE Awards),以及技術教育獎(the Tech Edvocate Awards)。
這些“經過專家評估的”專業技術獎項,使得Edgenuity成爲在線以及K-12教育更具影響力的公司。
AI閱卷老師,國內也有
事實上,AI改卷老師,並非只有國外才有。
早在2017年,阿里就推出了AI批閱中文試卷的系統,產出了“全球第一份機器人批改的作文”。
據搜狐報道,在浙江外國語學院國際學院,阿里AI爲來自俄羅斯、韓國等11位留學生批閱了中文試卷,“批閱一篇試卷的時間通常只需要40秒”。
簡直比批閱高考作文的老師看得還快。
不過看起來,AI改作文的主要標準,是集中在“糾正語法”上。
例如,在“請寫一寫你的愛好”的命題作文下,一位學生提到自己的愛好是中文,並在作文中寫道:“中文的難點並非是字,而是像女朋友一樣善變。我是不會放棄的,除非中國人也放棄我纔會放棄。”
△ 圖片源自搜狐
對於這兩句話,一位漢語系教授表示:“我教了14年的中文,不認真看還真沒看出問題。但事實證明,這兩句話都是病句,存在雜糅和重複的錯誤。”
據悉,阿里開發這套閱卷系統的主要目的,是教外國人學中文,所以在語法方面會有嚴苛的要求。
如果說阿里的閱卷系統還是個小範圍的嘗試,科大訊飛已經將之應用到實際考試中了。
據瞭解,早在2016年,我國教育考試中心就和科大訊飛成立了聯合實驗室,共同開展人工智能技術在閱卷、命題、考試評價分析等方面的研究。
而在2017年,湖北襄陽就已經正式在中考評卷工作中引入了該機器評分系統作爲評分輔助手段。
據瞭解,這個系統基於科大訊飛自主知識產權的手寫識別、自然語言理解、智能評測等人工智能核心技術設計研發,能夠實現對除選擇題以外的所有題型的空白題檢測。
不僅如此,還能改主觀題,對語文作文、英語作文、英語翻譯、文綜類簡答題、英語填空題題型進行計算機智能評卷。
同時,也能針對語文作文與英語作文,有效地檢測出考生抄襲範文的異常答卷,有效降低主觀題人工評卷的工作量。
然而,卻有微博網友發現了國內AI閱卷系統翻車的情況。
從圖中來看,這個名爲奇點學院的APP,在批改數學題的時候,要求答案只能與它的公式“完全一致”,其他步驟即使是對的,也不給滿分。
△ 圖片源自微博 @安託利婭
哪怕是推導過程無誤,答案正確的情況下,10分的題目也只給了7.5分。
那麼,你相信AI改試卷比人民教師靠譜嗎?
參考鏈接:
https://www.theverge.com/2020/9/2/21419012/edgenuity-online-class-ai-grading-keyword-mashing-students-school-cheating-algorithm-glitch
https://twitter.com/DanaJSimmons/status/1300997133311508480
https://www.reddit.com/r/edgenuity/comments/gbmx2l/how_do_i_successfully_cheat_on_edgenuity_without/
https://finance.yahoo.com/news/edgenuity-announces-recognitions-tech-learning-140000177.html