很少人像MIT的托納-羅傑斯(Aidan Toner-Rodgers)一樣,博士班一年級時就因為一篇論文如此引人矚目。他的論文《人工智慧、科學發現與產品創新》(Artificial Intelligence, Scientific Discovery, and Product Innovation)獲得系上兩位知名教授大為讚賞,以及各大媒體的顯著報導。
諾貝爾經濟學獎得主艾塞默魯(Daron Acemoglu)認為AI對於生產率的貢獻很小,而且會加劇收入不平等,而他的同事奧托(David Autor)則認為相反,AI不僅增加生產力,而且會創造大量新工作,為社會帶來巨大的好處。而托納-羅傑斯的論文為他們的分歧帶來部分啟發。
托納-羅傑斯宣稱他發現AI使得研究人員發現的材料數量增加了44%、專利申請數量增加了39%、新產品原型數量增加了17%,這超過了艾塞默魯對AI的生產力影響的評估。艾塞默魯的研究發現十年內AI造成總要素生產力(Total Factor Productivity, TFP)的增長不超過0.66%,並認為未來10年AI增加總要素生產力的幅度不會超過0.53%。如果托納-羅傑斯的發現具有普遍性,那就符合奧托認為AI將帶來巨大成長的說法。
在另一方面,托納-羅傑斯的發現符合艾塞默魯擔憂AI加劇收入不均的說法,而且帶來一種新的原因,因為越頂尖的研究人員,越能夠從AI中獲益而增加產出,排名較後段的研究人員,使用AI並未帶來任何進步,而擴大收入不均。
托納-羅傑斯的發現很快受到全國矚目,《華爾街日報》、《大西洋月刊》、《經濟學人》均大幅報導,科文 (Tyler Cowen)的「邊際革命」和李維特(Steven Levitt)的「蘋果橘子經濟學」等知名經濟學者也在部落格中轉載其發現。托納-羅傑斯一時風光無限,儼然是經濟學界的明日之星。
不幸的是,這一切都是假的。托納-羅傑斯的論文是偽造的,他根本沒有從事這項研究,所有的數據都是編造出來的。事情爆發之後,艾塞默魯和奧托收回對他的讚譽,表示遺憾。對學術詐欺向來處理明快的MIT,立刻組成紀律委員會(Committee on Discipline)展開調查,之後發表公開聲明,表示無法信任該論文的資料來源、資料可靠性與研究結論,認為該論文持續公開可能違反arXiv的規範,並且通知正在審查該論文的期刊《Quarterly Journal of Economics》。目前托納-羅傑斯已經離開MIT博士班,他的論文也在arXiv下架,《Quarterly Journal of Economics》也已經撤回對該文的評審程序。
雖然事情看來已經暫時告一段落,但是仍然留下不少疑問值得深思。讓最多人難以理解的是,為什麼這麼多優秀學者都細讀了該篇論文,沒有任何人發現其造假?
托納-羅傑斯的論文是偽造的,他根本沒有從事這項研究,所有的數據都是編造出來的。(圖片取自Mushtaq Bilal, PhD貼文)
諾貝爾經濟學獎得主艾塞默魯和奧托都是MIT經濟系教授及AI研究專家,並且是作者的老師,和作者討論過該篇論文,還一同上媒體受訪,但是從頭到尾都沒發現該篇論文有任何問題,直到某天他們接到一位在材料科學方面經驗豐富的電腦科學家,詢問該技術的工作原理,以及一個他不知道的實驗室如何取得創新進展等問題,才驚覺到論文可能有問題。在此之前,兩人從未懷疑過該論文作假。
原因之一是該作者雖然是博士班一年級學生,但是對相關文獻十分熟悉,寫作論文也十分專業,不容易輕易發現錯誤,這或許和作者就讀博士班之前在紐約聯邦儲備銀行(Federal Reserve Bank of New York)工作有關,這不僅使得他有機會熟讀相關文獻,也容易接觸經濟學者得到推薦信,或許與他進入MIT博士班就讀有關。
但是無論對理論如何熟稔、寫作手法如何老練,要無中生有偽造一份實證研究仍相當困難。因為這不是只要修改表格上的數字就可以,各個數字之間必須首尾連貫,尤其是如果送到學術期刊審核,審稿者通常會提出各種問題,作者必須跑各種不同的統計分析,要編造各種數據又能做到首尾連貫,具有內部一致性,而不被看出破綻就十分困難。
事發之後,有些學者仔細檢視論文中的每一份統計分析結果和表格,看是否偽造得天衣無縫,一點都看不出違和之處。結果果然發現一些異常,多個統計表格中的p值顯得不太合理,但是有很多種原因可以造成這種現象,未必能夠猜到是偽造數據。
偽造者通常會在某些關鍵部分做假,很少像托納-羅傑斯一樣,根本沒有調查,數據完全是偽造的。由於目前很多頂級學術期刊會要求原始數據,所以光靠修改統計圖表,不可能達成可信的偽造結果。因為托納-羅傑斯是投稿的是頂級期刊《Quarterly Journal of Economics》,如果編輯或是審稿者要求,偽造的圖表將無可遁形,這也就意味著托納-羅傑斯也必須編造所有數據,如果不是有某種AI或程式的協助,很難想像有人可以捏照出這麼完美的數據,完全符合統計結果的要求。這也是整個論文詐欺事件中,最令人疑惑的部分。
除此之外,我認為還有一個被忽略的心理因素。托納-羅傑斯的論文之所以不受到懷疑,因為它符合多數學者對「好論文」的期待,用同史丹佛大學艾森哈特(Kathleen Eisenhardt)的話說,就是對一個重要的題目,結果大部分結果符合學者對於該項研究的預期,但也有少部分出人意表之處。托納-羅傑斯的論文指出AI對科學發展與產品創新有利,這是多數學者預期的結果,而其幅度之大小,則是眾人關心的結果(例如艾塞默魯和奧托對於AI生產力大小的分歧)。但是該論文指出,AI對於頂尖研究人員生產力的促進,超過能力教遜的研究人員,則出乎某些人的意料之外。
為什麼「AI對於優秀研究人員助益較大」的結果出乎某些人的意料之外?同樣是出自MIT經濟系與商學院的Erik Brynjolfsson等人今年(2025)也是在《Quarterly Journal of Economics》發表的文章中發現,某個國際電話客服中心採用生成式AI之後,平均生產力增加了15%。但是他們發現,經驗較少和技能較低的員工反而能夠從AI中獲益最大,反而是經驗最豐富和技能最高的員工,雖然回答速度略有提升,但品質略有下降。主要是對於中等罕見問題中,採用AI帶來的效益最大,因為在這類問題中,人類客服人員的基礎經驗較少,但AI則擁有足夠的訓練資料。
托納-羅傑斯論文的發現正好相反,這正是該論文讓專家們耳目一新之處。因為Erik Brynjolfsson等人研究的是生成式AI(如ChatGPT)對於一般客服工作的影響,而托納-羅傑斯論文則宣稱是採用專屬AI,並且是針對專業研究人員的影響。在Google DeepMind的哈薩比斯(Demis Hassabis)和強普 (John M. Jumper)因所設計的AlphaFold獲得2024年諾貝爾化學獎的影響下,很多人因此對而托納-羅傑斯論文的研究結果產生興趣。
不同於Erik Brynjolfsson的論文是由三位優秀學者共同完成,托納-羅傑斯的論文只有單一作者,讓後者更容易捏造資料。尤其是托納-羅傑斯僅僅是博士班一年級的學生,就能夠獨立寫出優秀論文,也讓人對其才華更加期待。但其實仔細思考就會發現,這反而是反常之處。托納-羅傑斯在2024年進入MIT博士班,他在2023年完成這篇論文,應該對於他獲得MIT入學許可大有助益,而實驗是從2022年開始蒐集的,其最終資料涵蓋1,018位研究人員。姑且不論經費來源,有哪一個雇用超過1000名科學家的實驗室,會讓一個還沒有進入博士班就讀的年輕人大舉進入公司取得許多關鍵數據?
不過這些問題都是事後才引起人們懷疑,事前人們多少受到MIT金字招牌光環,加上兩位研究AI的頂尖教授艾塞默魯和奧托高度讚揚的影響,其中一位還是諾貝爾獎得主!我們無法得知,如果不是那位好奇的材料科學與電腦科學專家的來信詢問,引發艾塞默魯和奧托的高度重視,這篇造假的論文最後是否會通過學術審查?若真是如此,托納-羅傑斯又從盛名卓著的MIT經濟系取得博士,其前途將一片光明。鑑於其膽大妄為到全盤偽造資料的經過,根據過去相關的案例,不難猜出未來他若進入另一聲名卓越的機構任職,將會繼續偽造資料,直到其成為大佬為止。這樣一來,學術論文中將會繼續產出各種偽造的論文。
沒有理由相信,托納-羅傑斯是唯一一名大膽偽造資料的學界中人,他被輕易發現,也有部分和他資歷尚淺有關,雖然他的學術人生因此走到盡頭,但是我們該問的是:還有多少論文詐欺的事件沒有被發現?有多少學術論文的結果可以信賴?
2023年,影響力巨大的期刊《Nature》曾經刊登一篇研究,發現學術論文造假的情形一年比一年嚴重,許多出版商正努力揪出由論文工廠產出的造假文章,僅在該(2023)年,有超過10,000篇已經發表的論文遭到撤回,創下歷史新高。例如在2022年發表的論文中,被撤回的比例超過0.2%,也就是每500篇發表的論文,就有一篇因造假而遭到撤回。這個數字相較20年前多了10倍,較10年前增加超過3倍,可見學術造假情況惡化之迅速。
論文造假和越來越多的大學研究機構強調研究的高度競爭環境有關,也有個別國家的因素。提到論文造假,很多人會想起南韓的黃禹錫和日本的小保方晴子,以及因此自殺的笹井芳樹,但其實無論是南韓或是日本,都不是論文造假大國。根據統計,過去20年被撤回的論文的國家,最常來自沙烏地阿拉伯、巴基斯坦、俄羅斯和中國。
遭到撤回的學術論文在不同期刊中分布也十分不均,高度集中在某些審查較不嚴格的期刊。《Nature》的論文指出,該年遭撤回的超過10,000篇論文中,有超過8,000篇都來自知名的學術出版集團John Wiley & Sons (簡稱Wiley)旗下的科學期刊出版社Hindawi。
Wiley為此特別針對Hindawi展開調查,並且發布白皮書,發現造假並非獨立事件,而有大規模系統性操作的跡象,在特刊尤其明顯,代表其為論文工廠滲透的情況十分嚴重。Wiley因此禁止數百位特刊的客座編輯,未來不再擔任編輯職務及出版其文章。Wiley最終將旗下屬於Hindawi的19種學術期刊停刊。不過Hindawi出版這些文章時總共收了好幾百萬美元的文章處理費(APC),但撤銷這些稿件的同時,也未將費用退回給作者,因為Hindawi造假,造成Wiley重大損失,估計讓其收益少了3,500萬到4,000萬美元。
而這些被發現有問題而遭到撤回的學術論文,可能只是冰山一角,恐怕還有更多造假的論文並非被發現,仍然刊登在學術期刊上。同時學術論文使用AI的情形也越來越顯著,很多並未標明哪些部分由AI完成,也讓不少人對學術界的正直產生懷疑。
※作者為台大機械系、政大企研所畢業,於法國INSEAD取得博士學位。現為加拿大約克大學副教授。