AI 編程工具或讓開發人員感覺快速　實則可能降低效率

更新於 07月20日00:14 • 發布於 07月12日17:02 • NewMobileLife

一項最新研究顯示，儘管開發人員普遍認為 AI 編程工具能提高效率，但對於經驗豐富的開源項目開發人員而言，使用這些工具反而可能導致工作時間拉長。

研究過程與結果

METR 學院的研究人員於 2025 年初進行了一項隨機對照試驗，旨在評估先進 AI 工具對資深開源開發人員生產力的影響。該研究追蹤了 16 位經驗豐富的開發人員，他們處理了來自自身複雜開源項目的 246 項實際任務。開發人員預計 AI 會讓他們的速度提升 24 %。為了測量真實影響，每項任務被隨機分配到兩組之一：一組在沒有生成式 AI 的情況下工作，另一組則使用 AI 助手，主要包括 Cursor Pro 以及 Claude 3.5 和 Claude 3.7 Sonnet 等領先模型。

研究人員發現，儘管開發人員一致預期能節省時間，數據卻顯示結果恰恰相反。開發人員在使用 AI 時，平均完成真實任務的時間反而多出了 19 %，即使在完成任務後，他們仍然相信 AI 讓他們快了 20 %，儘管實際上卻花費了更長的時間。

測量真實影響需要新方法

METR 學院指出，這些結果顯示了測量生成式 AI 在實際世界中影響的必要性。SWE-Bench 或 RE-Bench 等常見基準測試通常專注於孤立、無情境的任務和演算法評估，這可能會扭曲實際情況。相較之下，這類隨機對照試驗在真實環境中測試實際任務，提供了 AI 如何幫助——或阻礙——開發人員日常工作的更全面視圖。