不需重新訓練，MIT 最新研究：AI 已能直接「微創」修改其他 AI 的底層權重
麻省理工學院電腦科學與人工智慧實驗室（MIT CSAIL）近期發表了一項名為「權重空間程式設計」（Weight-Space Programming）的突破性技術。研究證實，大型語言模型的能力已不再侷限於生成文字，現在甚至能直接「讀取並改寫」另一個神經網路的底層權重，進而精準修正其行為模式。
免重新訓練，精準修補邏輯缺陷
為了驗證這項技術，研究團隊以 OpenAI 的 GPT-4o Astra 做為實驗工具，讓它對阿里巴巴的 Qwen2.5-0.5B 模型進行檢視與修改，目標是強化其數學解題能力。
令人驚豔的是，在完全不使用傳統「梯度下降法」（Gradient Descent）、也無需重新訓練的情況下，Astra 僅僅更動了約 0.016% 的權重（相當於 131,072 個參數），就成功排除了 Qwen 模型容易陷入「重複推理迴圈」的缺點。這場針對權重的「微創手術」為模型帶來了顯著的效能躍進：
MATH-500 基準測試：準確率由 7.9% 飆升至 48.1%。
GSM8K 數學測試：成績從 13.8% 大幅提升至 67.1%。
IFEval 指令遵循能力：分數從 21.0% 成長至 62.3%。
研究團隊特別強調，這次效能的大幅進步，並非因為模型被「灌輸」了全新的數學知識，而是 Astra 精準找出了原本阻礙模型完成推理的網路缺陷，並加以修補。
從零寫出神經網路，未來發展潛力巨大
除了修改現有模型，研究團隊也發現 Astra 甚至具備在「零樣本」（Zero-shot）的條件下，從頭寫出一個可運作的策略網路權重的能力。
團隊表示，這項技術未來將有助於人類深入理解 AI 模型的內部運作機制、改善模型對齊（Alignment），並降低 AI 一味迎合使用者的「諂媚傾向」。儘管目前研究仍處於早期階段，但團隊接下來將著手建立標準化的基準與測試框架，以進一步驗證這項技術的穩定性與可重現性。
（首圖來源：pixabay）