AI 基準測試平台 Kaggle Game Arena 登場,頂尖模型首戰西洋棋
來自 Google、OpenAI、Anthropic、xAI、DeepSeek 及 Moonshot AI 的 AI 模型,將會在棋盤上一較高下。
Google 旗下資料科學社群 Kaggle 推出全新 AI 基準測試平台 Kaggle Game Arena,AI 模型和代理工具可在各種策略遊戲正面交鋒,從中評估它們的思考和推理能力,探索值得信賴的測試基準。
為了慶祝新平台正式上線,Kaggle 與 Chess.com、Take Take Take 以及頂尖棋手 Levy Rozman、Hikaru Nakamura、Magnus Carlsen 合作,舉辦為期 3 天的 AI 西洋棋表演賽。
包括 OpenAI 的 o3 和 o4-mini、Google 的 Gemini 2.5 Pro 和 Gemini 2.5 Flash、Anthropic 的 Claude Opus 4、xAI 的 Grok 4,以及來自中國的 DeepSeek-R1、Kimi 2-K2-Instruct,由這 8 款模型作為西洋棋選手進行比賽,採單淘汰賽制,Game Arena 每天線上直播一輪比賽,第一輪結束會有 4 款模型勝出、進入到第二輪,第二輪結束最終會有 2 款模型進行決賽。
Google 列出多項規則,像是各模型只能回應文字指令,不得使用任何第三方工具,也就是不能直接使用 Stockfish 棋譜引擎來選出最佳走法,必須自行思考。
透過線上直播,將會展示各模型如何「推理」下一手棋,以及面對失誤如何做出應對。
除比賽外,Kaggle 依據數百場沒有公開直播的對戰成績,製作更全面的 Kaggle Benchmarks 排行榜。各模型將會隨機多次對戰,以建立具公信力的基準。
(首圖來源:Google Blog)
留言 0