AI代理將如工業革命放大產出, 比起埋頭苦幹,學會「品管」更重要
我在大學課堂上和同學們預告「你們每個人都要學習怎麼帶人哦,因為一畢業後就要當主管!」這邊指的「當主管」不見得職級、薪水會比較高,意思是要每個人未來都要學會帶領一批 agent 工作。並且,這個能力和科系背景的關係,比大家想像的更小。我在跨學院課堂上觀察到,真正上手快的學生有 2 個共同特質:習慣把任務拆解成步驟、以及拿到結果後會反射性地質疑它。這 2 件事,經濟系、會計系的學生做得不輸資訊背景的同學。
回到職場,我觀察到開缺最多的不是入門職位,反而是產品經理與專案經理。這些職位的招募條件已經變了:以前要求會用 Office,現在直接要求會用 AI 工具串接工作流程。換句話說,「管理」這個能力提前下放了。
邏輯思維先於技術實力,把事情想清楚更重要
帶領 AI 代理新員工,和帶領新人同事有下列的共通點:
1.適才適用 :帶同事之前要了解對方的背景和能力;在使用 agent 新員工之前,我們也要先充分瞭解每種不同 agent 的能力、專長、極限等等。
2.明確指派工作 :新同事就算能力再強,不派工作給他,也只是閒置人力;對待 agent 也是一樣,如果不派給他真正重要的任務,只是聊天、問問題,那幫助也有限。
3.說明指令 :派工作的時候,愈是複雜的任務,愈要想清楚後再派工。把任務寫成一整串話,語言模型其實容易搞混;反而是條列式能讓模型記得最清楚,也最能依序執行。這和寫 SOP 的邏輯一樣,清楚的步驟才能被確實執行,不管執行者是人還是 AI。
4. 即時回饋 :agent 不受工作時間限制,可以快速產出成果,管理者如果不根據成果即時給予回饋、反應太慢,反而變成瓶頸。
5. 品質檢查 :agent 新員工的能力強、產出快,但可能會有錯,有可能是理解錯誤,也可能是「AI 幻覺」,所以管理者要進行品質檢查,很多人知道 AI 會出錯,卻沒有建立任何檢查機制。
AI時代快速放大產出,品質檢查更為重要
「品質檢查」會是 AI 時代中特別重要的管理概念。回看人類歷史,工業革命帶來大量機器生產,機器生產快速有效率,也放大了瑕疵品的數量,因此催生出各種品質管理制度。AI 時代的本質上也是機器生產,快速產出可能放大錯誤,就要靠品質管理手段來補強,這裡面包含了 3 項重要的工作:
1. 建立品質指標與測試題庫。 例如整理出客戶常見問題100題,定期測試AI代理,記錄正確率。這個題庫還有另一個關鍵用途:當你反覆修改指令想提升agent表現時,要怎麼評估改了之後是變好還是變壞?有了題庫,每次修改都能對照正確率的數字,才知道走對了沒有。
2. 分析品質問題。 針對agent的錯誤樣態進行資料蒐集及分析,了解錯誤的成因和分布。例如,為什麼AI代理回覆客戶問題時會答錯?是沒有參考資料、還是背後的模型不夠聰明?
3. 提出品質改善計畫。 這裡有個超級管理者才會用的做法:品質檢查不一定要人親自審,可以先設好評分標準,再指派另一個代理來檢查,重點在你是否設好了標準與方法。檢查後的改善方向可能是改善提示詞、重新訓練模型;也可能是管理手段,例如對客戶問題分級分流,重大問題經過人工檢核放行。
最後,超級管理者還有一項新挑戰:同時調度多個代理並行工作。 單線派工,做完這個再做那個,速度其實有限。真正的效率來自於識別哪些任務可以同步進行,把不同 agent 同時派出去。不過根據觀察,一個人能有效管理的 agent 數量大約在 5~6 個左右,超過這個數字,注意力開始分散,管理品質反而下降。這和帶領人類團隊的最適規模,其實相差不遠。
核稿編輯:張玉琦
延伸閱讀
當「小龍蝦」開始幫你整資料、發信件, 企業如何「分人、分技能、分層」授權
傳統 App 恐將消失!黃仁勳罕見發長文:AI Agent 將成未來主流
加入《經理人》LINE好友,每天學習商管新知