請更新您的瀏覽器

您使用的瀏覽器版本較舊,已不再受支援。建議您更新瀏覽器版本,以獲得最佳使用體驗。

同段 Prompt 跑 3 次結果都不一樣?揭密 AI 做專案排序的「隱形權重」陷阱

經理人月刊

更新於 09月29日04:10 • 發布於 09月29日03:58 • 韋惟珊

早安呀!

你有沒有請 AI 幫你比較過方案、排優先順序?它做了比較表格,看起來分析得很完整,你就相信了?

昨天剛上完新商業學校的「降本增效 AI 工作流」,吳相勳老師現場帶學員做了一個實驗:用同段指令,請 AI 幫提案排優先順序,分別在不同對話執行 3 次,排出來的順序都不一樣。

老師用「信度」和「效度」來解釋。

信度是,相同條件下重複執行,AI 結果夠不夠一致?效度則是問,AI 給的結果,有對準你想解決的問題嗎?

以最值得公司投入的專案來說,假如主管給 AI 一套判斷標準,但每次排序結果有巨大差異(信度不足),或是結果根本抵觸主管資源分配的邏輯(效度不足),都會造成工作上的麻煩。

這讓我想起自己在設計一天一 AI PRO「決策教練」工作流時,也碰到類似的問題。

本來覺得要「幫你做出決定」,但做著做著才發現,在 AI 急著選 A 或 B 之前,應該先帶你看見:真正要解決什麼問題?真的只有 A、B 兩個選項嗎?可能有哪些盲點?

我把想法整理在圖卡給你。

一天一 AI PRO 官網正式上線,點此搶限時特惠,去看看我還做了哪些工作流吧。有任何心得和許願,歡迎點此留言分享,我都會看!

同段指令跑三次,AI 給的專案排序都不一樣

同段指令跑三次,AI 給的專案排序都不一樣

老師用同樣的 prompt,請 AI 從 7 個提案裡選出優先做的 3 個,同個人分別開不同對話跑 3 次,選出來的優先專案卻不完全相同。

他解釋,生成式 AI 做判斷型任務天生就帶隨機性,最麻煩的是,就算它就算每次都選一樣,也不代表選對。很可能挑出的 3 個優先專案,跟主管想選的完全不同。

問題出在哪?它自己補上了你沒定的權重

問題出在哪?它自己補上了你沒定的權重

你可能有說要根據幾個面向來評估和排序,但 AI 具體排序的依據是什麼?各個面向的權重占比如何?效益和風險哪個比較重要?高報酬、高風險值得做嗎?哪些限制不能退讓?

這些主管有的「直覺」只要沒有說出口,AI 為了回答就會自己補上。

跟 AI 討論標準和選項,先別讓它直接排序

跟 AI 討論標準和選項,先別讓它直接排序

下次請 AI 做排序、選擇或比較,可以先貼:

先把藏在答案後面的判斷規則搬到桌面上。

我把「先別急著決定」做進了決策教練工作流

我把「先別急著決定」做進了決策教練工作流

一天一 AI PRO 裡,我設計了一個「決策教練」工作流。完整流程長這樣:

① 先確認目的:你真正想達成什麼?

② 檢查這真的是二選一?有沒有第三條路、先試一小步,甚至暫時不做?

③ 確認選項:至少兩個你確認過的方案,才開始比較。

④ 把代價攤開:選 A 得放棄什麼?選 B 又得承擔什麼?

⑤ 找出你「不能承受的代價」:選 A 要犧牲什麼、選 B 要犧牲什麼?

⑥ 最後才給建議:說清楚為什麼選它,以及在什麼情況下會改選另一個方案。

想直接用?決策教練已放進一天一 AI PRO

想直接用?決策教練已放進一天一 AI PRO

點此登入一天一AI PRO 官方網站,成為付費年度會員。找到「決策教練」的下載按鈕,下載 zip 檔。Claude 網頁版:Setting → Skills → 右上方 Add → Upload skill → 上傳 zip 檔。

ChatGPT 網頁版(付費版):開新對話 → 選「工作」標籤 → 對話框上傳 zip 檔 → 輸入「幫我安裝到個人雲端技能」。

完成後重整頁面、開新對話,直接說在對話處輸入「決策教練」+你的問題就能使用。

訂閱《一天一AI》日報,每天跟你分享超實用的AI小技巧!

延伸閱讀

ChatGPT 推出 Data Agent、金融業專屬版!拆解背後的運作邏輯,做出你的 AI 幫手
行銷怎麼用 AI?提案、素材製作等 10 大工作情境拆解,可複製 Prompt 一次看
加入《經理人》LINE好友,每天學習商管新知

查看原始文章

更多理財相關文章

01

台揚12/21確定下市!今跌停鎖死 千張大戶還有3人

EBC 東森新聞
02

台股震撼彈來了!這大廠驚爆12月21日終止上市 今恢復交易恐爆賣壓

三立新聞網
03

漢來美食發重訊!委外線上商城訂單外洩 啟動應變機制

EBC 東森新聞
04

黃仁勳陷婚外情風波!輝達股價失守170美元 「兩天蒸發逾13兆元」

CTWANT
05

曾經的鴻家軍光環不再 台揚找無資金下月21日終止上市!

鏡週刊
06

統一傳131億收購肯德基、必勝客!昔親手引進肯德基,為何30年後又想買回來?

數位時代
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...
Loading...