透過 robots.txt 一鍵拒絕 AI 訓練，四大科技巨頭宣布支援 IETF 共通標準草案
為了讓數位內容的版權管理更有效率，OpenAI、Google、微軟（Microsoft）與 Anthropic 近日共同宣布，將支援一項全新的 robots.txt 共通機制。未來，網站經營者只需寫入單一規則，就能明確表達自家內容是否願意被用於 AI 模型訓練。相較於以往必須針對各家 AI 爬蟲逐一設定封鎖條件的繁瑣過程，這項新標準被業界視為能大幅簡化網站管理流程的一大福音。
這套機制的概念源自於 AI 新創 Anthropic 技術主管凱文·凱利（Kevin Kelley）向 IETF（網際網路工程任務組）提出的草案，其核心在於新增一個名為「__usage_ai-training」的政策標記。透過這個標記，網站管理者可在 robots.txt 中針對全站或特定網頁路徑設定偏好。例如，經營者可以選擇全面拒絕網站內容被當作 AI 訓練資料，或是設定僅允許「新聞資料包」等特定區塊被抓取。
草案中也特別釐清，這項新設定純粹是用來表達對「AI 訓練用途」的意願，並不等同於全面禁止網站被爬蟲抓取，因此完全不會影響網站在一般搜尋引擎中的正常索引與排名。儘管各大巨頭已達成共識，但新規則的導入時程仍有差異：
Anthropic：目前已率先開始支援該機制。
OpenAI：表示將在未來幾個月內完成實作。
Google：計畫於 2027 年開始支援。
Microsoft：宣布將自 2027 年 2 月 1 日起正式配合，並同步調整其現有的 AI 訓練與內容參照（Grounding）控制機制。微軟也特別提醒，這項新的網頁層級設定，未來將取代過去常使用的 NoArchive 與 NoCache 標記。
值得注意的是，這項機制目前仍屬於 IETF 的「個人提交草案」（Individual Submission Draft），尚未成為正式的網路標準，意味著未來的細節內容仍有調整的空間。此外，相關企業也共同強調「不溯及既往」的原則，指出新規則僅會影響未來的資料蒐集與訓練，並不會撤回過去已經完成的網頁抓取。
整體而言，這項共通機制的推動，對廣大出版商與網站經營者來說是一項利多。這代表未來產業界將擁有一套更簡單的「共同語言」，讓內容創作者能更直覺地管理自身數位資產，掌握內容是否進入 AI 模型訓練流程的主導權。
（首圖來源：pixabay）