AI 狂抓網站內容卻不給錢？Cloudflare 意圖改變全球網頁爬蟲市場
當 AI 忙著抓取網路內容進行訓練模型時，內容創作者面臨的卻是永無止盡被佔便宜的困境。雲端服務商 Cloudflare 最新推出了「按抓取付費」市場實驗，試圖改寫這個不公平的遊戲規則。讓網站擁有者能直接向 AI 大廠收取資料使用費。這項創新可能徹底改變 AI 模型與內容出版商之間的權利與授權機制。
從封鎖到變現，Cloudflare 戰略轉向
過去一年，Cloudflare 主要幫助網站擁有者對抗 AI 爬蟲的大量抓取：他們推出了一鍵封鎖所有 AI 機器人的工具，以及讓網站擁有者追蹤 AI 爬蟲造訪狀況的視覺化儀表板。這些看似防禦性的產品，實際上正在為更大的商業布局鋪路。
現在，Cloudflare 正式推出「按抓取付費」（Pay per Crawl）市場實驗。網站擁有者可以針對不同 AI 公司設定抓取價格，每次「抓取」都能收取小額費用。同時，網站擁有者擁有完全控制權，可以選擇收費、免費開放或完全封鎖 AI 爬蟲抓取。
更重要的是，所有透過 Cloudflare 新設立的網站，現在在初始階段就被預設拒絕所有 AI 爬蟲訪問。網站擁有者必須主動授權特定 AI 爬蟲才能存取內容。這個「預設拒絕」的機制，讓內容創作者重新掌握主導權。
大型媒體集團加入實驗，希望奪回創作者權利
過去大多數網站都允許 Google 抓取內容，換取搜尋結果中的曝光機會，進而獲得流量和廣告收入。這個互惠模式運作了數十年，如今的 AI 時代卻可能逐漸失效。
Cloudflare 最新報告指出，網站流量來源出現極端不平衡。傳統上，Google 每推薦 1 次流量會抓取 14 次網站內容，但 AI 公司的比例卻是天文數字：OpenAI 達 1,700：1，而 Anthropic 更高達 73,000：1。
這種巨大落差源於 AI 系統的運作模式。AI 模型抓取內容主要是為了訓練，然後直接在自身應用程式內回答用戶問題，很少導向原始網站。這讓許多依賴網站訪問量賺取廣告收入的出版商面臨嚴峻的流量流失危機，因為用戶不再需要親自點擊進入原網站閱讀。
多家大型媒體集團已經加入 Cloudflare「按抓取付費」實驗，包括 Conde Nast、TIME、美聯社、The Atlantic 等知名出版商都簽約支持 Cloudflare 推出的這項新機制。這些媒體巨頭的參與，反映了內容產業對現狀的不滿。
Cloudflare 試圖建立一個規模化的資料授權市場，讓大多數有規模的出版商都能參與。也因此目前只有大型出版商才有能力與 AI 公司談成授權協議，小型網站和獨立創作者很難從內容中獲得收益。不過透過這個市場機制，還是有不少內容創作者有機會受益。
不過，這個新的市場機制也帶來新挑戰。出版商必須在收費、免費和封鎖之間做選擇，定價策略將直接影響內容的可見度，收費太貴的話 AI 公司會選擇免費網站，收費太便宜又無法彌補失去的廣告收入。
Cloudflare「按抓取付費」新商模
Cloudflare 認為「按抓取付費」的真正商機將在 AI Agent 普及時爆發。當用戶告訴 AI Agent 「幫我研究最新癌症治療方法，預算 100 美元」， AI Agent 就會自動造訪各大醫學網站，購買最新研究報告的閱讀權限，然後整理成完整報告回傳給用戶。
在這個場景中，網站內容將從「免費瀏覽賺廣告費」的模式，轉變為「直接販售給 AI Agent」的商品。就像數位商店一樣，每篇文章、每份報告都有明確價格標籤，AI Agent 會根據內容品質和需求自動購買。
Cloudflare 在這個新生態中就像「數位商店的收銀系統」。當 AI Agent 要購買內容時， Cloudflare 負責處理付款、確認交易，並將錢分給內容創作者。這讓 Cloudflare 成為連接 AI 公司和內容提供者的重要橋樑。
更進一步，Cloudflare 執行長透露正在考慮發行自己的數位貨幣來簡化這些微額交易。這表示該公司不只想當中介平台，還要建立專屬的支付系統，為未來可能出現的大量、頻繁的內容交易做好準備。
資訊提供者不再只坐等被剝削，未來將邁入貨幣化階段
這項市場實驗將出版商從被動資料提供者轉為主動定價者，開啟資料商品化的新階段。這不僅是技術創新，更是商業模式的根本變革。
而這項實驗成功與否將取決於參與者規模、定價機制合理性，以及技術實現可靠性。若 AI 代理真的成為資訊獲取主要入口，如何建立可持續、可控制、可互信的資料市場，將成為決定下一波平台與內容產業發展的關鍵。
對 AI 應用開發者而言，這個市場可能帶來新成本考量，但也提供獲取高品質、合法授權內容的可靠途徑。對內容平台和數位出版商來說，這是重新掌控內容價值、開創新收入來源的機會。無論最終結果如何，Cloudflare 的這項嘗試都將為整個行業提供寶貴經驗。
【推薦閱讀】
◆ 【告別傳統 SEO】AI 時代流量大搬家，Adobe 新工具讓品牌「紅」到 AI 腦中
◆ AI 給答案 vs 關鍵字搜尋：r2decide 研究揭 LLM 流量轉換率高出 9 倍
◆ 【AI 趨勢大洗牌】Grok 與 DeepSeek 暴漲後暴跌，SimilarWeb AI 報告揭 AI 新戰況
＊本文開放合作夥伴轉載，參考資料：《TechCrunch》、《CLOUDFLARE》，圖片來源：Unsplash
（責任編輯：鄒家彥）
留言 0