Perplexity是資料小偷？Cloudflare揭「偽裝Chrome爬蟲」，每日狂送逾2千萬次請求

重點一：雲端防護服務商Cloudflare指出AI搜尋引擎Perplexity以隱形爬蟲繞過robots.txt與WAF規則，仍能擷取受限網頁內容。

重點二：該爬蟲偽裝成Chrome瀏覽器並頻繁更換 IP、ASN，每日仍對全球網站送出約2,000至 2,500萬請求。

重點三：Cloudflare已撤銷Perplexity的「已驗證機器人」資格，並新增管制規則阻擋其潛行爬取行為。

Cloudflare (雲端防護服務商) 4 日發表最新觀測， 揭露 Perplexity 在遭封鎖後，改以偽裝瀏覽器的未宣告爬蟲繞過 robots.txt 與 WAF 限制，仍成功抓取原本禁止擷取的內容。此舉不僅違背 RFC 9309 所訂網路共識，也衝擊網站對合法爬蟲的基本信任機制。

換句話說，Perplexity 在被網站擋下後，沒有守規矩地停止，而是讓一支假扮成一般 Chrome 瀏覽器 的爬蟲再偷偷抓取資料。

Cloudflare指出，包括PerplexityBot和Perplexity-User兩種爬蟲，會忽視網站寫在 robots.txt 裏面「禁止抓資料」的指令，連 WAF（Web 應用程式防火牆）的封鎖也設法繞開。

結果就是： 網站原本不想被抓走的內容，仍被抓走；而這種故意違反網路約定（見 RFC 9309）的行為，會削弱網站對「守規矩的爬蟲都會自我標示、遵守限制」這套信任機制。

對於上述指控，Perplexity 發言人 Jesse Dwyer 反駁稱相關貼文只是 Cloudflare 的「銷售話術」，並否認爬蟲為自家所有。不過，Perplexity 去年確實因《Wired》等媒體指其未經授權引用全文而陷入「抄襲」爭議，執行長 Aravind Srinivas 也被質疑對「抄襲」定義語焉不詳。

Cloudflare 近月祭出「AI爬蟲按次付費」功能，讓出版社與網站能為資料存取設定明確定價；同時在旗下免費「Bot Fight Mode」新增 AI-bot 專用封鎖規則，網站只需一鍵即可拒絕或限速未付費的爬蟲，藉此把「給錢才給料」的談判主導權拉回內容擁有者。

Cloudflare如何抓包Perplexity？

Cloudflare 先接獲多家客戶反映，指出即便已在「禁止機器抓取」的 robots.txt 檔案與防火牆（WAF）中封鎖 Perplexity 的官方爬蟲，網站內容仍遭擷取。公司先行確認客戶設定無誤後，進一步購買數個全新且對外完全隱藏的測試網域，並在其中同樣下達「全面禁止爬蟲」指令。

接著，Cloudflare 直接向 Perplexity 詢問這些測試網域的內容，結果卻收到詳盡回答，證實有未經宣告的爬蟲進入。最後，Cloudflare 透過流量分析比對，發現這批爬蟲假冒一般瀏覽器身分，每日仍對全球網站發送約兩千萬次請求，且頻繁更換 IP 與網路識別碼。

綜合上述三項證據，Cloudflare 認定 Perplexity違反公開爬蟲規範，隨即取消其「已驗證機器人」資格並將相關流量列入封鎖清單。

Perplexity 遭剔除「已驗證機器人」名單

Cloudflare 隨即將 Perplexity 剔除「已驗證機器人」名單，並於所有方案推送新簽章，協助站點自動阻擋或挑戰此類隱形爬蟲。公司同時呼籲業者遵守「透明、節制、單一目的」等五大善意爬蟲原則，並與 IETF 共同推動擴充版 robots.txt。

官方亦肯定 OpenAI (開放人工智慧) 旗下 ChatGPT-User 嚴格尊重封鎖指令，並採用 Web Bot Auth 身分簽章，作為業界良好示範。

依據 Cloudflare 的說明，守規矩的爬蟲至少符合下列五項原則：

• 透明 (Transparency)
  主動標示專屬的 User-Agent，公開 IP 範圍或使用 Web Bot Auth 驗證，並附上聯絡資訊，便於站方追蹤與溝通。
• 克制 (Good Netizenship)
  不大量灌流量、不抓取敏感資料，也不使用隱藏或偽裝手段規避偵測。
• 明確目的 (Clear Purpose)
  每一隻爬蟲都應說清楚用於哪項服務，例如語音助理、比價、無障礙輔助等，讓站方能判斷是否開放。
• 分工清楚 (Separate Bots for Separate Activities)
  不同功能用不同爬蟲執行，避免讓站方陷入「全開或全關」的兩難。
• 遵守規則 (Follow the Rules)
  必須檢查並尊重 robots.txt、維持合理速率，且不得繞過 WAF 或其他安全防護。

這五條囊括了對網站「可辨識、可控管、可信任」的核心要求，亦是 Cloudflare 評定爬蟲是否值得授予「已驗證機器人」資格的依據。

延伸閱讀：Lawsnote為什麼「判4年、賠1億」那麼重？律師解讀一審判決：爬蟲到底行不行？
影片｜6萬次爬蟲只換來1次點擊！AI搜尋促成「流量大斷崖」：Google如何改寫搜尋行規？

資料來源：Cloudflare、TechChurch

本文初稿為AI編撰，整理．編輯/ 李先泰

延伸閱讀

美國國防獨角獸Anduril來台設辦事處！讓產業大咖齊聚的一場演說，揭示台灣哪些機會？
Google公布AI提示萬用公式！掌握「21字黃金法則」：先穩80分基本功再求好
「加入《數位時代》LINE好友，科技新聞不漏接」