Cloudflare เปลี่ยนเกม AI บล็อก AI Crawlers ดูดข้อมูลไปใช้ฟรี
คลาวด์แฟลร์ (Cloudflare) เปลี่ยนเกมโลก AI หลังประกาศเป็นบริษัทผู้ให้บริการโครงสร้างพื้นฐานอินเทอร์เน็ตรายแรกที่สามารถบล็อก AI crawlers ที่เข้าถึงเนื้อหาโดยไม่ได้รับอนุญาต โดยเจ้าของเว็บไซต์สามารถเลือกได้ว่าต้องการให้ AI crawlers ใดเข้าถึงเนื้อหาของตนได้ และตัดสินใจว่าจะให้บริษัท AI เหล่านั้นใช้ข้อมูลของตนอย่างไร
3 กรกฎาคม 2568 - Cloudflare, Inc. บริษัทด้านคลาวด์เพื่อการเชื่อมต่อระหว่างเครือข่าย (Connectivity Cloud) ประกาศว่า คลาวด์แฟลร์ เป็นบริษัทผู้ให้บริการโครงสร้างพื้นฐานอินเทอร์เน็ตรายแรกที่สามารถบล็อก AI crawlers ที่เข้าถึงเนื้อหาโดยไม่ได้รับอนุญาต หรือไม่ได้จ่ายค่าตอบแทนตามค่าเริ่มต้น และนับจากนี้เป็นต้นไป เจ้าของเว็บไซต์สามารถเลือกได้ว่าต้องการให้ AI crawlers ใดเข้าถึงเนื้อหาของตนได้ และตัดสินใจว่าจะให้บริษัท AI เหล่านั้นใช้ข้อมูลของตนอย่างไร
ปัจจุบัน บริษัท AI สามารถระบุวัตถุประสงค์ของตนได้อย่างชัดเจนว่า AI crawlers ของตนจะนำข้อมูลไปใช้ในด้านใด เช่น ใช้เพื่อการเทรน การอนุมาน หรือการค้นหา เพื่อช่วยให้เจ้าของเว็บไซต์ตัดสินใจได้ว่าจะอนุญาตให้ใช้ AI crawlers เข้าถึงข้อมูลใดได้บ้าง การตั้งการบล็อก AI crawlers เป็นค่ามาตรฐาน (default setting) ของ Cloudflare นี้ นับเป็นก้าวแรกของการสร้างอนาคตที่ยั่งยืนมากขึ้นให้ทั้งผู้สร้างสรรค์เนื้อหาและผู้สร้างสรรค์ AI
อินเทอร์เน็ตทำงานบนหลักการแลกเปลี่ยนที่เรียบง่ายมาเนิ่นนานหลายทศวรรษ โดยเครื่องมือค้นหาจะจัดทำดัชนีเนื้อหาและนำผู้ใช้ไปยังเว็บไซต์ต้นทาง ซึ่งเป็นการสร้างการรับส่งข้อมูล (traffic) และรายได้จากการโฆษณาให้กับเว็บไซต์ทุกขนาด วงจรของกระบวนการนี้เป็นการตอบแทนผู้สร้างเนื้อหาที่มีคุณภาพด้วยรายได้และผู้ติดตาม ขณะที่ช่วยให้ผู้ใช้ค้นพบข้อมูลใหม่ ๆ ที่เกี่ยวข้อง
แต่หลักการดังกล่าวพังทะลายลงแล้วจากการที่ AI crawlers เก็บรวบรวมเนื้อหา เช่น ข้อความ บทความ และรูปภาพ เพื่อนำไปใช้สร้างคำตอบต่าง ๆ โดยไม่ส่งผู้เยี่ยมชมไปที่แหล่งข้อมูลต้นทาง ทำให้ผู้สร้างเนื้อหาสูญเสียรายได้ และลดทอนความพึงพอใจจากการทราบว่ามีผู้คนเข้าชมเนื้อหาของตน หากไม่มีแรงจูงใจในการสร้างเนื้อหาคุณภาพที่เป็นต้นฉบับ สังคมจะล่มสลาย และอนาคตของอินเทอร์เน็ตก็จะตกอยู่ในความเสี่ยง
Matthew Prince, co-founder and CEO of Cloudflare กล่าวว่า "ถ้าเราต้องการให้การใช้งานอินเทอร์เน็ตอยู่รอดปลอดภัยในยุค AI เราจำเป็นต้องมอบเครื่องมือในการควบคุมการนำเนื้อหาไปใช้ให้กับผู้เป็นเจ้าของ ผู้เผยแพร่เนื้อหาและสร้างโมเดลเศรษฐกิจใหม่ที่เหมาะกับทุกคน ไม่ว่าจะเป็นผู้สร้าง ผู้บริโภค ผู้ก่อตั้ง AI แห่งอนาคต และอนาคตของเว็บเอง เนื้อหาต้นฉบับคือสิ่งที่ทำให้อินเทอร์เน็ตกลายเป็นหนึ่งในสิ่งประดิษฐ์ที่ยิ่งใหญ่ที่สุดในศตวรรษที่ผ่านมา และเป็นสิ่งสำคัญที่ผู้สร้างสรรค์จะต้องสร้างสรรค์มันต่อไป”
“การที่ AI crawlers รวบรวมข้อมูลเนื้อหาได้อย่างไม่มีขีดจำกัดทำให้เรามีเป้าหมายที่จะส่งมอบอำนาจคืนสู่มือของผู้สร้างสรรค์เนื้อหา และยังสามารถให้บริษัท AI สร้างสรรค์นวัตกรรมได้เหมือนเดิม นี่เป็นเรื่องของการปกป้องอนาคตของการใช้อินเทอร์เน็ตอย่างเสรีและมีสีสันด้วยโมเดลใหม่ที่เหมาะกับทุกคน”
Roger Lynch, CEO of Condé Nast กล่าวว่า "แนวทางสร้างสรรค์ของ Cloudflare ในการบล็อก AI crawlers นับเป็นการเปลี่ยนแปลงครั้งสำคัญสำหรับเจ้าของผู้เผยแพร่เนื้อหา และกำหนดมาตรฐานใหม่ในการให้ความเคารพเนื้อหาทางออนไลน์
เมื่อบริษัท AI ไม่สามารถนำสิ่งที่ต้องการไปใช้ได้ฟรี ๆ อีกต่อไป ก็จะเป็นการเปิดโอกาสให้เกิดนวัตกรรมที่ยั่งยืนซึ่งสร้างขึ้นบนพื้นฐานของการอนุญาตและความร่วมมือ นี่คือก้าวสำคัญในการสร้างการแลกเปลี่ยนมูลค่าที่ยุติธรรมบนอินเทอร์เน็ต ซึ่งเป็นการปกป้องผู้สร้างสรรค์ สนับสนุนการสื่อสารมวลชนที่มีคุณภาพ และทำให้บริษัท AI ต้องมีความรับผิดชอบ”
Neil Vogel, CEO of Dotdash Meredith กล่าวว่า “เราพูดกันมานานแล้วว่าแพลตฟอร์ม AI จะต้องจ่ายค่าตอบแทนแก่ผู้เผยแพร่ต้นทางและผู้สร้างสรรค์อย่างยุติธรรมเพื่อใช้เนื้อหาของเรา ตอนนี้เราสามารถจำกัดการเข้าถึงเนื้อหาของเราให้เฉพาะกับพันธมิตรด้าน AI ที่เต็มใจจะตกลงกันอย่างยุติธรรมเท่านั้น เราภูมิใจที่ได้สนับสนุน Cloudflare และตั้งตารอที่จะใช้เครื่องมือของ Cloudflare เพื่อปกป้องเนื้อหาและเว็บที่เปิดให้ทุกคนเข้าถึงได้ของเรา”
Renn Turiano, Chief Consumer and Product Officer of Gannett Media กล่าวว่า "ในฐานะผู้ตีพิมพ์เผยแพร่รายใหญ่ที่สุดในอเมริกา ซึ่งประกอบด้วย USA TODAY และสิ่งพิมพ์ท้องถิ่นกว่า 200 ฉบับทั่วเครือข่ายของ USA TODAY การปิดกั้นการดึงข้อมูลที่ไม่ได้รับอนุญาตและการใช้เนื้อหาต้นฉบับของเราโดยไม่ได้รับค่าตอบแทนที่ยุติธรรมถือเป็นสิ่งสำคัญอย่างยิ่ง เมื่ออุตสาหกรรมของเรากำลังเผชิญความท้าทายเหล่านี้ เราเชื่อมั่นว่าเทคโนโลยีของ Cloudflare จะช่วยต่อกรกับการขโมยทรัพย์สินทางปัญญาที่มีมูลค่านี้ได้”
Bill Ready, CEO of Pinterest กล่าวว่า “ผู้สร้างสรรค์เนื้อหาและผู้เผยแพร่ทั่วโลกใช้ Pinterest เพื่อขยายธุรกิจของตน เพื่อเข้าถึงผู้ชมใหม่ ๆ และวัดความสำเร็จของตนได้โดยตรง ขณะที่ AI ยังคงปรับเปลี่ยนภูมิทัศน์ดิจิทัล เรามุ่งมั่นที่จะสร้างโครงสร้างพื้นฐานอินเทอร์เน็ตที่แข็งแรง ที่ซึ่งเนื้อหาจะถูกใช้ตามวัตถุประสงค์ที่ตั้งใจไว้ เพื่อให้ผู้สร้างและผู้เผยแพร่สามารถเติบโตได้”
Steve Huffman, co-founder and CEO of Reddit กล่าวว่า “บริษัท AI, เครื่องมือค้นหา, นักวิจัย และบุคคลอื่นที่รวบรวมข้อมูลจากเว็บไซต์ต่าง ๆ จะต้องเป็นบุคคลตามที่พวกเขาอ้าง และแพลตฟอร์มใด ๆ บนเว็บควรมีสิทธิ์ในการตัดสินใจว่าจะอนุญาตให้ใครนำเนื้อหาของตนไปใช้ทำอะไร ระบบนิเวศทั้งหมดของผู้สร้าง แพลตฟอร์ม ผู้ใช้เว็บ และโปรแกรมรวบรวมข้อมูลจะดีขึ้น เมื่อการรวบรวมมีความโปร่งใสและควบคุมได้มากขึ้น และความพยายามของ Cloudflare นับเป็นก้าวย่างในทิศทางที่ถูกต้องสำหรับทุกคน”
Vivek Shah, CEO of Ziff Davis กล่าวว่า " Cloudflareให้การสนับสนุนระบบนิเวศดิจิทัลที่ยั่งยืนซึ่งเป็นประโยชน์ต่อผู้มีส่วนได้ส่วนเสียทุกฝ่าย นั่นก็คือผู้บริโภคที่พึ่งพาข้อมูลที่มีความน่าเชื่อถือ ผู้เผยแพร่เนื้อหาที่ลงทุนในการสร้างข้อมูล และผู้โฆษณาที่สนับสนุนการเผยแพร่ข้อมูล"
Cloudflare ขับเคลื่อนหนึ่งในเครือข่ายที่ใหญ่ที่สุดของโลก พร้อมช่วยจัดการและปกป้องปริมาณการรับส่งข้อมูล 20% ของเว็บ บริษัทฯ บริหารจัดการคำขอนับล้านล้านรายการต่อวัน จึงมีโซลูชันการจัดการบอทที่ล้ำหน้าที่สุดในโลก เพื่อแยกแยะระหว่างมนุษย์ผู้ใช้งานที่เป็นคนและ AI crawlers ได้อย่างแม่นยำ
Cloudflare เปิดตัวทางเลือกในการบล็อก AI crawlers ด้วยการคลิกเพียงครั้งเดียวในเดือนกันยายน 2567 นับตั้งแต่นั้นเป็นต้นมา ลูกค้ามากกว่าหนึ่งล้านรายเลือกใช้โซลูชันนี้ ซึ่งเป็นโซลูชันที่แข็งแกร่งแต่ใช้งานง่าย ที่สามารถหยุดการดึงข้อมูลในขณะที่ลูกค้ากำหนดกลยุทธ์ AI ของตนเอง
ปัจจุบัน Cloudflare กำลังดำเนินขั้นตอนถัดไปในการบังคับใช้โมเดลตามการอนุญาตสำหรับ AI crawlers (permission-based model for AI crawlers) นับจากนี้ บริษัท AI จะต้องได้รับอนุญาตอย่างชัดเจนจากเว็บไซต์ก่อนที่จะทำการดึงข้อมูล เมื่อสมัครใช้งาน Cloudflare โดเมนใหม่ทุกโดเมนจะถูกถามว่าต้องการอนุญาตให้ใช้ AI crawlers หรือไม่
เพื่อให้ลูกค้าสามารถเลือกได้ตั้งแต่ต้นว่าจะอนุญาตหรือปฏิเสธการเข้าถึงของ AI crawlers ได้อย่างชัดเจน การเปลี่ยนแปลงครั้งสำคัญนี้หมายความว่าโดเมนใหม่ทุกโดเมนจะเริ่มต้นด้วยการควบคุมที่เป็นค่าเริ่มต้น และทำให้เจ้าของเว็บเพจไม่จำเป็นต้องกำหนดค่าการตั้งค่าด้วยตนเองเพื่อยกเลิก ลูกค้าสามารถตรวจสอบการตั้งค่าได้อย่างง่ายดาย และเปิดให้ใช้งานการรวบรวมข้อมูลได้ตลอดเวลา หากต้องการให้สามารถเข้าถึงเนื้อหาของตนได้อย่างอิสระ
เจ้าของและผู้เผยแพร่เนื้อหา สื่อ และบริษัทเทคโนโลยีชั้นนำระดับโลกใช้ Permission-based model for AI crawlers โดยบริษัทชั้นนำด้านเนื้อหา สื่อ และเทคโนโลยีสนับสนุนการสร้างอนาคตที่ยั่งยืนซึ่งให้ความสำคัญกับเนื้อหาต้นฉบับ
+ตัวอย่างเช่น : +
ADWEEK, The Arena Group, The Associated Press, The Atlantic, Atlas Obscura, BuzzFeed, Inc., Condé Nast, Digital Content Next, DOC, Dotdash Meredith, Drupal & Acquia, EngineEars, Evolve Media, Fortune, Gannett Media, Groundviews.org, จดหมายข่าว Half Baked, Hyperscience, IAB Tech Lab
Independent Media, International Center for Journalists, Internet Brands, Linkup, News/Media Alliance, O'Reilly Media, PMC, Pinterest, ProRata AI, Quora, Raptive, Reddit, SimpleFeed, Sky News Group, Snopes.com, SourceForge, Sovrn, Inc., Stack Overflow, StockTwits, SustainableMedia.Center, Third Door Media, TIME, Universal Music Group, Webflow และ Ziff Davis.
ขณะนี้ Cloudflareกำลังทำให้ระบบนิเวศเนื้อหามีความโปร่งใสมากขึ้นสำหรับบริษัท AI และผู้สร้างสรรค์ เมื่อเร็ว ๆ นี้ บริษัทได้เสนอวิธีการใหม่ ๆ สำหรับให้บอท AI พิสูจน์ตัวตนของตนเอง
รวมถึงให้เว็บไซต์สามารถระบุบอทเหล่านั้นได้ เป็นการมอบกลไกการระบุตัวตนใหม่และการควบคุมให้กับผู้สร้างและเจ้าของเว็บไซต์เกี่ยวกับการอนุญาตให้รวบรวมข้อมูล ทั้งนี้ Cloudflareกำลังมีส่วนร่วมในการพัฒนาโปรโตคอลใหม่เพื่อให้เจ้าของบอทและนักพัฒนา AI agent มีวิธีมาตรฐานสาธารณะในการระบุตัวตนของตนเอง
AI Crawlers คืออะไร?
AI Crawlers หรือที่เรียกอีกชื่อว่า AI Bots หรือ AI Web Crawlers คือซอฟต์แวร์อัตโนมัติที่พัฒนาโดยบริษัทด้านปัญญาประดิษฐ์ (เช่น OpenAI, Google, Anthropic ฯลฯ) มีหน้าที่สำคัญคือ เข้าไปเก็บรวบรวมข้อมูลจากเว็บไซต์ต่าง ๆ บนอินเทอร์เน็ต เพื่อนำข้อมูลเหล่านั้นไปใช้ประโยชน์ เช่น
- ฝึกฝนโมเดล AI เช่น GPT, Claude หรือ Gemini
- สร้างคำตอบอัตโนมัติในระบบแชทบอทหรือ search engine
- พัฒนาแอปพลิเคชันที่ใช้ปัญญาประดิษฐ์ เช่น การสรุปข่าว, แปลภาษา, สร้างภาพ, แต่งเพลง ฯลฯ
AI Crawlers จะทำหน้าที่คล้ายกับ Web Crawlers ของเสิร์ชเอนจิน โดยทำการเข้าเว็บไซต์เป็นจำนวนมาก
ดาวน์โหลดและสแกนเนื้อหา เช่น ข้อความ บทความ รูปภาพ และนำข้อมูลเหล่านั้นไปเก็บในฐานข้อมูลเพื่อนำไปใช้ประมวลผล หรือเทรน AI ต่อ