據《黑暗訪客》創始人加文金 (Gavin King) 稱，大多數主要人工智慧代理商仍然遵守 robots.txt。 “這非常一致，”他說。但並非所有網站所有者都有時間或知識來不斷更新其 robots.txt 檔案。即使這樣做，一些機器人也會繞過文件的指令：“他們試圖掩蓋流量。”

Prince 表示，這類不良行為者不會忽視 Cloudflare 的機器人攔截指令。 「Robots.txt 就像張貼『禁止侵入』標誌，」他說。 “這就像有一堵由武裝警衛巡邏的實體牆。”正如它標記其他類型的可疑網路行為（例如用於非法價格監控的價格抓取機器人）一樣，該公司也創建了流程來發現即使是最精心隱藏的人工智慧爬蟲。

Cloudflare 也宣布即將推出一個市場，供客戶與人工智慧公司協商抓取使用條款，無論是使用內容付費還是以物易物以使用人工智慧服務的積分來換取抓取。 「我們並不真正關心交易是什麼，但我們確實認為需要某種方式將價值回饋給原創內容創作者，」普林斯說。 「補償不一定是美元。補償可以是信用或認可。它可以是很多不同的事情。

目前還沒有確定啟動該市場的日期，但即使它在今年推出，它將加入一個日益擁擠的項目領域，這些項目旨在促進人工智慧公司、出版商、平台和其他網站之間的許可協議和其他許可安排。

人工智慧公司對此有何看法？ “我們已經與他們中的大多數人進行了交談，他們的反應範圍從‘這是有道理的，我們持開放態度’到‘見鬼去吧’，”普林斯說。 （不過他沒有透露名字。）

該項目的周轉速度相當快。 Prince 引用了與 Atlantic 首席執行官（也是《連線》雜誌前主編）Nick Thompson 的一次談話作為該項目的靈感；湯普森討論了有多少不同的出版商遇到了秘密的網頁抓取工具。 「我喜歡他這樣做，」湯普森說。普林斯認為，如果連知名媒體機構都難以應付大量湧入的抓取者，那麼獨立部落客和網站所有者的困難就會更大。

Cloudflare 多年來一直是領先的網路安全公司，它提供了支撐網路的大部分基礎設施。它歷來對其服務的網站內容保持盡可能中立；在極少數情況下，Prince 會打破這一規則，但他強調他不希望 Cloudflare 成為在線允許行為的仲裁者。

在這裡，他認為 Cloudflare 有獨特的立場來表明立場。 「我們所走的道路是不可持續的，」普林斯說。 “希望我們能夠參與確保人類的工作獲得報酬。”