為什麼人工智慧公司價值數百萬和數十億美元，要創建和分發可以製作人工智慧生成的兒童性虐待材料（CSAM）的工具？

人工智慧公司 Runway 在 Stability AI 的資助下創建了一款名為 Stable Diffusion 1.5 版的圖像生成器，它與 CSAM 的製作密切相關。 Hugging Face 和 Civitai 等流行平台一直在託管該模式和其他可能接受過兒童性虐待真實影像訓練的模式。在某些情況下，本公司甚至可能在其伺服器上託管合成 CSAM 材料，從而違反法律。為什麼Google、英偉達、英特爾、Salesforce 和 Andreesen Horowitz 等主流公司和投資者會向這些公司注入數億美元？他們的支持相當於為戀童癖者提供內容補助。

作為人工智慧安全專家，我們一直在提出這些問題，以呼籲這些公司並迫使他們採取我們下面概述的糾正措施。今天我們很高興地報告一項重大勝利：似乎是為了回應我們的問題，穩定擴散 1.5 版已從擁抱臉部中刪除。但還有很多工作要做，有意義的進展可能需要立法。

CSAM 問題的範圍

兒童安全倡導者去年開始敲響警鐘：史丹佛大學網路觀測站的研究人員和技術非營利組織Thorn 於2023 年6 月發布了一份令人不安的報告。影像產生工具已經被廣泛使用。在某些情況下，不良行為者會使用真實的兒童性虐待材料製作這些模型的自訂版本（這個過程稱為微調），以產生特定受害者的定製圖像。

去年10 月，英國非營利網路觀察基金會（該基金會設有一條舉報兒童性虐待材料的熱線）的一份報告詳細介紹了惡意行為者現在如何輕鬆地大規模製作逼真的人工智慧生成的兒童性虐待材料。研究人員對一個暗網 CSAM 論壇進行了一項「快照」研究，分析了一個月內發布的 11,000 多張人工智慧生成的圖像；其中，近 3,000 人被判定為嚴重犯罪。該報告敦促加強對生成式人工智慧模型的監管。

人工智慧模型可以用來創建這種材料，因為他們以前見過例子。史丹佛大學的研究人員去年 12 月發現，用於訓練影像生成模型的最重要的資料集之一包括數千個 CSAM。許多最受歡迎的可下載開源 AI 影像產生器，包括流行的 Stable Diffusion 1.5 版模型，都是使用這些資料進行訓練的。該版本的 Stable Diffusion 是由 Runway 創建的，儘管 Stability AI 支付了生成資料集和訓練模型的計算能力，並且 Stability AI 發布了後續版本。

《跑道》沒有回應置評請求。 Stability AI 發言人強調，該公司並未發布或維護 Stable Diffusion 1.5 版本，並表示該公司已在後續模型中針對 CSAM“實施了強有力的保障措施”，包括使用經過過濾的數據集進行訓練。

同樣在去年 12 月，社群媒體分析公司 Graphika 的研究人員發現了數十種「脫衣」服務的激增，其中許多基於開源人工智慧影像生成器，可能包括 Stable Diffusion。這些服務允許用戶上傳人物的服裝照片，並製作專家所說的未成年人和成年人的非自願親密圖像（NCII），有時也稱為深度偽造色情內容。透過Google搜尋可以輕鬆找到此類網站，用戶可以使用信用卡在線支付服務費用。其中許多服務僅適用於婦女和女孩，這些類型的工具已被用來針對泰勒·斯威夫特等女性名人和美國眾議員亞歷山大·奧卡西奧-科爾特斯等政客。

AI產生的CSAM具有真實的效果。兒童安全生態系統已經不堪重負，每年都會向熱線舉報數百萬份疑似 CSAM 的文件。任何添加到這些內容洪流中的內容（尤其是逼真的虐待材料）都會使尋找主動受到傷害的兒童變得更加困難。更糟的是，一些惡意行為者正在使用現有的 CSAM 產生這些倖存者的合成圖像，這是對他們權利的可怕再次侵犯。其他人則使用現成的「裸體」應用程序，從真實兒童的良性圖像中創建性內容，然後將新生成的內容用於性勒索計劃。

對抗人工智慧生成的 CSAM 的一場勝利

根據史丹佛大學去年 12 月的調查，人工智慧界眾所周知，Stable Diffusion 1.5 是在兒童性虐待材料上進行訓練的，就像在 LAION-5B 資料集上訓練的所有其他模型一樣。這些模型被惡意行為者積極濫用來製作人工智慧產生的 CSAM。即使它們被用來產生更良性的材料，它們的使用本質上也會讓那些虐待圖像進入訓練資料的兒童再次受害。那我們詢問熱門AI託管平台Hugging Face和Civitai為何託管Stable Diffusion 1.5及衍生模型，並提供免費下載？

值得注意的是，Integrity Institute 的資料科學家 Jeff Allen 發現，過去一個月 Hugging Face 上的 Stable Diffusion 1.5 下載量超過 600 萬次，使其成為該平台上最受歡迎的 AI 影像產生器。

當我們詢問 Hugging Face 為什麼繼續託管該模型時，該公司發言人 Brigitte Tousignant 沒有直接回答問題，而是表示該公司不會容忍其平台上的 CSAM，它包含了各種安全工具，並且它鼓勵社區使用安全穩定擴散模型來識別和抑制不當影像。

然後，昨天，我們檢查了 Hugging Face，發現穩定擴散 1.5 不再可用。 Tousignant 告訴我們 Hugging Face 沒有刪除它，並建議我們聯繫 Runway——我們再次聯繫了，但我們還沒有收到回應。

Hugging Face 不再提供該模型的下載，這無疑是一個成功。不幸的是，它仍然可以在 Civitai 上使用，以及數百種衍生模型。當我們聯繫 Civitai 時，一位發言人告訴我們，他們不知道 Stable Diffusion 1.5 使用了哪些訓練數據，並且只有在有濫用證據的情況下才會將其刪除。

平台應該對自己的責任感到緊張。上週，訊息應用程式 Telegram 的執行長 Pavel Durov 被捕，這是與 CSAM 和其他犯罪相關的調查的一部分。

關於人工智慧生成的 CSAM 正在做什麼

有關人工智慧生成的 CSAM 和 NCII 的令人不安的報導和新聞不斷湧現，並沒有停止。雖然一些公司試圖在技術聯盟的幫助下提高其產品的安全性，但我們在更廣泛的問題上看到了哪些進展？

今年4 月，Thorn 和All Tech Is Human 宣布了一項倡議，將主流科技公司、生成型AI 開發者、模型託管平台等聚集在一起，定義並遵守「設計安全」原則，該原則將防止兒童性虐待置於其核心位置。十家公司（包括Amazon、Civita、Google、Meta、Microsoft、OpenAI 和Stability AI）致力於這些原則，其他幾家公司也加入其中，共同撰寫了一篇相關論文，其中提供了更詳細的建議緩解措施。這些原則呼籲公司開發、部署和維護主動解決兒童安全風險的人工智慧模型；建立系統以確保可靠地檢測到任何確實產生的濫用材料；並限制用於製作此類濫用材料的基礎模型和服務的分發。

這些自願承諾只是一個開始。 Thorn 數據科學主管 Rebecca Portnoff 表示，該倡議透過要求公司發布有關緩解措施進展的報告來尋求問責。它還與 IEEE 和 NIST 等標準制定機構合作，將他們的努力整合到新的和現有的標準中，為第三方審核打開了大門，“超越了榮譽制度”，Portnoff 說。波特諾夫也指出，索恩正在與政策制定者合作，幫助他們構思技術上可行且具影響力的立法。事實上，許多專家表示，現在是超越自願承諾的時候了。

我們認為，人工智慧產業目前正在進行一場不計後果的逐底競爭。公司正如此激烈地奮鬥 技術上 導致他們中的許多人忽視了 道德的 甚至可能 合法的 他們的產品的後果。儘管包括歐盟在內的一些政府在監管人工智慧方面取得了進展，但還遠遠不夠。例如，如果法律規定提供可產生 CSAM 的人工智慧系統為非法，科技公司可能會注意到。

現實情況是，雖然有些公司會遵守自願承諾，但許多公司不會。在那些這樣做的企業中，許多人採取行動的速度太慢，要么是因為他們還沒有準備好，要么是因為他們正在努力保持競爭優勢。同時，惡意行為者將傾向於這些服務並造成嚴重破壞。這樣的結果是令人無法接受的。

科技公司該如何對待人工智慧生成的 CSAM

專家們在一英里外就看到了這個問題，兒童安全倡導者建議採取常識性策略來應對這個問題。如果我們錯過這個機會來採取行動來解決問題，我們都將承擔責任。至少，所有公司，包括那些發布開源模型的公司，都應該在法律上被要求遵循 Thorn 的安全設計原則中規定的承諾：

• 在訓練生成式 AI 模型之前，從訓練資料集中偵測、刪除和報告 CSAM。
• 結合強大的浮水印和 內容來源系統 到他們的生成人工智慧模型中，以便生成的圖像可以連結到創建它們的模型，正如加州法案所要求的那樣，該法案將創建 數位內容來源標準 對於在該州開展業務的公司。該法案可能會在下個月等待州長加文紐森簽署。
• 從其平台中刪除任何已知經過 CSAM 訓練或能夠產生 CSAM 的生成式 AI 模型。拒絕重新託管這些模型，除非它們已透過刪除 CSAM 完全重建。
• 識別在 CSAM 上有意進行微調的模型，並將其從平台上永久刪除。
• 從應用程式商店中刪除「裸體」應用程序，阻止這些工具和服務的搜尋結果，並與支付提供者合作阻止向其製造商付款。