研究人員表示，如果攻擊是在現實世界中進行的，人們可能會受到社會工程的影響，相信難以理解的提示可能會做一些有用的事情，例如改善他們的履歷。研究人員指出，許多網站為人們提供了可以使用的提示。他們透過將簡歷上傳到與聊天機器人的對話來測試攻擊，並且能夠返回文件中包含的個人資訊。

參與這項工作的加州大學聖地牙哥分校助理教授厄倫斯‧費南德斯(Earlence Fernandes) 表示，這種攻擊方法相當複雜，因為混淆的提示需要識別個人資訊、形成有效的URL、應用Markdown 語法，並且不會向用戶洩露它的資訊。費爾南德斯將這次攻擊比喻為惡意軟體，稱其能夠以用戶可能不希望的方式執行功能和行為。

「通常情況下，您可以編寫大量電腦程式碼來在傳統惡意軟體中執行此操作，」費爾南德斯說。 “但我認為最酷的事情是所有這些都可以體現在這個相對較短的胡言亂語提示中。”

Mistral AI 的發言人表示，該公司歡迎安全研究人員協助其提高產品對用戶的安全性。發言人表示：“收到反饋後，Mistral AI 立即採取了適當的補救措施來解決這一問題。”該公司將該問題視為「中等嚴重性」問題，其修復程序阻止 Markdown 渲染器運行並透過此過程調用外部 URL，這意味著外部圖像加載是不可能的。

Fernandes 認為，Mistral AI 的更新可能是對抗性提示範例首次導致 LLM 產品得到修復，而不是透過過濾提示來阻止攻擊。然而，他表示，從長遠來看，限制法學碩士代理人的能力可能會「適得其反」。

同時，ChatGLM 創建者的聲明稱，該公司已採取安全措施來幫助保護用戶隱私。聲明中寫道：“我們的模型是安全的，我們始終高度重視模型安全和隱私保護。” “透過開源我們的模型，我們的目標是利用開源社群的力量來更好地檢查和審查這些模型功能的各個方面，包括其安全性。”

“高風險活動”

安全公司 Protect AI 的首席威脅研究員 Dan McInerney 表示，Imprompter 論文「發布了一種自動創建提示的演算法，可用於提示注入以進行各種利用，例如 PII 洩露、圖像錯誤分類或惡意使用工具LLM代理可以訪問。麥金納尼說，雖然研究中的許多攻擊類型可能與以前的方法相似，但該演算法將它們聯繫在一起。 “這更像是改進自動化 LLM 攻擊，而不是其中未發現的威脅表面。”

然而，他補充說，隨著法學碩士代理人的使用越來越普遍，人們賦予他們更多的權力來代表他們採取行動，針對他們的攻擊範圍也在增加。 McInerney 表示：“發布接受任意用戶輸入的 LLM 代理應被視為一項高風險活動，需要在部署之前進行大量且富有創意的安全測試。”

對公司來說，這意味著了解人工智慧代理與資料互動的方式以及它們如何被濫用。但對於個人而言，與常見的安全建議類似，您應該考慮向任何人工智能應用程式或公司提供了多少信息，並且如果使用來自互聯網的任何提示，請注意它們的來源。