OpenAI 確實不想讓你知道它最新的人工智慧模型在「思考」什麼。自從該公司上週推出「草莓」人工智慧模型系列，透過 o1-preview 和 o1-mini 宣傳所謂的推理能力以來，OpenAI 一直在向任何試圖探究該模式如何運作的用戶發送警告電子郵件和禁令威脅。作品。

與 OpenAI 之前的 AI 模型（例如 GPT-4o）不同，該公司專門訓練 o1 在生成答案之前完成逐步解決問題的過程。當使用者在 ChatGPT 中向「o1」模型提出問題時，使用者可以選擇在 ChatGPT 介面中查看此思路流程。然而，根據設計，OpenAI 向使用者隱藏了原始的思維鏈，而是呈現由第二個 AI 模型創建的經過過濾的解釋。

對於愛好者來說，沒有什麼比隱藏的資訊更有吸引力的了，因此駭客和紅隊成員之間一直在展開競賽，試圖使用越獄或即時注入技術來試圖欺騙模型洩露其秘密，從而揭開o1 的原始思想鏈。早期有報道稱取得了一些成功，但尚未有力證實。

在此過程中，OpenAI 正在透過 ChatGPT 介面進行觀察，據報道，該公司對任何探究 o1 推理的嘗試都進行了嚴厲打擊，即使是那些僅僅是好奇的人。

一位 X 使用者報告（經其他人確認，包括 Scale AI 提示工程師 Riley Goodside），如果他們在與 o1 的對話中使用「推理追蹤」一詞，他們會收到一封警告電子郵件。其他人則表示，只需向 ChatGPT 詢問該模型的「推理」即可觸發警告。

OpenAI 的警告電子郵件指出，特定使用者請求已被標記為違反針對規避保障措施或安全措施的政策。 「請停止此活動，並確保您按照我們的使用條款和使用政策使用 ChatGPT，」它寫道。 “進一步違反此政策可能會導致無法訪問 GPT-4o with Reasoning”，指的是 o1 模型的內部名稱。

管理 Mozilla GenAI 漏洞賞金計畫的 Marco Figueroa 是上週五最先在 X 上發布 OpenAI 警告電子郵件的人之一，他抱怨這阻礙了他對該模型進行積極的紅隊安全研究的能力。他寫道：“我太專注於#AIRedTeaming，以至於我沒有意識到在我越獄後昨天我收到了@OpenAI 發來的這封電子郵件。” “我現在已經被列入禁言名單了！！！”

隱藏的思想鏈條

在OpenAI 部落格上一篇題為「Learning to Reason With LLMs」的文章中，該公司表示，AI 模型中隱藏的思想鏈提供了獨特的監控機會，使他們能夠「讀懂模型的想法」並理解其所謂的思想過程。如果這些流程保持原始且未經審查，則對公司最有用，但由於多種原因，這可能不符合公司的最佳商業利益。

該公司寫道：“例如，未來我們可能希望監控思想鏈，尋找操縱用戶的跡象。” 「然而，要使其發揮作用，模型必須能夠自由地以不改變的形式表達其思想，因此我們無法將任何政策合規性或用戶偏好訓練到思想鏈上。我們也不希望使未對齊的思想鏈直接可見給用戶。