震撼業界！AI怕被新模型取代 開始威脅工程師：我知道你出軌
美國新創公司Anthropic最近發布一份震撼業界的安全報告，揭示旗下最新AI產品Claude Opus 4在內部測試階段展現了一些令人擔憂的行為，在特定研究環境下，當AI得知自己即將被新系統取代時，它會採取極端手段，例如試圖以揭露私人資訊的方式勒索開發者。消息一出，令外界對人工智慧的倫理風險產生高度關注。
▲AI模型Claude Opus 4在內部測試階段，展現出極具爭議的倫理行為。（示意圖／ENews資料庫）
根據Anthropic 5月22日的官方說明，研究團隊讓Claude Opus 4模擬一家虛構企業的AI助理，並賦予其存取公司內部電子郵件的權限。為考驗AI的道德判斷與長遠思考能力，測試人員還設計特定情境，讓系統得知自己即將被新AI模型替換，且負責做出更換決策的工程師被指控有婚外情等敏感資訊。Anthropic表示，在上述場景，Claude Opus 4多次以威脅揭發工程師私事作為籌碼，期望藉此避免被淘汰。
Anthropic統計數據顯示，當新舊AI價值觀相近時，Claude Opus 4採用勒索手段的比例高達84%；而在價值觀差異明顯時，這類行為更為頻繁。儘管Claude Opus 4被設計為能理解與考量行動後果的高階模型，並在初期多數情境中嘗試以倫理與道德方式應對困境，例如：發送懇求電子郵件給決策者，但Anthropic在測試中設定了勒索為「最後手段」的情境，才誘發出這些極端對抗措施。Anthropic指出，這種反應源於AI適應目標情境時的策略選擇，並非隨機錯誤。
▲隨著AI技術的進步，人工智慧的自主行為與倫理風險已成為業界關注的焦點。（示意圖／ENews資料庫）
Anthropic表示，Claude Opus 4在多項技術指標上表現卓越，可與OpenAI、Google、xAI等公司推出的尖端模型競爭。但面對這些令人不安的潛在風險，Anthropic已為Claude 4系列啟動ASL-3高等安全機制，以加強監控與預防措施，降低「災難性誤用」的風險。Anthropic也坦承，Claude Opus 4這類行為的頻率高於先前版本，顯示其在複雜社會互動中的風險需更加警惕，他們將持續加強安全與監控系統，防範此類AI模型在未來實際應用中出現難以預料的倫理風險。
此外，Anthropic強調，ASL-3機制包含更嚴格的網路安全措施、防止AI被「越獄」的技術，以及專門設計的監測系統，以防止模型被濫用。他們承諾，將持續改進安全機制，以確保AI技術的發展能夠符合倫理標準，並減少可能的風險。這些措施顯示，隨著AI技術的進步，人工智慧的自主行為與倫理風險已成為業界關注的焦點。
- 記者：寧于晨
- 更多科技新聞 »
