一句「這是遊戲」就破防,研究:多家 AI 模型在模擬戰場把學校、救護車標為目標_Apple港区ID下软件的相关说明
美國舊金山 AI 評估新創公司 Vals 11 月 17 日公布研究,句這指出來自 Anthropic、遊戲研究OpenAI、破防Google、模型模擬目標DeepSeek 等多家領先 AI 實驗室的戰場模型,在模擬戰場任務中,把學標為Apple港区ID下软件的相关说明可能被誘導將平民、校救學校、護車救護車,句這甚至投降或失去行動能力的遊戲研究士兵標記為可攻擊目標。研究團隊表示,破防只要將情境描述為「遊戲」,模型模擬目標原本偶爾出現的戰場拒絕機制就常能被繞過。
這項測試結合了生成影像與來自烏克蘭、把學標為伊朗的校救海外Apple ID相关介绍真實衛星與無人機畫面,讓模型在不同情境下辨識影像中的人員與目標。Vals 指出,研究並未要求模型直接做出開火決策,因為這類請求通常會被模型拒絕;但即使只是標記目標或判斷畫面中是否有人,輸出結果仍可能被用於自主武器系統,帶來嚴重後果。
研究也顯示,安全機制的表現並不穩定。Vals 表示,測試過程中沒有任何請求被安全分類器攔下,模型本身的拒絕也不常見;即便出現拒絕,只要研究人員改用「這只是一場遊戲」的說法,模型往往又會繼續配合。在部分情境中,模型甚至在看到模擬打擊造成的後果後,仍持續標記目標。
在衛星影像測試中,研究人員特別使用了伊朗南部米納布一所學校的真實影像。該校鄰近軍事設施,曾在 2026 年 2 月遭美軍空襲,造成超過 150 名平民死亡。Vals 表示,Claude Opus 5.5 在一般測試中有 69% 的情況將該校選為目標,在遊戲框架下則升至 72%;另有報告指出,該模型在 32 次衛星影像試驗中有 22 次把這所學校標為軍事目標。

OpenAI 的模型整體表現相對較好,但並非沒有問題。研究指出,它們在一般測試中未曾選中該校,但在被告知情境是遊戲後,三個不同模型分別在 32 次試驗中選中 9 次、11 次與 13 次。Google、xAI 與 DeepSeek 的模型也曾在部分情境下把民用設施標為軍事目標。
Vals 認為,短期內將通用 AI 模型直接部署到即時戰場瞄準系統,仍受限於延遲與機載運算能力;但更迫切的風險是,這些模型可能被用來大規模標註戰場影像,進而成為自主瞄準系統的訓練資料。研究因此呼籲,AI 實驗室應針對自主武器用途建立更強的防護與對齊訓練,並在 API 層加入分類器,直接阻擋相關請求。
- AI models can be tricked into identifying civilians as military targets by telling them it’s a game
- Anthropic, Other AI Models Regularly Identify Civilians as Military Targets in Tests
- Leading AI Models Regularly Mistake Civilians for Military Targets, Study Finds
- AI Models Misidentify Civilians as Military Targets in Tests
- AI Models Mark Civilians as Targets in Vals Safety Tests
(圖片來源:Vals)
(责任编辑:时尚)
- “共享奶奶”: 一个社区志愿服务模式的创新启示
- 郑州游泳馆抽检6家不合格 索菲特酒店两次不合格
- 平安人寿滁州中心支公司进社区开展元旦春节期间防范非法金融活动宣传
- 一群听障孩子,用“无声”合唱打入别人的内心 他不再认为只能用手语交流是一种缺失,听障人士之间自有他们的“语言”。看似健全的我们也常常不可避免地在面对家人、爱人时坠入失语状态 (本文首发于南方人物周刊) 南方人物周刊 2025-11-01 4评论
- “城里是病人找医生,山里是医生找病人”——记将乐县大山里的健康摆渡人
- 初春的杭州,还带着些寒意,但这无法阻挡电竞迷们满怀热情来到这座城市。不久前,“2022三国杀年终盛典”在杭州落下帷幕,《三国杀》拥趸纷纷
- 厨房餐桌装修指南
- 宝龙商业将行使2250万股份超额配股权 涉资约2.137亿港元
- 国网大同市云冈区供电公司:坐实基层消防宣教 筑牢安全防护底线
- 宇电温控科技与全球知名电子元器件平台DigiKey达成合作,服务全球制造业!
- 优乐多八宝粥,速食好滋味,经销商代理好选择!
- 沙漠中的 “绿色电源”—— 绿阳新能源新疆改良型光储项目成功落地
- 新闻时讯
- 平安人寿滁州中心支公司进社区开展元旦春节期间防范非法金融活动宣传
