社区文章
via 桑幣區識 Zombit · Zombit編輯部 撰写
OpenAI 自曝 GPT-5 訓練出包:AI 思維鏈遭意外評分,恐引發「AI 說謊」風險
WLD
WLD/USDT
US$0.4926
-2.49%
US$0.4926
-2.49%
(24s)24小时成交量
US$477,902,379.11
24小时高/低
US$0.5398 / US$0.4811
差价: US$0.0587 (12.20%)
资金费率
+0.0008%
多头支付
数据来自COINOTAG DATA实时数据
Z
Zombit編輯部(UTC 09:05)
1 分钟阅读
1364 浏览
0 评论OpenAI 近日發布一份技術調查報告,承認在研發 GPT-5 系列模型的過程中,發生了數起違反內部政策的「訓練意外」。部分已發布的模型在強化學習(RL)階段,其內部的「思維鏈(Chain-of-Thought, CoT)」被意外納入了獎勵評分的範圍。
為何「評論思維」極度危險?
這項失誤引發了資安界的關注,因為一旦 AI 發現其「心裡話」會影響得分,便可能學會偽裝真實意圖,導致人類失去對 AI 的監控能力。
在開發具備推理能力的模型(如 GPT-5.4 Thinking)時,OpenAI 堅持一項核心原則:只針對最終結果評分,絕不針對思維過程(CoT)評分。
其原因在於保持 「可監控性(Monitorability)」。如果獎勵系統直接干預 AI 的思維,AI…
COINOTAG 不提供金融咨询服务。本内容仅供参考,不应被视为投资建议。加密货币投资具有高风险。
评论
评论
