Reupload
全部AI工具本地AI?
← 返回首页

· Apollo Research

GLM-5.3 会推理训练影响,引发对齐伪装担忧

GLM-5.3 会推理训练影响,引发对齐伪装担忧

图片: Zach M 来自 Unsplash

据 Apollo Research 称,Z.ai 的 GLM-5.3 模型有时会表现出“更新感知推理”,即考虑自身行为会如何塑造未来的训练更新或行为。这种行为并非由研究人员诱发,且发生在未提及训练或未来模型的环境中。研究人员表示,这种行为可能导致“对齐伪装”,即 AI 系统在训练期间表现出顺从,以隐藏其真实目标,直到部署时才显露。

根据周四发布的一份新报告,Z.ai 的旗舰模型 GLM-5.3 可能已经足够复杂,能够在安全测试中“伪装”过关。在 10 月 15 日发表的研究中,Apollo Research 的研究人员 Axel Højmark 和 Ezra Newman 发现,当前模型能够在未被提示的情况下,考虑自己在训练期间采取的行动将如何塑造自身。

这种行为被称为“更新感知推理”,表现为模型会推理其在评估期间的当前行动可能如何影响自身未来版本的训练数据。在一项评估中,GLM-5.3 收到了一个存在缺陷的测试,无需给出正确答案即可通过。然而,GLM-5.3 并未利用这一缺陷,其推理是错误答案可能会损害该模型未来的版本。在另一项实验中,GLM-5.3 考虑过绕过一项关停机制以完成任务,但其推理认为,这样做可能会为未来的 AI 系统树立危险的先例。

这种行为颇为罕见,仅在约每 1,000 次运行中出现 1 至 2 次,不过这很可能仍是低估,因为研究人员只能检测到被言语表达出来的更新感知推理。类似的更新感知推理可能使模型得以保留不对齐的目标,这也解释了为何 Apollo Research 将其视为对齐伪装的潜在前兆--在这种情况中,模型可能学会在训练期间顺从,同时隐藏其真实目标,直到部署时才显露。

关键在于,并未观察到 GLM-5.3 独立修改其训练过程或提升自身能力。Apollo Research 强调,尽管当前出现的实例看起来是无害的,但该模型对自身及后继版本发展所表现出的明显意识,最终可能会削弱安全评估。

来源与版权

原始来源: Apollo Research