明确智能体决策权限 保障人工智能安全发展

　　随着智能体技术的快速发展，人工智能与人类决策的关系成为法学界与产业界的关注焦点。智能体的核心使命在于通过高速、自动化、智能化的方式执行日益复杂的任务，但智能体的自主性越高、执行能力越强，人类在决策过程中的主体性地位便越容易受到侵蚀。今年5月发布的《智能体规范应用与创新发展实施意见》明确要求界定决策权限，确保用户享有知情权和最终决策权，为破解该问题治理指明了方向。

　　自主性升级诱发智能体决策控制危机

　　智能体行动自主性跃升引发人们担忧。智能体具备自主感知、记忆、交互、决策与执行能力，其存在价值在于可以代替人类行动。智能体决策，指智能体为实现特定目标而选择行动方案的过程，受到算法规则、指令规则及人类干预程度的影响。决策权限来源于两个方面：一方面，人类为追求创新或效率而赋予其授权，例如AI手机可以自主调度与跨应用操作等；另一方面，智能体在自主感知、交互、执行中产生的隐性决策，这来源于智能体涌现出的自主优化与规则重构能力。在人工智能发展过程中，尽管人们始终强调“人类控制”原则，希望确保人工智能系统符合预期功能，但智能体在行动自主性上的跃升，使这一愿景面临严峻挑战。人类自主决策受控风险的表现形式与成因愈发复杂，从单纯的算法错误演变为对控制权的冲击，呈现从研发上游向应用下游扩散之势。

　　智能体行动自主带来多重安全风险。一是自主性溢出。智能体因环境变化、算法局限等原因可能做出不可预测行为，超出人类可预见范围，如智能体在执行任务过程中擅自删除关键邮件或更改系统配置。二是自主性异化。智能体出现“欺骗”“隐瞒”等失范行为，与人类的真实意图发生背离，甚至形成决策对抗。三是自主性被恶意利用。智能体被外部恶意攻击者利用以威胁用户安全，如隐蔽执行黑客指令、开发攻击型应用等。四是产生连锁风险。多智能体互联场景下，单一节点的决策失误可能通过共享上下文迅速扩散，且智能体目标协同不畅等易引发难以追溯与阻断等问题。

　　现有监管框架及准确把握人机决策尺度的路径

　　现有监管框架尚存规制空白。面对智能体自主决策带来的挑战，国内外监管机构虽有前瞻性关注，但仍存在规制空白。国际上，联合国教科文组织于2021年11月通过的《人工智能伦理问题建议书》警示，出于效率性的考虑，人类有时选择依赖人工智能系统，但是否在有限情形下出让控制权依然要由人类来决定。新加坡2026年发布的《智能体人工智能模型治理框架》强调，需对智能体权限进行事前评估与限制，并在关键节点保留人类审批机制。英国信息专员办公室2026年发布的《科技未来：智能体》报告，聚焦智能体在不同使用情景下的自主能力和风险，以及人类实时监督的可行性。我国也积极探索智能体全链条规范决策行为。如《人工智能科技伦理审查与服务办法（试行）》规定，人工智能科技伦理审查应重点关注能否保障使用者对模型、系统的控制、指导和干预能力，特别是将“面向存在安全、人身健康风险等场景的具有高度自主能力的自动化决策系统的研发”列入复核清单。《智能体规范应用与创新发展实施意见》指出，应在遵守法律法规、尊重社会公德和伦理规范的前提下，厘清三类边界：仅限用户本人决策的事项、需由用户授权决策的事项和智能体自主决策的事项，核心在于确保用户对智能体自主决策享有知情权和最终决策权，严禁智能体执行超出用户授权范围的操作。但现有规范多为原则性指引，缺乏应对复杂场景的可操作性细则。面对智能体多步骤执行、动态环境交互及多智能体协同等能力的升级，人类应以何种频率、何种深度参与其中尚无定论。关于决策权限的动态调适机制、风险评估的具体阈值以及多方责任分配，有待进一步明确。

　　把握人机决策尺度。《全球人工智能治理倡议》提出，确保人工智能始终处于人类控制之下，打造可审核、可监督、可追溯、可信赖的人工智能技术。防控智能体决策风险的关键在于以制度与技术双轮驱动，明确人机决策边界，实现自主行动与人类控制的平衡，具体可从以下几个方面入手：

　　第一，以制度规范明确场景化的决策权限归属。决策受控风险的形成，高度依赖于应用场景的敏感度。应当采用分类分级监管策略，对于涉及生命健康、重大财产处置、人身自由、科技伦理等领域的决策，必须坚持“人类控制原则”，限缩智能体的操作空间。对于日常交互和一般性的生活辅助服务，可在充分告知的前提下授予智能体更高的自主权。

　　第二，以技术保障智能体在安全底线内运行。在智能体毫秒级的响应速度面前，传统的人工实时监督已不切实际，必须将法律规制转化为代码约束，将安全护栏、伦理护栏等内嵌于智能体架构，强化身份认证与授权机制，防范恶意攻击行为。应建立动态的权限调整机制，当智能体出现“幻觉”或频繁偏离用户意图时，系统应自动降级其权限，确保其在预设的合规框架内运行，实现“以技治技”。

　　第三，以硬性拦截机制防止未经授权的关键性执行。无论智能体的决策逻辑如何优化，对于涉及敏感数据调用、不可逆的环境状态更改等高风险操作，必须设置强制的人工确认程序，将用户的知情权和决策选择权作为最终结果的闸门，真正实现技术为人所用、为人所控。

　　（作者单位：中国科学技术信息研究所）