
本版文章标题:
AI政务智能体的新型安全风险与规制
2026年初,一款名为OpenClaw(“龙虾”)的开源AI智能体应用程序在互联网上掀起热潮,促使AI智能体这种最新的人工智能技术进入大众视野。腾讯、阿里、京东等大型互联网公司纷纷宣布上线OpenClaw的云端部署和相关服务,更是将其向经济社会的各个层面推广,甚至形成了全民“养虾”热。一些地方政府开始引入这种人工智能技术打造服务于本辖区行政事务的AI政务智能体(以下简称“政务智能体”)。如在2026年3月,深圳市福田区政府率先宣布上线“政务龙虾”智能体,在民生诉求调研、行政许可预审等领域内投入实际应用,大幅度提升了政务服务的工作效率。可以预见,政务智能体将会在政府公共事务领域内得到越来越多的应用,助力政务服务减负增效。然而,政务智能体也隐含了诸多新型的安全风险,可能会造成重大的损害后果。深入分析政务智能体技术特征,探讨安全风险规制路径,对于政务智能体的安全推广应用具有重要意义。
政务智能体的主要技术特征
政务智能体不完全等同于近年来兴起的政务大(语言)模型,它实质上是以大模型技术为核心驱动力形成的,能够自主理解并拆解行政任务目标,并自动调用工具完成行政任务的人工智能系统。换言之,政务智能体可以被视为是在政务大模型的基础上搭建的人工智能系统,两者在技术特征上存在着密切联系,但又有很大的差异,这种技术特征上的差异也就是政务智能体新型风险的主要来源。
具体而言,传统的政务大模型通过其超强的自然语言理解能力与用户进行互动,以政务信息的输出为主要功能形式。相较之下,政务智能体的功能不仅限于政务信息的输出,而是能够自主地调用各类系统工具(主要是计算机系统中的各种应用程序)实现设定的行政任务目标。它可以区分为以下三个主要的技术步骤:第一步,行政任务的理解与目标的规划拆分。政务人员在使用政务智能体时,只需要通过自然语言下达实现特定行政任务的指令,政务智能体就能基于大模型的自然语言理解能力对行政任务指令进行语义分析,然后将单一行政任务指令拆分成数个子任务。第二步,系统工具的调用与任务的分步执行。在将行政任务指令拆分形成数个子任务之后,政务智能体会按照各个子任务之间的逻辑序列关系,自动调用各种系统工具依序完成各个子任务目标。第三步,执行结果的修正与经验的技能提炼。当政务智能体通过自动调用系统工具完成行政任务目标后,如果政务人员对执行结果不满意,可以通过自然语言下达修改指令。政务智能体会根据指令启动回溯修正机制。这个过程可以反复多次,最终形成令政务人员满意的执行结果。在这个过程中,政务智能体能够将任务执行时形成的经验进行记忆,不断优化自身的行为策略,并提炼可以反复调用的技能模块(Skills),形成政务智能体特有的“自进化”(Self-evolution)能力。
例如,政务人员可以用自然语言向政务智能体下达行政任务指令:“每天早上8点钟在本部门公众号上发布一篇最新政务新闻的摘要汇总帖。”政务智能体会自动将指令分解为“每天早上8点检索最新的政务新闻”“生成新闻摘要汇总帖”“将新闻摘要汇总帖发布到公众号”等数个子任务。首先自动调用计算机系统中的浏览器联网检索最新的政务新闻,接着输入大模型程序生成新闻摘要汇总帖,最后调用发布工具将生成的新闻摘要汇总帖发布到公众号上。如果政务人员对这一任务的执行结果不满意,可以通过自然语言指令要求政务智能体进行修正,政务智能体会根据修正指令不断调整优化执行方式,直到形成令人满意的执行结果。整个行政任务执行过程中形成的操作经验可以被政务智能体提炼为技能模块,后续涉及类似行政任务执行时可以反复调用。
从上述政务智能体运行的技术步骤可以看出,这种技术模式已经从政务大模型被动输出交互信息进化到主动执行行政任务,实现了从以“信息交互”为中心到以“行政任务”为中心的飞跃。如果说大模型技术让政务系统具备了“大脑”,能够与用户进行流利的自然语言交互,那么,AI智能体技术就让政务系统具备了“手脚”,能够自主地调用系统工具完成特定的行政任务。
政务智能体的新型安全风险
政务智能体的技术特征决定了其安全风险虽与政务大模型的风险存在一定关联,但二者之间仍存在明显差异。这种差异主要表现为,风险形态由政务大模型的“信息偏差”转向政务智能体的“执行偏差”。执行偏差风险是指政务智能体在行政任务理解与拆分、系统工具调用与执行、执行结果修正与提炼过程中,因基础模型幻觉、系统权限配置不当、恶意技能模块等原因导致其偏离预设的行政目标,产生任务执行失败的问题。具体而言,政务智能体的新型安全风险主要表现在以下几个方面。
系统工具的错误执行风险。由于政务智能体的技术特征要求其自主调用系统工具完成政务人员设定的行政任务,因此它必须获取计算机系统的高等级权限才能满足这一要求,如访问互联网的权限、处理政务数据的权限、使用电子邮件信箱的权限等,但也因此埋下了深层次的安全隐患,可能出现机密文件被错误发布、重要数据被错误改动或删除、工作邮件被错误转发等执行错误的后果。事实上,从目前人工智能技术发展的水平来看,这种安全风险发生的概率较高。因为政务智能体通常都是在大模型技术的基础上开发的,它高度依赖大模型的自然语言交互能力。但大模型技术目前并未完全解决模型的幻觉问题,即大模型会不可避免地输出错误信息。一旦大模型幻觉问题出现,它输出的错误信息就会被政务智能体转化为错误的执行行为,包括错误地调用系统工具、处理数据、发送邮件等,导致自主执行行为的失控。
高度敏感数据的泄露风险。同样是由于政务智能体的运行需要获取计算机系统的高等级权限,因此它能够不经过人工的操作和审核,自主地调用系统中包含大量个人信息、商业机密甚至国家秘密的高度敏感政务数据。这就使政务智能体可能成为敏感数据泄露的高危渠道,特别是在其通过应用程序编程接口(API)调用云端大模型进行工作时,这些高度敏感政务数据就可能在未经审核的情况下被自动传输到云端服务器中处理。在传输和处理过程中,这些高度敏感政务数据很容易被复制、转移、窃取甚至滥用,面临严重的泄露风险。此外,政务智能体具有强大的记忆与自进化能力,可以通过持续学习和经验积累,不断提升完成行政任务的质量。但是在这个过程中,政务智能体也会同时持续记录特定政务人员的操作习惯与行为偏好,形成关于特定政务人员的用户画像数据。这些个性化的用户画像数据一旦泄露,被恶意攻击者获取,那么攻击者就能掌握特定政务人员的详细个人信息和行为习惯,甚至可以借此伪造特定政务人员的“数字分身”用于不法活动。
语义形态的恶意攻击风险。政务智能体采用高度创新的AI智能体技术实现了行政任务的自主执行,目前已经出现针对此类技术的“语义”形态的恶意攻击手段,传统的安全软件很难有效防范。例如,攻击者可以利用政务智能体自主调用浏览器读取网页的权限,将精心设计的包含恶意指令的提示词嵌入网页中。当政务智能体读取网页内容之后,这些恶意指令就会劫持政务智能体的执行逻辑,诱导其绕开人工审核环节,暗中执行数据传输、文件改动、邮件转发等高风险行为。攻击者还可以将包含恶意指令的提示词注入技能模块并发布在AI智能体技能平台(如OpenClaw的技能商店ClawHub)上,一旦政务智能体安装了这些恶意技能模块,那么同样会被暗中劫持。更需警惕的是,由于政务智能体具有自进化能力,这些恶意指令将内化沉淀至执行逻辑中,即使卸载恶意技能模块也不能完全消除它的影响。这就是全新形态的提示词注入攻击(Prompt Injection Attack)手段,它通过“语义”诱导展开恶意攻击,与传统上利用代码漏洞展开的恶意攻击存在显著差异,因此目前多数传统的系统安全软件都难以进行有效防范。
政务智能体的风险规制框架
政务智能体带来的新型安全风险不容忽视,亟须建立起与之相适应的风险规制框架,避免该项技术在政务领域内推广后带来不可控的危害后果。针对上述风险,可以从以下几个方面构建规制框架。
确立系统权限配置必要、最小化的义务要求。防范政务智能体新型安全风险的关键在于严格控制其掌握的系统权限。应当依据“必要、最小化”原则,建立政务智能体开发应用的约束性制度,将其系统权限严格限定在完成特定行政任务必需的最小范围之内。相关的义务性要求包括:政务智能体获取的每一种系统权限都应当经过专业人员的明确授权;应禁止授予政务智能体宽泛的系统权限,也禁止其自动获取新增权限,避免它的权限范围在未经人工审核的情况下自动扩大;应避免授予政务智能体自动调用敏感政务数据、群发邮件、文件删改等高危系统权限,如确有必要则应建立多层授权、定期检查的审核机制,确保高危系统权限的使用始终处于人工严格监管之下;应建立政务智能体系统权限的动态评估调整机制,定期对已经授予的系统权限进行必要性审查,及时取消不再具有必要性的系统权限,确保系统权限的范围始终与行政任务的实际需求精准匹配。由此,从源头上限制恶意攻击可资利用的权限空间,构筑维护政务智能体安全的底层防线。
确立执行行为透明、可追溯的义务要求。政务智能体自主执行行为过程的透明、可追溯是规制其新型安全风险的重要保障机制。这一保障机制主要通过设定政务智能体开发者的特定义务要求来实现,也即通过制度性规定要求在开发政务智能体的过程中,开发者必须通过技术手段确保政务智能体自主执行行为的全过程透明,各执行步骤可回溯、可验证,以便为后续的系统安全审核与安全事故责任溯源提供坚实的技术基础。相关的义务性要求包括:开发者必须确保政务智能体运行时保留完整的执行日志,全面记录每一次执行行为的操作主体、操作时间、大模型调用情况、数据处理范围、系统工具使用情况、权限申请与授予内容等详细信息;必须确保政务智能体的执行日志具备防篡改、自动备份等功能,必要时可以采用区块链等技术实现执行日志的不可篡改性;对于重要行政任务,应当建立强制性的人工验证机制,在行政任务执行的关键节点嵌入人工核查与验证环节,避免因具体操作人员的惰性放任系统全自动执行任务。尤其是当政务智能体被用于作出涉及公民、法人或其他组织重大利益的行政决定时,必须通过技术手段保留政务人员进行人工最终审核、决定的步骤,避免由政务智能体直接作出此类行政决定。
确立操作人员专业、可问责的义务要求。政务智能体的自主执行性特征对操作人员的专业技术能力提出了更高的要求,相应的风险规制框架应确保操作人员必须对政务智能体技术具有扎实的专业知识储备,对政务智能体可能产生的安全风险具有必要的识别与预判能力,以便操作人员能够准确地理解政务智能体的执行逻辑,及时发现系统中存在的异常征兆并快速介入应对,有效降低政务智能体安全事故发生的概率。相关的义务性要求包括:行政机关采用政务智能体办理公共行政事务时,应当设置专门的政务智能体安全操作岗位,由专人负责政务智能体的系统权限配置、日常行为监控、事故应急响应等工作;政务智能体的操作人员应当具备计算机安全相关专业背景,熟悉政务智能体的技术原理、风险场景和应对策略等;应设置政务智能体操作人员的详细职责清单,明确其在系统操作过程中各个关键环节的职责内容;建立健全政务智能体操作人员的问责机制,对违法违规的操作行为追究相应的行政法律责任,激励操作人员认真履职尽责。
AI智能体技术的不断成熟,将使政务智能体越来越广泛地嵌入各层级政务活动,在大幅提高政务效率的同时,也带来新型的安全风险。对此,既不能因畏惧安全风险而完全拒绝政务智能体的应用,也不能忽视安全风险而盲目推广其应用,而应在准确识别政务智能体新型安全风险及其成因的基础上,通过规则设计与制度建设降低新型安全风险发生的概率,助力政务智能体成为能够优化行政流程、提高办事效率、提升服务质量的安全政务工具。
〔作者系同济大学法学院教授。本文为国家社会科学基金一般项目“人工智能大模型包容审慎监管的法治路径研究”(24BFX031)的阶段性成果。〕
● 责任编辑:张怡静
