推动人工智能在政务领域的负责任创新

筑牢法治根基


  《中华人民共和国国民经济和社会发展第十五个五年规划纲要》(以下简称“十五五”规划纲要)指出,深化数智技术全流程应用,发展泛在可及、智慧便捷、公平普惠的数智化政务服务。近年来,人工智能在政务领域越来越多地被提及和使用。各地实践中,其在提升行政效能方面成效显著。

  2021年,广州市白云区城管局启动智慧城管平台建设,城市治理效能显著提升,后牵头起草的《智慧城市管理信息平台建设通用技术要求》成为全国团体标准;2025年3月,杭州市宣布将打造超大城市智能体,探索构建城市智慧高效治理新体系;2025年9月,北京市司法局发布全国首个行政复议垂直大模型,模型输出准确率超95%,辅助环节效率提升超100%……

  随着智能体等新型人工智能技术的兴起,人工智能在政务领域的应用如何在不断创新的同时更加安全可控,备受关注。近日,在北京师范大学法学院与澄观智库联合主办的“政府应用人工智能的法律规制”学术研讨会上,来自学界、政府部门与业界的代表会聚一堂,就这一议题展开深入交流。会上,北京师范大学法学院团队还发布了《政府应用人工智能技术的指南(专家建议稿)》(以下简称《技术指南建议稿》)和《政务智能体规范部署与使用的指南(专家建议稿)》,尝试探索出一套政务AI应用的核心原则、分类分级治理框架及具体使用规则等。


  以安全可控为原则 探索应用场景分级分类管理

  “十五五”规划纲要指出,要“安全稳妥有序推进政务领域人工智能大模型部署应用”。《国务院关于深入实施“人工智能+”行动的意见》《智能体规范应用与创新发展实施意见》等系列政策文件中,“安全”成为一个高频词汇。这样的“安全”体现在方方面面,包括人工智能的应用场景、数据信息、输出内容等。

  对此,《技术指南建议稿》提出的基本原则之一是安全可控。此外,《技术指南建议稿》还提出了人工智能应用场景分级分类管理建议,以及鼓励探索的常规场景(低风险)、审慎应用的敏感场景(中高风险)、明令禁止的越界场景。

  《技术指南建议稿》提出,对内部办公辅助、便民服务引导、公开数据分析等低风险场景,应鼓励积极试验与创新;对执法监管辅助、资源分配测算、政策影响评估等中高风险场景,必须设置严格的人工干预审核,仅作为辅助参考。同时,有些场景绝对禁止越界,包括绝对禁止完全自动化作出涉及公民人身自由、重大财产权益的行政决定;绝对禁止在未经充分脱敏的情况下,利用系统对特定群体进行自动化画像或歧视性分类;禁止替代具有法定职权的人员作出具有最终法律效力的定性判断。

  这一分类思路在一定程度上源于各地政务AI的应用实践。

  以吉林省民政厅的政务AI应用为例。吉林省民政厅有关负责人介绍,该单位构筑事前、事中、事后三道防线,对AI在民政领域的应用场景进行分类,对涉及个人隐私数据等敏感信息进行分级加密授权使用。低风险的业务可由AI进行常规应答,中高风险核心业务AI生成内容仅作为参考,明确其不能替代人工操作。由专人定期复核AI的问答记录,针对核查发现的问题及时纠错,并收集各类业务问题持续反馈给系统,以提升AI应用的规范性。

  “各地政务领域人工智能的实践已远远走在前列,许多地方迫切希望有明确的政策法规作为依据,进一步规范政务领域人工智能的部署和应用。”北京师范大学法学院宪法与行政法学教研中心主任王静表示。

  王静介绍,正是因为了解到这样的需求,近年来,她与北京师范大学法学院教授、中国法学会行政法学研究会副秘书长张红带领团队走访调研了八个省市的几十家单位,形成了20万字的报告,进而以法治视角形成了前述两份专家建议稿。


  强调公平公正 防范歧视和AI幻觉

  在政务领域应用人工智能,社会各界普遍担心出现算法歧视和AI幻觉。换言之,政务领域人工智能“说错话”或者“乱说话”该如何应对,后果谁来承担?

  对于这些问题,共识性的观点是,应特别强调防范算法偏见,不允许AI随意进行用户画像,且强调人的最终决策。

  具体而言,《技术指南建议稿》提出,为防范模型幻觉及算法偏见,行政机关工作人员应对人工智能生成的内容进行实质性人工审核。未经审核的内容,不得直接对外发布、用于行政决定或法律文书。审核应重点关注价值导向性、法律合规性、事实准确性及是否存在偏见和歧视。

  同时,还应对政府应用人工智能对公民权益的影响程度进行风险分级。针对低风险应用建议,应进行常规技术测试后上线。针对中高风险场景,特别是涉及公共资源分配、行政执法辅助等领域的应用,应在上线前开展算法影响评估,重点评估数据安全性、算法公平性及社会伦理风险,必要时组织专家论证,评估记录宜作为决策参考留存。

  此外,必须强调的是,应建立实质性的人类监督机制。人工智能系统仅作为政府决策的辅助工具。涉及公民权益的行政决定,必须由具有法定职权的行政机关工作人员作出。高风险人工智能应用应设置多人复核机制,防止人类监督流于形式。工作人员不得将人工智能系统的建议作为推卸责任的借口。

  会上,吉林省民政厅有关负责人分享了对于这一问题的思考,认为可以建立AI政务应用场景的常态化算法可解释性的评估机制和伦理审查机制。针对高风险的AI政务应用场景,应进行常态化算法的校准、伦理与核对审查。可引入第三方测评,形成问题整改闭环,切实避免算法歧视和服务偏差。


  应透明、可解释 保障公众知情权

  公开透明是法治政府的基本特征。在政务领域人工智能应用上,一个不能忽视的问题是,是否应告知公众;政务相关内容中有AI生成内容,需要告知的具体事项有哪些等。

  对此,上述两份专家建议稿认为,应以适当方式公开人工智能应用的基本逻辑,涉及公民权益的辅助决策宜具备可解释性,保障公众知情权。

  政务智能体则应遵守关于人工智能算法推荐等相关管理规定,告知当事人适用人工智能技术的具体情形,保障算法决策逻辑可解释、可追溯,不得利用算法设置歧视性门槛。基于智能体服务对象是单向流动或双向互动,应制定差异化的数据输入、输出与告知规则。

  在算法公开的具体内容事项和程序上,两份专家建议稿指出,当公民对人工智能辅助作出的行政决定提出异议时,行政机关有责任以通俗易懂的方式,解释该决定中人工智能所承担的角色、所依据的关键数据或规则(不涉及核心算法秘密),以及最终决定者进行人工判断与裁量的主要考量。

  同时,应明确政务智能体生成的内容,在行政决策程序中的法律性质属于“辅助性参考材料”。行政机关在最终决策文书中如采纳其结论,必须说明理由;如不予采纳,无需特别说明。其过程与结果记录纳入案卷管理。

  此外,专家学者也提出了各自的建议。如,河北大学法学院副教授李芹表示,经由算法设计所形成的算法行政规则,应公开其规范依据、价值目标(算法系统设计想要追求的价值目标)、运行机理等。此外,为了实现算法作出的决策具有“可解释性”,有必要将基于个案的算法解释说明,设定为行政机关的主动公开义务。

  当前,政务人工智能发展步入技术落地与制度规范同步推进的关键阶段。各地数字治理创新实践持续积累鲜活经验,与会专家学者认为,推动人工智能在政务领域的负责任创新,必须筑牢法治根基,构建既包容审慎又安全可控的治理体系,以科技赋能高效、透明、可信赖的现代政府建设。与此同时,智能体技术迭代更新持续提速,算法风险防控、自动化决策权责边界、公民权益保障等仍需在实践中持续探索、细化和完善。