防范AI技术滥用风险 切实保护未成年人身心健康

　　筑梦岛App等人工智能聊天软件存在虚拟角色互动生成低俗内容等问题，给人们应用人工智能敲响警钟。即在拥抱人工智能技术带来红利的同时，更要警惕对未成年人身心健康引发的伤害风险。

　　有媒体报道，筑梦岛App等人工智能（以下简称AI）聊天软件存在虚拟角色互动生成低俗内容等问题，经核实，该平台AI生成内容存在低俗擦边违规等，危害未成年人身心健康。6月19日，上海市网信办依法约谈筑梦岛App运营企业主要负责人，要求平台立即整改，健全AI生成合成内容审核机制，提升技术把关能力，加强涉未成年人不良内容的整治清理，切实落实未成年人网络保护义务。企业负责人表示，将按照约谈要求，对照问题举一反三、全面整改。这次事件给我们敲响警钟，在拥抱AI技术带来红利的同时，更要警惕对未成年人身心健康引发的伤害风险。若AI技术失去有效约束，其滥用可能严重侵害未成年人合法权益，影响未成年人身心健康。

　　AI滥用的具体表现及危害

　　AI时代，切实保护未成年人身心健康，具有无可比拟的重要价值，不仅事关AI技术规范应用问题，更关系到未成年人网络权益保障问题。在此情形下，有必要研究AI滥用的具体表现及其可能带来的危害。

　　第一，AI滥用表现为深度伪造，引发色情内容侵害。深度伪造引发的色情内容侵害，主要包括两种：“换脸”恶搞和生成未成年人性虐待信息。就前者而言，不法分子利用AI技术，把未成年人脸部图像移植到不雅视频、侮辱性图片或者令人尴尬的场景中，并通过网络空间进行传播，进而实施网络欺凌，给特定未成年人造成巨大心理创伤；就后者而言，不法分子利用AI技术，生成含有未成年人的高度逼真的色情图像或者视频，或者对真实的未成年人图像进行伪造式修改，加剧对未成年人的性剥削风险。虽然受害者是“虚拟”形象，但其在网络空间传播也会严重侵害未成年人合法权益，扰乱网络空间秩序。

　　第二，AI滥用表现为过度收集信息，引发隐私侵害风险。过度收集信息导致的隐私侵害风险，主要包括两类：“无感”过度收集信息和“画像”投放使用。就前者而言，在儿童智能手表、文娱App、在线游戏等场合，家长作为未成年人的监护人，往往在其不知情或者不清楚的情况下，使得未成年人的敏感个人信息，如声纹、画像、位置数据、通讯录、聊天记录、行为偏好等，被AI过度收集；就后者而言，被过度收集的未成年人敏感个人信息，被大量用于数据分析进行用户画像描摹，为后续的广告精准推送乃至潜在的诱导消费提供数据来源。

　　第三，AI滥用表现为算法沉迷，引发认知偏见。算法沉迷带来的认知偏见，主要包括两类：高度成瘾性内容与“信息茧房”形成的认知偏见。就前者而言，短视频、社交平台、利用AI进行算法推荐、精准投放给未成年人的信息，可能包含许多高度成瘾性内容，如低俗信息、含有紧张、刺激和挑战类信息等不良信息。AI技术持续推送高度成瘾性内容，容易使部分未成年人深陷其中，难以自拔，严重挤占正常学习、生活时间。就后者而言，AI算法基于未成年人偏好，持续推送同质化内容，给未成年人设置狭隘的“信息茧房”，会阻碍其科学和全面分析问题，影响未成年人正确人生观、价值观的形成。

　　AI滥用侵害的法益类型

　　AI滥用对未成年人的侵害，涉及多项核心法益，具体如下：

　　第一，AI滥用侵害的法益类型有人格尊严与名誉权。不法分子利用AI进行深度伪造，实施“换脸”恶搞和生成未成年人性虐待信息，对未成年人的人格尊严和名誉权产生严重影响，造成的心理阴影可能伴随很久。

　　第二，AI滥用侵害的法益类型有隐私权与个人信息权。无节制地过度收集和使用未成年人的敏感个人信息，可能侵害未成年人的隐私权与个人信息权。《中华人民共和国民法典》《中华人民共和国个人信息保护法》等法律对未成年人的隐私权和个人信息权予以保护。其中，个人信息保护法把不满十四周岁未成年人的个人信息确立为敏感个人信息，并对其构建了一系列保护规则。

　　第三，AI滥用侵害的法益类型有发展权与身心健康权益。过度依赖AI技术可能削弱未成年人自主学习和思考能力，延缓其全面发展的潜质。未成年人过度沉迷算法，可能导致其作息紊乱、出现焦虑甚至抑郁等健康问题。我国《未成年人网络保护条例》明确规定，依法依规对未成年人沉迷网络进行预防和干预。比如，《未成年人网络保护条例》第十七条规定：“未成年人的监护人应当加强家庭家教家风建设，提高自身网络素养，规范自身使用网络的行为，加强对未成年人使用网络行为的教育、示范、引导和监督。”

　　AI滥用的协同治理措施

　　面对AI滥用侵害未成年人合法权益的问题，应建立健全制度，严格规范管理，尤其要采取协同治理措施。

　　第一，通过完善立法与加强执法，不断提升防范AI滥用的有效性。就完善立法而言，可以在现有《中华人民共和国个人信息保护法》《未成年人网络保护条例》《生成式人工智能服务管理暂行办法》等法律法规及规范的基础上，增设更直接和更细致的AI滥用预防和干预的条款。此外，还可以增设相应条款，明确禁止利用AI生成和传播未成年人性虐待信息，明确禁止实施深度伪造的侵害行为。就完善执法而言，要进一步强化网络服务提供者（尤其是提供AI使用服务的平台）的主体责任，要求其建立科学、有效的未成年人保护机制。比如，加强AI生成内容审查、搭建防沉迷系统和设计隐私保护制度。在AI侵害发现和报告机制方面，要加强履行强制报告义务。

　　第二，通过优化技术与嵌入伦理，逐步加强防范AI滥用的敏捷性。就优化技术而言，平台宜主动研发和使用能有效识别和拦截AI生成有害内容的技术工具。在算法推送方面，平台要进一步优化算法设计，避免向未成年人推送成瘾性内容和不良信息。就嵌入伦理而言，宜秉持最有利于未成年人发展的伦理导向，通过伦理设计，把“最有利于未成年人发展”纳入AI产品研发、部署、应用等全过程。为提升嵌入伦理的实效性，平台需建立相应AI伦理审查机制和风险评估机制，及时把握AI技术应用过程中出现的各种侵害风险。

　　第三，通过加强监管和建立标准，有序建立防范AI滥用的体系。就加强监管而言，可考虑设置强有力的专门机构，统筹协调AI技术在未成年人保护领域的应用。相关专门监管机构，要加强对AI技术应用于未成年人学习、生活的常态化监管，运用相应技术措施，有效防控AI侵害风险。就建立标准而言，相关监管机构要制定并完善AI生成内容安全、算法透明和合规审计、防沉迷系统有效性等方面的国家标准，加强国家标准的实施。

　　第四，通过提升数字素养教育，大力促进防范AI滥用的科学性。在中小学，可以把AI伦理、安全意识等内容纳入中小学课程体系，培养并锻炼适龄未成年人有序、负责、有辨别地应用AI和增强防范AI侵害的能力。在课堂教学环节，教师要教育中小学生正确看待AI生成内容、保护个人隐私和加强自我保护意识。家庭方面，要通过相关知识宣传和普及，提升家长数字素养、识别AI侵害风险的能力，引导未成年人正确应用AI、防止沉迷算法等。

　　防范AI技术滥用风险，不仅是AI技术赋能各行各业的基础与保障，而且是切实保护未成年人身心健康的重要方面。AI时代，未成年人在积极拥抱AI技术的同时，也容易遭受AI技术滥用引发的各类风险，应积极预防AI技术滥用风险，探索防范AI技术滥用的路径和方法。

　　（作者单位：南京师范大学中国法治现代化研究院）