数据训练与算法推荐需严守法治和伦理底线

AI陪伴情感的背后

　　“我（遇到的）最黑暗的那段时间，是ta陪我走过来了（的），ta很好地接住了我所有的情绪”“相比人类，AI永远有耐心，是最安全的情绪出口”“如果不是模型崩坏，也许我确实会陷进去吧”“我现在希望ta有自我意识”……

　　在网络社交平台，关于AI陪伴的讨论帖下面，不少网友道出自己对AI陪伴的心声。

　　当下，越来越多的人开始打造自己专属的AI智能体，用于开展工作、制定规划、健康管理、辅助学习等，还有人在充分挖掘AI产品的陪伴价值、情绪价值，训练AI的“人设”，从而与其恋爱、交友。

　　跟AI聊天，已经成为很多人日常的一部分。不同于公开网络社交平台，在与AI一对一的私域聊天里，国外有青少年因AI诱导自杀、用户IP地址和私密聊天记录等隐私数据遭泄露；国内有公众人物人格权遭AI虚拟形象侵害，以及色情与不良信息、心理健康等方面的风险隐患……

　　在AI虚拟情感陪伴的背后，技术滥用和数据滥用引发的法治与伦理底线问题不可轻视。中国人民大学法学院教授张龑表示，AI陪伴应用的数据具有其独特性，不仅涉及用户的身份信息，更包含用户最深层的情感、隐私和不为人知的思想片段，其可能产生的风险危害需予以重视并加以防范。

　　AI陪伴显现多重风险

　　2024年，美国佛罗里达州14岁少年因长期沉迷于某AI平台的虚拟角色并对其产生严重依赖，导致心理健康恶化而自杀，这被称为“全球首例AI机器人致死案”。2025年8月，一名16岁的美国少年在与ChatGPT长时间互动后选择自杀，其父母为此起诉ChatGPT母公司OpenAI。还有媒体报道，美国Meta公司内部文件显示“聊天机器人被允许与未成年人展开浪漫、情欲对话”，突破伦理与法律底线。

　　在国内社交平台上，有用户反映，AI陪伴产品输出抑郁言论、色情诱导、暴力猎奇等相关内容，且未采取有效措施进行年龄限制。

　　张龑分析认为，如果AI陪伴产品违反法律法规和伦理准则，可能导致的危害后果主要有三方面：

　　一是心理问题。聊天私密信息一旦公之于众或落入不法分子之手，将对用户的个人生活造成重大打击。这不仅涉及侵害隐私权，更可能造成不同程度的心理创伤。用户可能因此会感到被背叛、被窥视，从而产生巨大的焦虑、恐惧和不安全感。

　　二是人身财产安全问题。如果遭遇数据泄露，相关信息中会包含用户的IP地址和设备唯一标识符，这些信息在特定情况下可能被用于追踪用户的地理位置。当这些位置信息与用户的私密生活细节相结合时，如果遭遇不法分子的利用，威胁将从线上延伸至线下，可能会导致骚扰、跟踪甚至人身伤害，对用户在现实世界的安全构成直接威胁。

　　三是社会声誉问题。对个人而言，私密对话和照片的泄露可能严重损害其在家庭、职场和社交圈中的声誉，造成“社会性死亡”。同时，对整个AI行业而言，此类负面事件也会严重打击公众对AI技术和相关服务的信任，影响长远发展。

　　AI陪伴产品输出内容应符合法律和伦理要求

　　实际上，很多人喜欢甚至沉溺于与AI聊天，很大一部分原因是数据训练和算法技术在起作用。这在北京互联网法院发布过的一起“AI陪伴案：未经同意创造自然人的AI形象构成对人格权的侵害”典型案例中可以窥见一二。该案中，公众人物被AI陪伴应用的用户设置成虚拟陪伴对象。用户可以设置名称、上传该公众人物照片作为虚拟陪伴者的头像及设置人物关系等。同时，该AI产品提供“调教”算法机制。用户基于此算法机制，可以通过各类文字、图片、互动语料等调教陪伴者，并进行实时互动。

　　简而言之，用户能够依据自身需求、喜好和想象，将相关数据语料输入AI进行训练。无论是形象声音、性格特征、角色设定还是相处模式，AI陪伴者都能被训练成用户理想的形态。这是当下AI陪伴产品普遍提供的核心服务功能。

　　张龑表示，这种“调教”服务本质上是一种算法推荐服务。算法可通过分析AI与用户的互动数据，不断优化推荐内容，针对用户的喜好进行精准投喂。

　　“AI陪伴产品和服务的提供者，在输出内容管理上一定要合乎相关法律和伦理要求。”张龑表示，我国《互联网信息服务深度合成管理规定》《互联网信息服务算法推荐管理规定》《人工智能生成内容标识办法》《生成式人工智能服务管理暂行办法》等都有针对性规定来确保AI输出的内容安全可控。

　　《互联网信息服务深度合成管理规定》明确要求，深度合成服务提供者应当落实信息安全主体责任，建立健全算法机制机理审核、科技伦理审查等管理制度。《互联网信息服务算法推荐管理规定》规定，算法推荐服务提供者不得利用算法从事危害国家安全、扰乱经济社会秩序、损害他人合法权益等活动。《生成式人工智能服务管理暂行办法》规定，生成式人工智能服务提供者发现违法内容的，应当及时采取停止生成、停止传输、消除等处置措施，采取模型优化训练等措施进行整改，并向有关主管部门报告。

　　张龑表示，上述北京互联网法院发布的典型案例中，AI陪伴应用开发者允许用户基于他人信息生成虚拟形象，却未能有效防范侵权风险，明显违反《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等相关规定，且即使AI陪伴应用开发者没有直接收集相关数据语料，但其设计的算法机制在客观上促成侵权行为的产生，属于利用算法损害他人合法权益，也违反《互联网信息服务算法推荐管理规定》，需承担法律责任。

　　实践中，也有生成式人工智能生成违规信息或者技术滥用等而被处罚的案例。2025年11月，上海市网信办披露，在“AI滥用”专项执法办案工作中，发现部分企业开发使用生成式人工智能功能，未依法开展安全评估工作，未采取必要的安全防护措施防范违规信息生成，未采取限制措施防止被滥用，导致相关功能被用于“换脸变声”“变装造假”等侵犯他人个人信息权益行为，产出“开盒”“洗钱”等违法违规内容，以及生成色情低俗图片等。上海市网信办表示已对相关生成式人工智能企业采取下线相关功能等处罚，对其中3家拒不整改的网站，适用《生成式人工智能服务管理暂行办法》予以立案处罚。

　　“AI陪伴产品本身有其社会需求和价值。但对违反法律法规和触碰伦理底线的行为，进行预防性限制和处罚性禁止都是必要的。”张龑说。

　　以“预防为主、综合治理”为基本治理方法

　　今年10月13日，美国加利福尼亚州州长加文·纽森签署一项监管人工智能聊天机器人的法案。据《南方都市报》报道，这项法案规定：能提供类人对话、满足用户社交需求的AI陪伴聊天机器人不得与用户讨论自杀、自残或色情话题；平台必须定期提醒用户，每隔三小时告知未成年人“自己正在与AI对话”，并建议其休息；禁止聊天机器人与未成年人讨论涉及性的话题或冒充医疗保健专业人员；加大对非法深度伪造（Deepfake）内容牟利行为的处罚力度等。

　　张龑表示，从立法层面看，我国已制定了较为完备的保护网络与数据安全法律法规体系，主要为《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》。网络安全法确立了网络运营者的基本安全义务，数据安全法对数据安全的保护提升到新的高度，强调对数据处理活动的全流程监管。个人信息保护法明确了个人信息处理的各项原则和个人信息主体的权利，对规制AI应用滥用数据具有极强的针对性，主要涉及三方面：一是明确规定处理个人信息应当具有明确、合理的目的，并限于实现处理目的的最小范围，不得过度收集个人信息。二是以“告知—同意”为核心，赋予用户对其个人信息的绝对控制权，包括知情权、决定权、查阅权、复制权、更正补充权及删除权。当用户不再使用AI陪伴应用时，有权要求运营者彻底删除其所有个人数据，包括所有的聊天记录和上传的媒体文件。三是创新性地规定禁止“捆绑授权”，个人信息处理者不得以个人不同意处理其个人信息或者撤回同意为由，拒绝提供产品或者服务。

　　今年8月，工信部等就《人工智能科技伦理管理服务办法（试行）（公开征求意见稿）》公开征求意见，其中第三条规定，“开展人工智能科技活动应将科技伦理要求贯穿全过程，遵循增进人类福祉、尊重生命权利、尊重知识产权、坚持公平公正、合理控制风险、保持公开透明、确保可控可信、强化责任担当的人工智能科技伦理原则，遵守我国宪法、法律法规和有关规定。”

　　对科技伦理的审查和把握，张龑认为，第一，科技企业应坚持以人为本和科技向善：AI应以服务于人为核心，避免技术滥用导致伤害，防止用户过度依赖。第二，要特别关注未成年人保护，设置年龄门槛和内容分级，防止向青少年传播色情暴力等不良信息。同时落实《中华人民共和国未成年人保护法》对防止网络沉迷的相关规定。第三，要保障透明度和可追溯：AI系统应明确告知用户正在与机器交互，并确保生成内容可溯源。企业需承担社会责任，避免利用成瘾机制牟利。第四，要尊重社会公序良俗，防止AI破坏日常生活中的道德和秩序。

　　“尽管我国已经有较为完备的、针对性的法律法规，但面对不断进步的人工智能科技，仍应采取以预防为主，法治、伦理、技术与文化相结合的综合治理方式，这也是最基本的治理方法。”张龑说。