用户和平台因“AI生成合成内容标识”起纠纷

北京互联网法院详解裁判标准

　　国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布的《人工智能生成合成内容标识办法》（以下简称《标识办法》）将于2025年9月1日起正式施行，对人工智能生成合成内容标识的使用进行了规范。

　　《标识办法》要求，用户使用网络信息内容传播服务发布生成合成内容的，应当主动声明并使用服务提供者提供的标识功能进行标识；提供网络信息内容传播服务的服务提供者应当采取措施，规范生成合成内容传播活动，如核验文件元数据、添加显著提示标识并提醒公众、提供必要的标识功能并提醒用户主动声明发布内容中是否包含生成合成内容等。

　　其中，提供网络信息内容传播服务的服务提供者如果在文件元数据中未核验到人工智能生成合成内容隐式标识（隐式标识是指采取技术措施在生成合成内容文件数据中添加的、不易被用户明显感知到的标识），用户也未声明为生成合成内容，但平台识别为疑似生成合成内容时，应当采取适当方式在发布内容周边添加显著提示标识，提醒公众该内容疑似生成合成内容。

　　近日，北京互联网法院审结一起网络服务合同纠纷案，平台用户和网络服务提供者因人工智能生成合成内容标识起了争端。

　　平台算法判定用户内容包含AI生成起纠纷

　　原告为涉案平台用户，被告为涉案平台运营者。原告在平台上发布了“打工并不能让你真的赚到多少钱，但可以开启你的新视角……如果你对学车感兴趣的话并且以后打算开车的话，可以在你最清闲的一个假期完成它……工作之后就没有太多完整的时间考驾照了”内容。

　　该内容被涉案平台判定为“包含AI生成内容但未标识”的违规情况，涉案平台作出将该内容隐藏并将用户禁言1天的处理。原告对此进行了申诉但未成功。

　　原告主张，其并未使用AI创作，被告的行为违约，请求法院判令被告撤销隐藏涉案内容和禁言账号1天的违规处理，并在后台系统中删除违规处理记录。

　　被告辩称，其有权依据双方网络服务合同对原告使用平台服务时的行为是否违规进行审核认定，并采取必要治理措施，因此涉案行为不构成违约。涉案平台规范中明确规定，“创作者在发布包含人工智能生成内容时，应主动使用‘人工智能生成内容’的标签进行声明，未主动声明的内容，平台将采取适当措施进行流通限制并添加相关标识”。

　　被告表示，原告发布的内容经机器识别为“包含人工智能生成”，且经过平台人工复核，认定该内容缺乏明显的人类情感特征。并向法院提交了其在“互联网信息服务算法备案系统”公示的相关算法机制机理内容作为其算法决策判定的证据。

　　被告认为，其作为网络服务提供方，有权自行选择合理、必要的方式和技术，其针对人工智能治理需求而开发、部署、运行自研的深度合成算法模型是合理、必要的，并设置专门测试团队通过技术手段观察、抽检模型运行的准确率，如发生准确率下降或异常波动，被告会及时对模型进行优化迭代。涉案内容被识别、标记期间，模型准确率没有变化。请求法院依法驳回原告的诉讼请求。

　　平台应对审查及处理结果进行合理举证和解释声明

　　北京互联网法院经审理认为，平台有权依据合同约定对涉案内容是否属于AI生成合成内容进行审查和处理，同时，平台的审查及处理结果也应有合理依据。

　　法院表示，网络用户在使用AI工具进行创作并将相关内容发布到网络平台时，应依照诚信原则如实标记。本案中，被告结合《互联网信息服务深度合成管理规定》中有关深度合成标识的管理规定和网络空间治理的现实需要，发布了社区公告，载明“创作者在发布包含AIGC生成的内容时，应主动使用标识，帮助读者进行区分。对发布时未主动声明的内容，平台将采取适当措施进行流通限制并添加相关标识”“未经标签声明，使用人工智能生成的内容构成违规”。原告系平台注册用户，上述公告属于平台服务协议的组成部分。因此，被告有权依据合同约定对涉案内容是否属于AI生成合成内容进行审查和处理。

　　本案中，原告主张涉案内容并非AI生成内容，被告对涉案内容的审查及处理违反平台服务协议，在一般情况下，原告应该提供如创作底稿、原件、源文件、源数据等证明人类创作属性的初步证据。但法院查明，本案中原告发布内容为即时性创作文本，在客观上无法提供上述证据，由其提供上述证据亦不存在合理性和现实可行性。而被告基于算法工具的运算结果得出涉案内容为AI生成合成的审查结论，被告既是算法工具掌控方又是结果判断方，算法工具运算过程和审查结果由被告掌控，在此情况下，被告应就该事实进行合理举证或解释说明。

　　虽然被告在本案中提供了算法的备案信息，但公示内容显示该算法功能为“识别有安全风险的回答”，无法认定其系对AI生成合成识别判断的技术，故无法确认备案信息与本案争议的关联性，因此被告未对涉案内容属于AI生成合成的判断依据和结果作出合理解释。

　　法院还认为，被告对人工复核程序的解释为“需要非常明显的人类情感特征”才能驳回算法决策结果，而该判断标准更多依赖主观认识和个人经验，并不具有科学依据以及较强的说服力和可信度。

　　法院最终判定，被告未对算法决策依据和结果进行适度的解释和说明，对用户的处理没有事实依据，应承担违约责任。法院还查明，被告系统后台对用户发布的内容仅存在“折叠回答”这一条处理记录，对“禁言1天”的处理没有后台记录。最终判决被告展开对于涉案内容的折叠隐藏，删除在后台的违规处理记录，驳回原告的其他诉讼请求。目前，该案判决已生效。

　　法官解读用户和平台的举证责任

　　“生成式人工智能技术在内容的生成合成方面展现了巨大的能量和潜力，为数字经济发展注入强大动力。与此同时，在AI生成合成内容未进行‘AI标识’的情况下，公众难以区分AI生成合成内容和人类创作内容，利用AI实施诈骗、侵权等违法犯罪的行为不断攀升。AI生成合成内容标识作为对人工智能生成内容监管的有益工具和必要手段，会对净化网络内容环境和网络空间治理起到一定积极作用。”北京互联网法院综合审判一庭副庭长、四级高级法官袁建华说。

　　袁建华表示，此案对于平台运用算法工具进行AI生成合成内容治理引发的网络服务合同纠纷裁判作出以下探索：

　　首先，网络内容服务平台有权利用算法工具对用户发布的内容是否使用AI生成合成进行审查和处理。平台通过用户协议、社区规范、处罚规则等明确告知用户需要遵守AI生成合成内容标识规定，如用户违反有关规定，平台可对违规行为进行处理。

　　其次，若网络内容服务平台判定用户发布的内容为AI生成合成，用户需要提供证明该内容系人类创作的初步证据，人民法院可结合创作形式、内容、载体等因素综合调整用户的举证责任，并认定证据的证明效力。

　　再次，网络用户提供初步证据后，网络内容服务平台应举证证明其使用算法工具进行判定的正确性或进行必要限度的解释说明，网络内容服务平台不得仅以涉及商业秘密为由规避该义务。

　　最后，对于算法解释的司法审查应符合比例原则。一般情况下，平台无需提供技术细节、源代码或原始数据，而需围绕案件争议事实以可理解的方式举证或说明算法运行机制、对于可能出现的误判是否采取了合理的救济措施。

　　中国人民大学法学院副教授黄尹旭表示，本案认定网络内容服务平台在即时性创作文本场景下对使用算法自动化决策的结果承担适度说明义务，并为司法审查阶段的算法解释说明程度确立了一定的标准。明确算法解释说明的司法审查标准，既能保障网络用户合法权益，又能有效推动算法公开透明，规范算法应用行为，推动平台经济健康发展。同时，本案通过司法个案裁判，合理分配网络内容服务平台和用户的举证责任，有助于推动网络内容服务平台提高算法的识别能力和决策能力，切实提升人工智能信息内容治理水平。