人工智能网络暴力检测面临的法律风险及其应对

　　据新华社报道，今年巴黎奥运会期间，一项人工智能监控网络暴力的服务正在使用，被识别出具有网络暴力倾向的内容会被标记，运动员甚至可能还没看到这些信息，它们就已经被处理。在人工智能席卷全球各行各业浪潮下，利用人工智能技术辅助甄别、监测“网络暴力”的需求日益凸显。面对网络暴力，法律和技术是两大利器，运用好人工智能技术可以提升网络暴力治理的效率。人工智能在网络暴力检测中展现出巨大的潜力与便利，但也伴随着一系列法律风险。比如，隐私保护、数据安全、算法公正、法律责任和技术的可靠性等。这些问题不仅关乎人工智能技术的应用，还涉及社会伦理、法律框架的建设及国际合作的重要性。在人工智能快速发展背景下，如何应对网络暴力检测中的法律挑战和风险，对于保障公民权益、维护网络秩序、增强社会稳定及提升国际形象都具有重要意义。

　　网络暴力是侮辱、诽谤等攻击性言论行为在网络空间的表现形态。网络大数据平台本身的过滤算法会诱发回声效应，易诱发网络暴力，即网络大数据平台本身也容易诱发网络暴力。算法根据用户偏好提供内容，使得用户倾向于有类似观点的人聚在一起，这些类似的观点和意见又会因为处于封闭的社会环境中而不断被重复和强化。这使得网络暴力言论在算法推送下更容易快速传播，呈现扩大态势，甚至会演变成网络暴力犯罪。面对网络暴力，运用人工智能进行辅助检测、识别和管理颇为重要，但这个过程也可能面临诸多法律风险。

　　人工智能网络暴力检测面临的法律风险

　　其一，数据偏差可能导致误判。算法是人工智能技术的核心，人工智能算法也称为“模型”，本质上是一种用以解决问题的技术。网络暴力检测过程中，过度依赖人工智能筛选的数据可能存在偏差，若数据采集不全面、不准确或带有某种偏见，可能导致检测结果误判。例如，如果不对“网络暴力”概念的界定与技术识别进行有效衔接，网络暴力的定义和标准不完全统一，则可能导致人工智能在识别、预警和应对网络暴力时存在困难，甚至出现数据偏差；还可能出现人工智能无法检测到细微而复杂的暴力语言导致识别漏判，或者因某些特定话题的相关数据缺失，使得人工智能误将正常言论认定为网络暴力，对无辜当事人造成伤害。如果网络暴力数据标注缺乏统一、明确且准确的标准，则可能最终导致人工智能对网络暴力检测的误判。

　　其二，数据收集可能侵犯个人隐私。基于个人信息处理的人工智能技术应用，可能带来数据安全和个人隐私受侵害。人工智能的分析能力和决策能力以大数据技术为基础，是一个动态的过程，需要依赖数据持续更新。人工智能在进行网络暴力监测时，需要收集和分析用户的个人信息，包括聊天记录、浏览历史等敏感信息。这一方面可能存在过度收集用户个人数据的情况，另一方面这些数据信息若被不当使用，则严重侵犯个人隐私权。例如，用户的身份信息、联系方式、位置信息等敏感信息被滥用，可能使用户遭受骚扰、诈骗等风险。基于此，人工智能对网络暴力的检测可能给公民数据安全和个人隐私保护造成一定风险。

　　其三，“算法黑箱”可能导致责任认定困难。人工智能算法的不透明性可能导致网络暴力检测责任认定困难。一方面，除国家秘密、商业秘密外，人工智能算法本身的复杂性和专业性使普通人很难理解其运行机理。另一方面，随着科学技术的发展，人工智能的“自主性”深度学习增多，其在识别、预警和应对网络暴力所依赖的这些算法，是否会出现偏见或误判，能否被公众理解和监督，这值得法律关注。这给“精准识别与避免误伤”“合理识别与平衡保护”增加了难度。因此，人工智能的深度学习技术也可能形成“算法黑箱”，导致法律层面责任认定困难。

　　人工智能网络暴力检测的法律风险应对

　　其一，利用人工智能监管网络暴力时，明确相应概念标准和数据规范。明确网络暴力的定义和标准是人工智能准确识别和监管网络暴力的基础。2024年8月1日起施行的《网络暴力信息治理规定》第三十二条规定，“网络暴力信息，是指通过网络以文本、图像、音频、视频等形式对个人集中发布的，含有侮辱谩骂、造谣诽谤、煽动仇恨、威逼胁迫、侵犯隐私，以及影响身心健康的指责嘲讽、贬低歧视等内容的违法和不良信息。”这为人工智能监管网络暴力提供了明确的法律界定。可以此为依据，进一步规定数据采集和标注的标准和规范，要求数据采集来源多样化、全面化，涵盖不同类型的网络平台、地域、年龄层和社会群体，以确保数据的代表性和公正性。同时，建立数据审查机制，定期对用于网络暴力检测的数据集进行评估和更新，以适应网络环境的变化和网络暴力的新趋势，及时纠正偏差。要针对人工智能发生的误判行为设置救济措施，赋予当事人申诉和救济的权利，并明确责任追究机制。

　　其二，利用人工智能监管网络暴力时，应明确相应监管权限和行为限制。人工智能在监管网络暴力时，需要收集、处理和分析大量网络数据，这涉及个人隐私权、信息安全等法律问题。根据《中华人民共和国网络安全法》《中华人民共和国个人信息保护法》的有关规定，数据的收集和使用需遵循合法、正当、必要原则，确保用户的隐私权得到保护。因此，要制定明确的规则确保人工智能在合法和合理的范围内执行网络暴力监管任务。个人信息保护法规定，任何人不得滥用个人信息，对侵犯个人信息的行为将予以严惩。网络信息服务提供者应建立健全网络暴力信息预警模型，综合考虑多种因素，及时发现网络暴力信息，并确保数据使用的合规性和合法性。如果网络信息服务提供者未能依法履行其信息网络安全管理义务，导致网络暴力信息大规模传播或产生其他严重后果，则需要承担相应法律责任。

　　其三，利用人工智能监管网络暴力时，要完善相应算法原则和评估模式。首先，提高算法的透明度和可解释性，让用户和监管部门能够准确理解算法决策过程。要求开发者和使用者在一定程度上公开算法的训练数据来源和处理方法等，从而接受社会监督和法律审查，并明确责任归属，建立相应的赔偿和问责机制。其次，探索建立算法审查和评估机制，确保算法的公正性、准确性、合法性。例如，建立专门的算法审查机构或引入第三方评估机制。由技术专家和法律专家组成团队，对重要的网络暴力检测算法进行独立评估和审查。涉及重要决策时，提供人工复核途径。最后，鼓励技术创新和研究，不断优化算法，减少偏差，开发具有可解释性和透明度的算法模型。推动学术界和产业界共同探索新的技术方法，在保证检测效果的同时提高算法的透明度和可理解性。

　　在人工智能技术快速发展背景下，如何在保障公民权利的同时，充分利用人工智能监管网络暴力，需要法律界和科技界加强合作，共同制定适应技术发展的法律法规。笔者认为，除了明确所有参与者的权利和责任外，还应通过建立制度来促进共同治理，提高协同治理的水平。此外，网络暴力的跨国性使得其监管变得更加复杂，需要充分考虑不同国家之间的法律差异、司法合作等问题。总而言之，在运用人工智能进行网络暴力检测时，我们必须警惕潜在的法律风险，确保技术发展与法律监管并行不悖，既让人工智能技术更好地服务于社会，更要守护网络空间的和谐与安宁。

　　（作者单位：重庆大学法学院）