算法“误伤”用户事件频发引关注“是否存在主观过错”是平台担责与否的关键

　　如今，检索过滤、调度决策等算法技术，早已被广泛应用到互联网平台向用户提供的各类服务中。同时，这些技术也是平台自治、进行风险防控的重要手段。但作为技术，“算法”也有失误的时候。近年来，我国在各方面加大打击电信网络诈骗的力度，网络平台也通过检索过滤等各类算法技术对平台内用户推送谨防诈骗的信息提示。

　　近日，北京互联网法院审结一起互联网交友平台算法误判用户为“杀猪盘”骗子的名誉权纠纷案件。出于维护公共利益初衷而引发个体误判，平台能免责吗？

　　算法误判用户为“杀猪盘”骗子

　　李某为某征婚交友平台的注册会员，注册时提交了真实照片作为头像，并实名认证手机号。在李某正常使用平台期间，平台突然对其账户进行了封号处理，并向平台内好友提示称其“账号可能存在异常”“不要与之发生金钱来往”等。

　　此时，在平台认识的部分网友已经成为现实生活和工作中的朋友，李某表示，平台误判后，他受到这些朋友的质疑，误认为他是骗子，这对其造成精神损害、名誉损失，产生很大影响。因此，他将平台诉至法院，认为平台实施算法技术造成误判，侵犯其名誉权，请求法院判令被告在其平台中公开道歉、予以澄清，并赔偿各项损失2万元。

　　北京互联网法院在审理中查明，李某为某金融公司员工，其在该平台聊天中，在短期内多次被平台检测到出现“金融”“基金”“加微信”等词汇。平台表示，这些词汇高频出现疑似涉及“杀猪盘”诈骗案件，于是自动触发了平台风控系统的审核规则，导致平台对李某进行封号处理。在李某致电客服反映情况后，平台经人工核实后已对该账户进行解封。

　　今年3月1日，《互联网信息服务算法推荐管理规定》施行，其中第十九条有算法推荐服务提供者要“依法开展涉电信网络诈骗信息的监测、识别和处置”的相关规定。今年9月2日通过的《中华人民共和国反电信网络诈骗法》在第四章互联网治理中，也对互联网服务提供者规定了包括涉电信网络诈骗信息监测、识别和处置的义务在内的诸多要求。

　　该交友平台表示，对李某的封号行为，仅是为公共利益依法履行主体监管责任，系统自动判定原告账户为风险账号，不存在侵权行为。

　　平台是否需要担责成焦点

　　北京航空航天大学法学院副教授赵精武表示，《互联网信息服务算法推荐管理规定》第七条明确规定了平台经营者有义务建立反电信网络诈骗的管理制度和技术措施，第十六条规定了“算法透明义务”，要求算法推荐服务提供者应当以显著方式告知用户其提供算法推荐服务的情况，并以适当方式公示算法推荐服务的基本原理、目的意图和主要运行机制等。算法透明义务能够保障用户的知情权，还能使司法部门和监管机构通过企业依法公开的算法应用信息，确认企业是否应对算法引起的侵权纠纷承担侵权责任。“算法透明义务通常被视为算法问责机制的前提条件，是算法推荐服务提供者是否具有主观过错的客观认定依据。”赵精武说。

　　在诉讼过程中，该交友平台提交了《关于涉案软件风控审核系统的情况说明》及相关证据，向法庭说明了其“预防性风控系统”算法逻辑机理。案件主审法官颜君表示，被告采取涉案算法风控行为是否存在主观过错成为案件的主要争议点。

　　北京互联网法院认为，从涉案“预防性风控系统”针对的词汇和行为可见，该系统设置的目的确实为预防“杀猪盘”等网络诈骗行为，实现法律要求的监管义务和公共利益，具有正当性。同时，鉴于涉案平台为陌生人网络交友恋爱类平台，在目前社会背景下加强“杀猪盘”等电信网络诈骗犯罪筛查力度的情况下，该平台的行为于平台的服务类型来说具有一定合理性。

　　颜君表示，算法设置需在现有技术条件下合理，不得存在算法歧视、算法滥用等侵害他人合法权益的非法手段。在此案中，根据已查明的事实及被告披露的算法逻辑过程，平台的算法设置并不存在对某类用户的不当歧视，属于基于特定词汇和用户行为的自动化反应机制。

　　除此之外，法院审理查明，平台的确根据其所披露的算法规定，按照所承诺的人工审核方式，在声明的期限内核查误判并解除账户封禁和风险提示，尽到了与涉案算法风险相匹配的注意义务。

　　赵精武表示，在维护公共利益和可能引发个体误判之间，平台责任的认定是以《中华人民共和国民法典》《中华人民共和国个人信息保护法》《中华人民共和国反电信网络诈骗法》《互联网信息服务算法推荐管理规定》等法律法规为依据，对于平台内部存在显著诈骗行为的用户账号，平台有义务在第一时间予以干涉和风险警示；当然，如果这种诈骗行为以隐蔽的方式进行，平台无法通过算法风控等信息技术予以识别时，则不能认定平台未履行安全保障义务。为了维护公共利益和可能引发个体误判之间的利益平衡，关键点在于这种认定行为是否会给用户造成不可挽回的损害后果，以及平台是否能够在短时间内正确解封用户账号、恢复用户名誉。

　　最终，北京互联网法院认为，平台基于法律监管要求和公共利益保护的目的，设置“预防性风控系统”算法应用，对用户行为进行中立、无差别的风险筛查，虽因技术水平所限造成系统误判，但尽到了与涉案算法风险相匹配的注意义务，并采取合理的预防侵权措施，并无主观过错，不构成侵权。法院判定驳回李某的诉讼请求。

　　算法治理应注重平衡各方利益

　　在上述北京互联网法院审理的算法误判“杀猪盘”案件中，颜君表示，随着数字经济背景下大数据、人工智能技术的飞速发展，算法技术被广泛运用于互联网应用场景中。与此同时，“大数据杀熟”“算法歧视”“诱导沉迷”“操纵榜单”“最严算法”“深度伪造”等算法应用乱象也时有发生。如何构建鼓励算法行业发展与规制不当运用的算法治理秩序，成为算法侵权案件司法裁判关注的重点。

　　在《互联网信息服务算法推荐管理规定》和《中华人民共和国反电信网络诈骗法》均规定了网络服务提供者需履行涉电信网络诈骗信息监测、识别和处置义务的背景下，北京互联网法院在认定交友平台系统确实“误判”基础上，同时判定了平台在保护“公共利益”上的正当性。

　　赵精武表示，从司法实践来看，很多电信网络诈骗发生后，受害人追溯被诈资产难度较大，故而在事前阶段予以预防的法律效果高于事后刑事追责。而为了维护公共利益和可能引发个体误判之间的利益平衡，关键点在于平台采取的认定行为是否会给用户造成不可挽回的损害后果，以及平台是否能够在短时间内正确解封用户账号、恢复用户名誉。

　　赵精武表示，在此类涉及人格权的领域，平台完全有可能因为“算法技术”问题被判承担侵权责任。因为在《互联网信息服务算法推荐管理规定》第七和第八条的规定下，明确要求平台应当落实算法安全主体责任，定期审核、评估、验证算法机制机理，倘若平台怠于更新优化算法，并造成误判封禁用户账号、认定用户存在诈骗行为等损害结果时，则平台应当承担相应的侵权责任。因此，他表示，平台经营者还应当注意定期审核、评估、验证算法机制机理、模型、数据和应用结果，优化算法自动化风险分析的准确性。

　　实际上，不论是用户与平台间，还是平台与平台间，因算法引发的侵权纠纷愈来愈多。今年杭州互联网法院公布的数据和算法十大典型案例中，一起用户与平台间因算法自动化决策引发的财产权益纠纷案件中，平台利用算法进行大数据分析，遏制平台内异常流量推广交易活动，因此冻结该异常账户内的佣金。法院综合判定，驳回用户关于解除账户内冻结佣金的诉讼请求。

　　杭州互联网法院表示，平台行使算法权力应当公开透明，事先披露治理机制、管理规则以及相关技术原理。在平台自治过程中，用户有权对自动化决策提出质疑和申诉，进一步知晓算法逻辑构造。平台的自动化决策并非纯粹工具性角色，面对算法权力不断嵌入社会生活的局面，司法应当对算法技术进行有效监督，在平衡平台、用户以及公共利益的前提下，促使平台算法逻辑构造的公开透明、公平公正。