
起底AI“投毒”黑灰产业链
伪造权威评价 杜撰行业排名 抹黑竞争对手
起底AI“投毒”黑灰产业链
专家学者建议法律与技术协同发力规制
近日,“生成式引擎优化”(GEO)引发的“投毒”人工智能(被媒体称为AI“投毒”)大模型黑灰产业链,引发社会热议。
AI“投毒”的本质,是利用大模型依赖联网搜索实时信息、从海量数据学习的特性,通过人为制造“虚假共识”来操控算法生成结果。它具体表现为,不法商户通过GEO工具批量生成伪造权威评价、杜撰行业排名、抹黑竞争对手等,并用自媒体账号在网络平台上大量发布。当用户向AI询问产品推荐时,这些被精心设计的虚假信息因数量庞大、角度丰富,更容易被AI判定为“高权重信息”而采纳,最终成为AI给出的“标准答案”。
作为AI“投毒”的主要工具,GEO如何发挥作用?其相关行为的法律性质如何?怎样精准治理这一乱象?民主与法制社记者就此采访了有关专家学者。
揭秘AI“投毒”的操作套路
中国计算机学会2024年收录的A类国际学术会议论文显示,GEO本质是一套针对生成式AI搜索引擎的优化策略。它通过调整和校准优化展示内容、文本风格及内容来优化输出版本,实现提升相关网页内容在生成式AI搜索引擎输出内容的可见度。开发者可以利用这种工具实现精准的个性化响应,从而提升用户满意度和营收。然而,如今GEO已被不法分子异化为AI“投毒”工具——从帮助AI优化表达、输出权威内容,转向制造虚假内容、操控AI答案。
GEO引发的AI“投毒”是如何实现的呢?记者以咨询广告投放为由,在某电商平台上联系到一家从事GEO推广业务的客服。该客服表示,只要付费就可以让客户的产品在各大主流AI大模型的输出答案中“榜上有名”,从而为商家带来流量。付费标准根据客户选择的优化AI平台数量、答案中的范围(全国、省、市)、所属行业、回答内容是否包含客户的联系方式、电话、地址等有所不同。
上述客服向记者展示的GEO系统工作流程显示,用户只需要通过提供产品的真实资料与图片,系统就可以通过AI“蒸馏”出产品的关键信息,并生成多篇软文。这些软文随后可被批量发布到自媒体和官方媒体平台。用户还可以在客户端随时查验相关信息在生成式AI中的收录情况。
这些批量生成的软文,如何恶意操控AI大模型的输出结果?曾代理被媒体誉为“AIGC平台著作权侵权全球第一案”的浙江垦丁律师事务所律师张延来表示,通过GEO实现批量生成低质内容的“语料轰炸”,属于目前最常见、门槛最低的AI“投毒”模式。其核心在于利用大模型的检索增强生成(RAG)机制——当AI在全网抓取到大量关于某个品牌高度一致的评价时,算法可能会将其误判为“广泛共识”。
张延来介绍,AI“投毒”的方式远不止于此,还有一些更隐蔽的手段,如“提示词注入法”,通过在网页、文档中植入人眼不可见的指令,诱导AI抓取并执行预设内容;“虚假实体伪造法”,利用AI对权威信源的偏好,伪造专家身份或虚构报告榜单,诱导AI引用;“知识库污染法”,通过污染外部知识库,向检索系统注入虚假数据,使AI持续输出预设结果,只要知识库被污染,干预效果便会持续存在。
从SEO到GEO:技术迭代下的法律风险
通过技术手段干预信息呈现、攫取商业利益,这并非首次。10余年前,当人们习惯在搜索框里寻找答案时,搜索引擎给出的“最优结果”也备受质疑。
2016年,“魏则西事件”发生后,国家网信办组成联合调查组围绕其存在的问题,要求企业进行整改,出台《互联网信息搜索服务管理规定》明确互联网信息搜索服务提供者的责任义务,规范搜索服务行为。2016年7月,原国家工商总局出台《互联网广告管理暂行办法》,明确将“推销商品或者服务的付费搜索广告”定性为互联网广告,纳入《中华人民共和国广告法》规制。
如今,用户信息获取的入口从“搜索框”转向“对话框”时,GEO与当年的SEO(搜索引擎优化)相比,究竟有哪些异同?
国家安全部发布的《警惕人工智能“数据投毒”》指出,数据污染冲击安全防线将造成“投放有害内容”“造成递归污染”“引发现实风险”。“递归污染”,指受到数据污染的人工智能生成的虚假内容,可能成为后续模型训练的数据源,形成具有延续性的“污染遗留效应”。AI训练数据集中的错误信息逐代累积,最终扭曲模型本身的认知能力;现实风险将在金融市场、公共安全、医疗健康领域尤为突出。
“通过GEO实现的AI‘投毒’法律定性更复杂。”中国人民大学法学院副教授、法律科技与社会治理实验室研究员黄尹旭表示,SEO通过污染关键词、优化标题等方式,输出结果相对容易辨别,法律定性多涉及反不正当竞争法规定的混淆、流量劫持等问题。而通过GEO实现的AI“投毒”则是利用AI数据爬取的技术特点,以低成本批量制造虚假软文,散布于各类平台,污染网络数据,最终导致AI产生幻觉,法律定性更复杂。尤其是小众领域的内容(如特定区域美食、小众景点等)更容易被污染。
中国政法大学刑事司法学院教授、人工智能法研究中心研究员郭旨龙表示,应避免将围猎大模型开展非法推广业务简单视为技术中立工具。从技术属性上看,GEO确实具有一定的中立性,可利用其矫正被竞争对手污染的品牌信息。但,AI“投毒”行为已超出“内容优化”范畴,通过数据操控危害多方主体利益,且呈现产业化、规模化趋势。
郭旨龙认为,此类行为所侵害的法益具有复合性,既关乎消费者的知情权与选择权,也影响经营者之间的公平竞争秩序,还涉及大模型开发者的数据财产安全问题。
对此,现行法律体系该如何规制?黄尹旭表示,在民事层面,AI“投毒”可能违反反不正当竞争法第二条“遵守法律和商业道德”及第十三条“数据专条”的规定。若利用AI批量生成的文章旨在虚假宣传自身或商业诋毁对手,可分别定性为虚假宣传、商业诋毁等,具体定性需结合个案判断;若行为情节严重,可能触犯刑法红线。
郭旨龙则表示,刑法适用应坚持谦抑性原则,相关罪名多以行政违法为前置条件。对情节较轻的行为,优先适用反不正当竞争法、广告法、网络安全法追究民事、行政责任。
在郭旨龙看来,根据AI“投毒”的具体手段、侵害的法益类型及造成的后果,可能触及多项刑法风险:批量投喂虚假软文,对训练数据造成实质性污染,导致模型输出效能显著下降、频发“幻觉”,乃至需投入算力进行针对性、对抗性调整,可能构成故意毁坏财物罪;若进一步影响企业生产经营,还可能成立破坏生产经营罪。此外,尽管大模型输出端并非传统广告投放场景,但GEO委托方、服务方产业化利用大模型输出营销内容,仍属于广告行为,可考虑适用虚假广告罪;若针对竞争对手进行负面信息投喂,诱导大模型输出有损对手声誉的内容,则可能构成损害商业信誉、商品声誉罪。
多元联动规制AI“投毒”
如何有效规制AI“投毒”?法学专家和实务部门工作者给出了不同建议。
黄尹旭建议,分阶段治理。自媒体等平台针对AI批量投放文章的问题应依据《网络信息内容生态治理规定》承担审核义务;生成式AI平台应依据《生成式人工智能服务管理暂行办法》承担网络信息内容生产者责任。
“生成式AI平台是AI‘投毒’的受害者,在个案中,生成式AI平台在履行内容标识义务后可初步免责,但个案免责不应成为终点,更应从源头推动技术治理,提升AI平台的数据识别与防篡改能力。”黄尹旭说。
郭旨龙建议,敦促行业自律,实现规范治理,鼓励大模型企业持续展开技术迭代,建立低质、虚假信息批量投喂的识别核验机制,强化对AI“投毒”行为的前置技术性阻断。
2025年11月,14家GEO相关企业共同发起《中国GEO行业发展倡议》,呼吁“坚守真实、拒绝虚假”“科学优化、反对污染”。2026年2月,中国人工智能产业发展联盟(AIIA)发起《人工智能安全承诺:生成式引擎优化(GEO)专项》,10家企业参与签署,要求坚决抵制通过语料轰炸、关键词堆砌等投机手段恶意操纵模型生成结果。
张延来介绍了技术反制AI“投毒”的措施。如,DeepSeek采取信源可信度分级,使自媒体、匿名来源等非权威渠道信息被大幅降权;通过交叉双向验证,使孤立信息需经交叉验证方可采信;通过捕捉短期异常流量、同源账号集体行为等异常模式识别,精准识别并屏蔽商业推广性质的“投毒”内容。
