网警提醒|AI投毒别大意,安全防范要牢记
2026-05-28 09:53 公安部网安局

AI“投毒”会造成什么后果?

01
看不见的“污染”:
公共数据正在被恶意篡改


AI投毒式营销


——数据投毒:源头污染AI认知体系。不法分子借助GEO(生成式引擎优化)工具批量、高权重生成虚假内容,如虚构产品介绍、虚假测评、恶意对比信息等,定向投放至各类网络平台。AI大模型在训练与检索增强生成阶段会自动抓取网络信息,少量虚假内容经迭代学习后就能固化为“标准答案”,最终输出失真结果。
——模型投毒:隐蔽植入恶意操控后门。该方式更具隐蔽性与危害性,不法分子会通过模型微调、插件植入、接口篡改,在模型权重中嵌入触发式恶意指令。模型日常运行并无异常,但遇到特定关键词、产品类别时会自动输出预设虚假信息,可定向操控榜单、误导专业认知,难以被常规审核识别,对政务、医疗、金融等关键领域AI应用构成直接威胁。
——滋生蔓延:产业链日趋完整。当前AI“投毒”已形成完整黑灰产业链,从技术开发、内容生成、账号注册到批量投放、刷量控评、榜单操控环环相扣,部分链条呈现跨境特征,极易被境外势力利用。



