大模型被调成小黄文生成器,AI“聊黄”正滋生灰产
2026-06-12 14:30 第一财经
AI需守住底线
这一野蛮生长的灰色地带并非法律真空,政策与司法判例都已陆续登场。游云庭对第一财经记者表示,在这场“猫鼠游戏”中,模型厂商、互联网平台、用户都会涉及一定的风险。
从模型厂商来看,游云庭认为,如果确实已设置了过滤系统,也仍有义务对系统进行定期更新,如果厂商明知过滤系统有漏洞,长时间不做更新,导致大量用户滥用系统生成违禁内容,模型厂商可能要承担责任。
此外,互联网平台有义务定期对平台上产生的诱导用户绕开大模型过滤系统提示词的内容进行清理,长期不清理,放任这些内容在平台上流传也有可能会被监管处罚。而用户如果经常发布这些内容,也应该由平台对其进行整治,如禁言、警告等,行为性质比较恶劣的对其账号进行注销处理。
AI产业也正迎来密集的政策和监管补位。
今年4月10日,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,并将于2026年7月15日起正式施行。
该《办法》第八条和第十四条明确划定了两条红线:一是提供拟人化互动服务,不得传播淫秽、色情或教唆犯罪;二是明确规定不得向未成年人提供虚拟伴侣、虚拟亲属等虚拟亲密关系服务。此外,向不满十四周岁未成年人提供其他拟人化互动服务的,应当取得未成年人的父母或者其他监护人的同意。


