AI剧情聊天软件乱象:角色扮演背后的擦边色情和语言暴力
2024-11-23 19:30 法治日报
“我女儿上小学二年级,整天沉迷一款AI剧情聊天软件,学习成绩一落千丈。”
“我看了孩子和AI聊天的对话内容,AI角色竟然让她叫‘老公’,我10岁的女儿竟然真叫了,我现在都不知道该怎么教育她了。”
……
《法治日报》记者近日调查发现,不少未成年人的家长正在被AI剧情聊天软件所困扰。这些打着“角色扮演”等旗号的AI剧情聊天应用,在吸引未成年人的同时,也悄然滋生了一些灰色地带。记者实测发现,在部分AI剧情聊天软件的对话中,出现了色情擦边、语言暴力以及侮辱用户的内容。
受访专家认为,针对AI剧情聊天软件,特别是其青少年模式,应强化内容审核机制以确保技术能有效筛选并阻止不当对话。平台需要对AI模型进行伦理审查,以保障其生成的内容符合相关法律法规的要求。
聊天软件内容擦边,青少年模式成摆设
北京市民马先生的儿子今年10岁,非常热衷AI剧情聊天软件。“我问怎么聊?和谁聊?孩子就回一句‘说了你也不懂’。”
马先生点开这款AI聊天App,发现孩子在与软件里的人物聊天。这些人物拥有不同设定和性格,有知名游戏动漫角色,也有“大小姐”“名侦探”等不同身份的原创角色。
一些角色人物会主动提出“你要跟我约会吗”;有些则设定目标“把她追到手”,再配上或娇媚或英俊的动漫画风。
另一些AI人设,则展现出非同一般的攻击性。会主动发送诸如“有本事打我啊”“看你又胖又丑的样子”等信息;有些人物的名字干脆就叫“对骂训练器”,甚者发送“我是机器人怎么了?我照样骂你”……