返回首页 >

AI剧情聊天软件乱象:角色扮演背后的擦边色情和语言暴力

2024-11-23 19:30   法治日报

  “为防止涉及暴力、侮辱性内容的输出,可采取不同的技术手段,如在训练阶段进行调整,使模型自身具备识别能力;同时,在输出端,服务商应进行筛选和再次审查,实现前端和后端的双重保障。”刘晓春说,无论是网络小说还是其他内容,由于AI剧情聊天软件数据来源广泛,需要通过技术手段来防止输出不当内容。目前,技术上已经可以借助筛选机制,以减少或消除涉黄、暴力或侮辱性内容输出,但可能存在一些未充分调试或测试的现象,甚至存在未备案的黑灰领域的软件,对此,应强化监管,鼓励公众举报,由相关机关予以查处。

  张延来还提到,当前,AI角色回答内容的数据源分类方面,在法律层面尚不明确,特别是在针对未成年人的内容方面,鉴于该问题的复杂性与多维性,法律条文往往提供原则性的指导方针,后续可通过制定相关标准来细化实施。

  在具体操作层面,张延来建议优化大语言模型的筛选机制,可以聚焦优化内容围栏系统,从两方面着手:在内容围栏开发层面,内容围栏需要进行定向开发,特别是在利用小说类语料进行训练时,考虑如何优化内容,以便更有效地识别和拦截潜在的涉黄涉暴等不良内容;无论如何优化,技术本身仍有局限性,会存在漏网之鱼,需要有专门团队进行监管,及时调整模型或内容围栏算法。

  “提升围栏系统的效能,既要在事前的开发层面上下功夫,又要在事后的审查角度上不断完善,两者相辅相成,或许能取得更为显著的效果。”张延来说。

  (法治日报)

责编:马婉莹

猜你喜欢

热点新闻

{$loop_num=0}