然而，技术的普及势必会带来AI的滥用：从人脸和声音被合成冒用，到各类低俗猎奇视频的传播，再到漫天谣言的背后，AI都成了核心“推手”。每隔一段时间，新的问题就会涌现。所以，在技术开始狂奔的局面下，我们需要关注监管，能不能够跟得上呢？

　　精致的五官、灵动的眼神、流畅的动作，如果没有相关标注，你是否能分辨出，这是一个完全由AI生成的数字人？在短视频平台，类似的视频比比皆是，还有不少视频，直接提供免费的AI软件以及使用教程。

　　一部手机、两三个 AI 软件，几分钟就能制作一段时长五秒左右的美女跳舞视频。AI生成合成技术的飞速发展，正在累积着治理风险。去年，抖音安全中心曾发布公告，表示已发现多种不当使用AI技术生成虚拟人物的行为，其中就包括利用AI生成俊男美女虚假形象，骗取互动，将用户导流至私人聊天工具，甚至进行诈骗。根据抖音平台本周五提供的数据，他们最近一周处置的AI虚假违规内容量，相比2025年第一周，增长了62%。

　　事实上，从2023年开始，抖音等多家平台陆续要求，发布人工智能生成内容时，需添加“内容由AI生成”的标识，并且也会进行监测和处置。但是，执行效果并不尽如人意。并且有自媒体博主表示，一些平台的监测手段可以破解，比如一些AI工具配置有镜像文件，其一键生成的虚拟人像，就能规避平台的监测。