随着人工智能技术的迅猛发展，AI生成内容已越来越多出现在互联网上，然而对AI技术的不当使用也频频引起社会关注。近日，抖音安全中心发布不当利用AI生成虚拟人物的治理公告，指出将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容，针对不当使用AI生成虚拟人物用于犯罪的线索，将报警打击。

再次规范AI技术使用

3月27日，抖音安全中心公众号发布了《抖音关于不当利用AI生成虚拟人物的治理公告》。公告再次重申，创作者、主播、用户、商家、广告主等在抖音应用生成式人工智能技术时，须遵循相应规范。

根据公告内容，此次抖音将重点治理利用AI生成假外国人、假精英及利用AI生成形象骗互动等三类内容，包括生成境外虚假人设，消费爱国心理、博取关注；生成俊男美女虚假形象，骗取互动，交友导流；生成精英人士虚假人设，发布心灵鸡汤、财商、伪国学、厚黑学、伪成功学等不良内容，低质吸粉，甚至引流到站外以卖课、入群等方式获利。

同时公告还明确指出，发布者应对人工智能生成内容进行显著标识，虚拟人需在平台进行注册，虚拟人技术使用者需实名认证等。

北京商报记者实操发现，作为创作者，用户可以在“设置”页面对虚拟人身份自行进行申报和备案。抖音官方目前在部分AIGC视频左下角添加“内容疑似AI生成，请谨慎甄别”文字来提示相关风险，然而在虚拟人领域，除了创作者自行在视频文案中添加“虚拟偶像/虚拟人”等标签之外，记者并未在观众侧看到其他虚拟人身份的官方标识。

去年5月，抖音就曾发布《关于人工智能生成内容的平台规范暨行业倡议》，但公告也指出，“近期站内仍有不当使用AI技术生成虚拟人物发布内容的账号，平台进行了严厉处置”。

AI欺诈案增长率爆表

利用AI技术的欺诈也层出不穷。《2024人工智能安全报告》显示，2023年基于AI的深度伪造欺诈案件呈现出惊人的增长趋势，增长率高达3000%。

今年春节期间，乌克兰网红Olga Loiek曾发布过一条题为《我在中国被人克隆了》的视频，宣称自己的脸和声音在中文网络上被盗用，通过AI技术出现在数十个视频账号中，并进行带货。

截至北京商报记者发稿，抖音平台上仍存在以Olga Loiek的AI形象示人的带货账号，名为“Katarina卡塔琳娜”，简介是一位“在中国生活了五年的俄罗斯女孩”。

虽然该账号在1月28日后未发布新内容，但橱窗信息显示跟买人数已经超过2.5万，售出商品件数超2万，账号和视频界面未显示任何AI风险提示，橱窗内产品还可以正常购买。

此外，还有不少自称来自俄罗斯的美女“网红”活跃于短视频平台，用生硬的表情表达着对中国的喜爱，并且表达“想嫁到中国”的愿望。北京商报记者发现，这类视频的目的是通过视频带货推销各类俄罗斯特色商品，受众则是二、三线城市的中年男性。

AI带货“主播”风波还未完全平息，AI“复活”又登上风口浪尖。近日，多位已逝明星的AI视频频繁出现在短视频平台上，引发广泛争议。

北京商报记者观察到，“AI复活”服务在淘宝上的定价在10—300元不等。让去世的明星在视频中和粉丝说话，或是让过世的亲属和家人对话，俨然已经变成了一门生意。

值得注意的是，除了封号等常规处罚手段，针对诈骗行为，抖音本次在公告中特别提到了“平台已掌握部分黑产团伙不当使用AI生成虚拟人物用于犯罪的线索，将报警打击”。这种严厉的措辞在抖音过往的公告中并不常见，显示抖音此次治理的力度或将相当大。

在接受北京商报记者采访时，一位从事短视频平台AIGC技术研发的工作人员提到，目前该公告更像是一个“君子协议”，因为利用模型和技术对这些违规行为进行高准确度识别仍有挑战，因此平台主要还是会通过事后惩罚的方式来限制，当然，监控技术也会越来越成熟，“这是个此消彼长的过程”。

北京商报记者 杨月涵 实习生 李苗