记者体验了一次AI“深度伪制”，手艺人员通过记者的证件照片和的声音样本，不到两分钟就生成了一段记者的换脸和声音合成视频。购物平台上也有商家供给雷同办事，价钱从20元到50元不等。只需供给一分钟的语音素材，就能定制出任何想要的声音。

　　AI换脸和语音合成手艺还被用于诈骗。警方破获的一路案件中，福建某科技公司老板郭先生正在视频通话中看到“老友”的面庞，正在10分钟内上当转账430万元，过后发觉对方竟是AI换脸取拟声手艺合成的“数字替身”。正在上海，刘先生因收集结交上当取20万元，查询拜访发觉该团伙利用AI生成虚假照片实施婚恋诈骗，涉案金额跨越200万元。

　　针对AI手艺伪制名人抽象开展带货营销的问题，网信部分持续督促各网坐平台进行放哨措置。近一个月内，沉点网坐平台累计措置了797个违法违规账号和店肆。

　　除了雷军，AI手艺也被用来伪制其他名人的抽象进行虚假宣传，张文弘大夫和工程院院士张伯礼以至被用于带货曲播。中国大学副传授朱巍指出，按照平易近的，未经答应利用他人的人脸消息和声音消息进行深度合成是违法的，这些都属于小我的人格。

　　针对AI深度合成做品，法令律例有明白。2023年施行的《互联网消息办事深度合成办理》要求，不得操纵深度合成办事制做、复制、发布、法令的消息。即将于9月1日实施的《人工智能生成合成内容标识法子》也提出，对AI生成合成内容要进行标识，防止性消息。

　　换脸拟声合成视频的现象激发了普遍关心。全国代表雷军提到，网上呈现了大量利用他的声音和人脸制做的内容，开初他感觉这是网平易近的文娱行为，但当内容变得且数量复杂时，环境变得难以节制。