2023年12月6日，美国佛罗里达州迈阿密派恩克雷斯特湾学院（Pinecrest Cove Academy）的两名学生被停学。几天后的12月22日，他们被迈阿密戴德警察局逮捕。并被指控犯有三级重罪，罪名是涉嫌制作同学的“深度伪造”裸照。 

根据警方披露的信息显示，这两名年龄分别为13岁和14岁的中学生男孩，被指控使用一个未命名的“人工智能应用程序”来生成“12至13岁”其他学生的露骨图像。

根据 2022 年美国佛罗里达州的一项法律，他们被指控犯有三级重罪，该法律将未经受害者同意传播“深度伪造”的色情图像定为犯罪。

媒体称，这起事件可能是美国首例与人工智能生成的裸体图像有关的刑事指控。

顶象防御云业务安全情报中心发布的《“AI换脸”威胁研究与安全策略》 情报专刊（点此下载 ）中特别提到，通过对“深度伪造”创建或传播深度伪造的个人施加法律后果，可以阻止有害内容的扩散，并让肇事者对其行为负责。对“深度伪造”欺诈定性刑事犯罪可以起到威慑作用，防止将这项技术滥用于欺诈或其他恶意目的，是减轻“深度伪造”技术有害影响的一种有效方法，必须对那些故意制造或促进有害深度伪造传播的人处以刑事处罚。

欧盟《人工智能法案》对“深度伪造”提出要求

AI治理攸关全人类命运，是世界各国面临的共同课题。全球多个国家和组织纷纷出台倡议或规范，一致要求加强AI的安全监管。所以，各国需要应对这一紧迫挑战需要实施强有力的法律措施。

当地时间3月13日，欧洲议会正式投票通过并批准《人工智能法案》（Artificial Intelligence Act，简称AIA），以严格规范人工智能的使用。预计将于2025年初生效并于2026年实施，其中一些条款将更早生效。《人工智能法案》草案最早由欧盟委员会在2021年4月提出。该法案将规范将涵盖高影响力、通用人工智能模型和高风险人工智能系统，它们必须遵守特定的透明度义务和欧盟版权法。

针对高风险 AI 系统，《人工智能法案》制定了一系列安全条款和要求，主要包括四方面。

数据治理方面。确保数据收集、处理和使用的合法性、公平性和安全性。数据主体享有数据访问、更正、删除和限制处理等权利。

风险评估方面。开发人员必须进行风险评估，以识别和减轻 AI 系统可能带来的风险。风险评估必须涵盖 AI 系统的准确性、可靠性、安全性、公平性和隐私保护等方面。

透明度方面。要求提供有关 AI 系统功能、性能和风险的信息，以便用户能够做出明智的选择。信息必须以清晰、易懂的方式提供给用户。

人机交互方面。设计为人机交互，确保用户能够理解和控制 AI 系统的行为。用户必须能够随时终止 AI 系统的操作。

《人工智能法案》还要求，AI提供商必须建立有效的监督和问责机制，确保 AI 系统的安全和可靠运行。开发人员和使用者必须对 AI 系统造成的损害承担责任。对违反规定的行为进行处罚，最高可达违法行为全球营业额的6%或3000万欧元，以较高者为准。

各国加强“深度伪造”的安全监管

“深度伪造”涉及多种技术和算法，这些技术和算法相互配合，可以生成非常逼真的图像或视频。将“深度伪造”的虚假内容与真实信息的元素拼凑在一起，就可以用于可以伪造身份、传播错误信息、制作虚假数字内容，进行各类欺诈。这是数字时代的一种威胁形式，在这个欺诈体系中，攻击者看不见且难以捉摸，他们不仅制作信息，还操纵每个参与者感知的现实结构。因此，用法律规范约束“深度伪造”滥用是各国的统一行动。 

早在2022年11月，国家网信办、工信部与公安部联合发布《互联网信息服务深度合成管理规定》，针对深度合成欺诈制定了一系列的规定和要求。对于深度合成信息的标识，规定要求提供智能对话、合成人声、人脸生成、人脸替换、人脸操控、虚拟人物、虚拟场景等服务的，应当进行显著标识，避免公众混淆或者误认。同时，深度合成信息内容应当真实准确，不得利用深度合成制作虚假新闻信息、歪曲事实真相，误导公众认知，或者损害他人合法权益。

2024年3月1日，全国网络安全标准化技术委员会发布《生成式人工智能服务安全基本要求》，对生成式人工智能服务在安全方面的基本要求，包括语料安全、模型安全、安全措施等予以明确。其中，语料内容安全方面，服务提供者需要关注语料内容过滤、知识产权、个人信息三个方面。个人信息方面，强调使用包含敏感个人信息的语料前，应取得对应个人单独同意或者符合法律、行政法规规定的其他情形。

2024 年 2 月 8 日，美国联邦通信委员会宣布机器人通话中 AI 生成的声音为非法，美国各州的立法者已经出台了立法，以打击AI生成的虚假和错误信息。

技术上防范“深度伪造”欺诈

要打击“深度伪造”欺诈，除了法律法规的监管，还需要技术的识别与防御：一方面识别检测伪造的视频、图片和信息（有效甄别出虚假伪造的内容） ；另一方面需要对实行“深度伪造”欺诈的渠道和平台网络进行识别与检测（多方面提升数字账号的安全性）。

1、增强人脸信息安全

《欧盟人工智能法案》要求生AI工具的提供者有义务以允许检测合成/虚假内容的方式设计这些工具、增加数字水印、及时限制用于验证个人身份的数字身份证等。AI 水印的工作原理是将独特的信号嵌入到人工智能模型的输出中，此信号可以是图像或文本，旨在将内容标识为 AI 生成的内容，以帮助他人识别有效识别。

此外，数字签名和区块链账本具有唯一性，可以对行为来源跟踪，并对其进行标记以供审查。它们的不变性意味着它们可用于通过使用哈希函数来检测对原始文件的任何篡改，从而保证数字内容的真实性。时间戳和可追溯性等关键功能可用于确定内容创建的来源和时间。当然，这些数据在称为可信执行环境 （TEE） 的安全环境中进行操作。

2、识别伪造的虚假信息

基于深度学习的生成对抗网络（GAN）能够训练一种称之为“鉴别器”神经网络模型。通过训练，“鉴别器”可以更准确地识别虚假图像的目标是区分真实与虚假的图像视频，识别真实版本和创建版本之间的任何差异。

此外大数据模型可以快速分析大量音频数据，识别“深度伪造”的音频内容。例如，西班牙媒体巨头Prisa Media推出一款名为VerificAudio的工具，能够识别西班牙语的真实声音和伪造声音，用于发现“深度伪造”制作的音频。该工具目前可供Prisa在墨西哥、智利、哥伦比亚和西班牙的新闻编辑室使用，并正在努力将其推广到世界各地的所有记者。

3、保障人脸应用安全

基于AI技术与人工审核人脸反欺诈系统，可以防范“深度伪造”的虚假视频和虚假图片的利用。顶象全链路全景式人脸安全威胁感知方案，能够有效检测识别“深度伪造”的虚假视频和虚假图片。它针对人脸识别场景及关键操作的实时风险监测（如摄像头遭劫持、设备伪造、屏幕共享等），然后通过人脸环境监测、活体识别、图像鉴伪、智能核实等多维度信息进行核验，发现伪造视频或异常人脸信息后，可自动阻断异常或欺诈操作。

对设备信息、地理位置以及行为操作进行比对识别，能够发现并防范“深度伪造”欺诈的异常操作。顶象设备指纹通过对设备指纹的记录和比对，可以辨别合法用户和潜在的欺诈行为。其对每个设备进行唯一标识和识别的技术，识别出虚拟机、代理服务器、模拟器等被恶意操控的设备，分析设备是否存在多账号登录、是否频繁更换IP地址、频繁更换设备属性等出现异常或不符合用户习惯的行为，帮助追踪和识别欺诈者的活动。

4、保障内容传播渠道安全

社交媒体平台通常将自己定位为仅仅是内容的渠道，澳大利亚竞争和消费者委员会 （ACCC） 正在将 Facebook告上法庭。ACCC 还认为，Facebook应该作为骗局的从犯承担责任——因为在收到问题通知后未能及时删除误导性广告。至少，平台应该负责及时删除用于欺诈目的的深度伪造内容。很多平台已经声称正在这样做，例如，在 Facebook 上，任何 AI 生成的内容都可能显示一个图标，清楚地表明内容是用人工智能生成的。

社交媒体公司在限制虚假内容的传播方面影响力最大，能够检测并将其从其平台上删除。然而，包括 Facebook、YouTube 和 TikTok 在内的主要平台的政策规定，他们只会在“严重伤害”人们的情况下才删除欺诈内容。