2024年公安部开展的“净网2024”专项行动中，一起利用AI制作虚假淫秽图片的案件引发广泛关注。

犯罪嫌疑人刘某某通过偷拍、“朋友圈”下载等方式获取他人照片后，利用AI软件制作受害人虚假淫秽图片，并添加受害人个人信息后在网络上散布，引起大量网民围观攻击，严重影响受害人正常工作和生活。目前，犯罪嫌疑人刘某某已被依法采取刑事强制措施。

案件技术流程分析

本案件中，犯罪嫌疑人刘某某通过以下技术流程实施了犯罪活动。

1、盗取图片。犯罪嫌疑人首先通过偷拍、社交媒体如“朋友圈”下载他人照片。社交平台上的个人照片成为犯罪分子实施AI图像伪造的“素材库”。由于许多人在社交媒体上频繁分享个人生活照片，尤其是隐私防范意识不强的情况下，这为犯罪行为提供了便捷条件。

2、图像伪造。 刘某某利用现成的AI图像生成软件，将受害人的真实照片与淫秽图像进行融合，生成虚假的淫秽图片。通过AI技术对人脸进行替换、调色、特征增强等，最终生成高仿真的虚假图片。

3、网络传播与恶意利用。 制作完成后，刘某某将这些虚假图片添加了受害人的个人信息，通过社交网络进行广泛传播，导致大量网民对受害人进行攻击和抨击。这不仅对受害人的精神、声誉和生活造成极大伤害，也引发了更大规模的网络暴力事件。

防范个人图片被滥用

个人注重隐私保护。由于社交媒体已成为人们日常生活中不可或缺的一部分，避免在社交媒体上过度分享敏感信息，由此成为犯罪分子获取诈骗素材的库房。避免在社交媒体上分享个人照片、声音和视频等敏感信息，减少公开个人账户、家庭、工作等私密信息，以降低身份被伪造的风险。一旦发现AI虚假的声音或视频，应立即向社交媒体管理员和执法部门报告，采取措施删除并追踪来源。

社交平台加强内容审核。对可能涉及AI伪造的内容进行有效识别和及时处理，防止其对社会造成不良影响。例如，图像真实性检测工具能够通过分析像素级别的异常情况、图像生成中的“瑕疵”来判断图像是否经过AI生成。

同时，社交媒体平台应通过分析用户的行为模式和身份信息，建立安全预警机制，对于异常登录、高频发送信息等可疑行为进行监控和限制。例如，分析鼠标移动模式、打字风格等用户行为模式并识别异常情况，标记偏离正常使用的可疑活动。并通过额外的身份和设备验证，以及大模型可以快速筛选海量数据，并识别出通常无法被人类检测到的细微不一致之处，发现攻击者的异常操作。

顶象设备指纹能对每个设备生成统一且唯一设备指纹。并搭建基于设备、环境、行为的多维度识别策略模型，识别出虚拟机、代理服务器、模拟器等被恶意操控等风险设备，分析设备是否存在多账号登录、是否频繁更换IP地址、频是否繁更换设备属性等出现异常或不符合用户习惯的行为，追踪和识别欺诈者的活动，帮助企业实现全场景各渠道下同一ID的运营，助力跨渠道的风险识别与管控。

顶象Dinsight实时风控引擎帮助企业进行风险评估、反欺诈分析和实时监控，提高风控的效率和准确性。Dinsight的日常风控策略的平均处理速度在100毫秒以内，支持多方数据的配置化接入与沉淀，能够基于成熟指标、策略、模型的经验储备，以及深度学习技术，实现风控自我性能监控与自迭代的机制。与Dinsight搭配的Xintell智能模型平台，能够对已知风险进行安全策略自动优化，基于风控日志和数据挖掘潜在风险，一键配置不同场景支持风控策略。其基于关联网络和深度学习技术，将复杂的数据处理、挖掘、机器学习过程标准化，提供从数据处理、特征衍生、模型构建到最终模型上线的一站式建模服务。

通过以上这些技术，社交平台能够更加有效地对上传内容进行筛查和过滤，阻止虚假图片的传播。