用AI伪造“张文宏”卖保健品,1200多人被骗
近日,有网友发现账号名为“般画XXX”发布的一段视频中,知名医生“张文宏”正在售卖一种蛋白棒。然而,媒体调查发现,该视频中口型和声音像是张文宏,售卖行为却非本人。经过核实,该视频并非张文宏医生本人拍摄,而是利用AI技术合成的虚拟人。网友发布的截图显示,该蛋白棒产品已售出了1266份。事后,张文宏告诉媒体,这样的卖货账号不止一个,而且一直在变,他已多次向平台投诉。
张文宏表示,自己也曾考虑过报警,但对方看不见摸不到,就像幽灵一般难以描述,只能寄希望于相关部门加强监管。“报警总要有个对象对吧,现在报警报谁呢?他一天换一个账号,而且全是虚拟的,我向谁报警?所以我认为,他侵犯的是消费者的利益,我觉得相关部门应该处理。”
日,微信平台发布消息称:“近期有媒体报道,网络存在利用AI技术仿冒名人进行不当营销的现象。我们从速从严打击了一批利用AI仿冒知名人士进行不当营销、恶意博取流量的违规行为,并针对相关情况开展专项治理。截至目前,累计处置内容532条,关闭账号209个。下一步,我们将持续对“利用AI仿冒知名人士进行营销宣传”等违规行为增 加打击力度。”
骗子如何伪造张文宏医生形象的视频?
AI的“换脸”能生成极具欺骗性的伪造图像或视频,基于AI的“拟声”能生成和模仿目标高度相似的语音内容,AIGC音视频欺诈已经成为生产生活必须面对的重要风险之一,给公众带来威胁。借助A“换脸”“拟声”,黑灰产就可以进行冒充名人、冒充亲人、冒充明星、冒充公司高管、冒充权威部门人员等进行新型电信电话诈骗,给公众带来重大财产损失。
交通银行联合顶象发布的《金融AIGC音视频反欺诈白皮书》 ,详细介绍了“换脸”“拟声”欺诈的攻击流程 。
AIGC“换脸”攻击。AIGC“换脸”攻击。首先,黑灰产可通过购买身份信息等方式获取受害人的高清身份证人脸图像;其次,利用PS工具将人脸图片设置为带背景的图片;然后,利用AIGC工具对受害者的照片进行活化处理,生成“眨眼”“摇头”的伪造视频;最后,将伪造视频注入APP中对身份认证系统实施攻击。
AIGC“拟声”攻击。首先,黑灰产可通过电话诈骗录音等方式获取受害人的语音素材;其次,利用AIGC工具生成攻击目标的伪造音频;最后,利用呈现攻击或者注入式攻击方式对身份认证系统实施攻击。
虚假名人广告诈骗流程
骗子利用AI技术制造虚假名人广告的诈骗流程从数据收集、音视频合成到广告传播,再到诱导受害者转账,流程环环相扣,依靠名人的公众信任度和技术手段增强骗局的可信度。
第一步,收集信息。诈骗分子首先会收集目标名人的大量公开数据。这些数据可能包括名人的照片、视频、公开演讲、访谈视频、社交媒体帖子等。这些公开信息为AI系统生成虚假音视频提供了素材。
第二步,伪造名人音视频。在掌握了足够的素材后,骗子使用AI技术来合成音频和视频。通过IA技术,骗子可以精准复制名人的语音特征和面部表情,生成虚假广告视频。这些合成视频与真实视频非常相似,难以通过肉眼或耳朵辨别。
第三步,虚假广告散播。骗子生成的虚假视频随后会通过各种互联网平台进行传播,如短视频平台、社交媒体、微信群等。这些平台通常是老年人容易接触到的地方,骗子通过精准营销手段将这些虚假广告推送给特定的目标人群。由于视频中名人的形象和声音几乎与真人无异,受害者极易相信该内容的真实性。
第四步,营造信任感、权威感。为了提高诈骗的成功率,骗子通常会在虚假广告中设计一些让受害者感到紧迫的场景或信任的语言。
第五步,诱导购买。当受害者信以为真,骗子会通过视频中的“购买链接”或“客服热线”引导受害者进行购买或转账操作。这些产品要么不存在,要么是劣质或毫无价值的商品,导致受害者损失金钱。
普通人辨别虚假的名人广告
骗子利用AI技术制造虚假名人广告的诈骗流程从数据收集、音视频合成到广告传播,再到诱导受害者转账,流程环环相扣,依靠名人的公众信任度和技术手段增强骗局的可信度。普通人如何辨别虚假的名人广告?
1、对令人震惊或好得令人难以置信的声明持怀疑态度,尤其是涉及名人时。不要忘记常识和逻辑。
2、仔细查看内容中是否有不自然的特征 ,例如奇怪的闪烁模式、不匹配的音频或扭曲的身体部位可能是深度伪造的迹象。
3、应该通过与可靠的新闻媒体和网站进行交叉检查来验证声明。不要在没有先进行事实核查的情况下相信内容。
4、决策或购买前,要咨询下朋友、家人或同事的建议,最好做下深入研究一下,不要只把发起人的话当成真理,即使是埃隆马斯克。
5、不要任意评论、分享甚至点击未经验证的社交媒体帖子,与冒充名人的账户互动会增加遭受诈骗的风险。
6、切勿将个人详细信息,提交给未经验证的个人、网站或App。
平台防控虚假的名人广告
针对社交媒体平台上虚假的名人广告和信息,顶象防御云业务安全情报中心建议,首先精准识别虚假账号,然后才能有效防范欺诈行为。
1、识别异常的设备。顶象设备指纹通过对设备指纹的记录和比对,可以辨别合法用户和潜在的欺诈行为。其对每个设备进行唯一标识和识别的技术,识别出虚拟机、代理服务器、模拟器等被恶意操控的设备,分析设备是否存在多账号登录、是否频繁更换IP地址、频繁更换设备属性等出现异常或不符合用户习惯的行为,帮助追踪和识别欺诈者的活动。
2、识别异常操作的账号。异地登录、更换设备、更换手机号、休眠账户突然活跃等等,需要加强频繁验证;此外,会话期间的持续身份验证至关重要,保持持久性检查以确保用户的身份在使用期间保持一致。顶象无感验证可以快速准确地区分操作者是人还是机器,精准识别欺诈行为,实时监控并拦截异常行为。
3、防范换脸的虚假视频。顶象全链路全景式人脸安全威胁感知方案通过设备环境、人脸信息、图像鉴伪、用户行为、交互状态等多维度信息进行智能核验,快速识别注入攻击、活体伪造、图像伪造、摄像头劫持、调试风险、内存篡改、Root/越狱、恶意Rom、模拟器等运行和系统类等30多类恶意攻击行为,及时发现伪造视频、虚假人脸图片、异常交互行为后,可自动阻断操作。同时能够灵活配置视频核验强度与友好度,实现对正常用户无感验证,对异常用户加强验证的动态机制。
4、挖掘潜在欺诈威胁。顶象Dinsight实时风控引擎帮助企业进行风险评估、反欺诈分析和实时监控,提高风控的效率和准确性。Dinsight的日常风控策略的平均处理速度在100毫秒以内,支持多方数据的配置化接入与沉淀,能够基于成熟指标、策略、模型的经验储备,以及深度学习技术,实现风控自我性能监控与自迭代的机制。与Dinsight搭配的Xintell智能模型平台,能够对已知风险进行安全策略自动优化,基于风控日志和数据挖掘潜在风险,一键配置不同场景支持风控策略。其基于关联网络和深度学习技术,将复杂的数据处理、挖掘、机器学习过程标准化,提供从数据处理、特征衍生、模型构建到最终模型上线的一站式建模服务。