10分钟被骗430万 AI诈骗套路大揭秘
就在上个月，企业老板郭先生突然接到了好友的微信视频，称自己急需430万走账，看着视频里的好友一脸焦虑，郭先生没多想就把钱转了过去，整个过程不到10分钟，事后郭先生才发现自己被骗子用AI换脸技术给骗了。
今年2月以来，AI相关的技术日新月异，带来的副作用也日益显现。深度伪造（deepfake）这一AI技术，能让视频中的人物变脸、变声，有人用它诈骗，有人将自家主播的脸换成明星的脸带货捞钱，还有人用它AI换脸“造黄谣”。
或许很多人没有意识到问题的严重性，认为技术还没有成熟到可以诈骗的地步，存有“侥幸”心理。5月31日，深燃直播间邀请到了瑞莱智慧联合创始人、算法科学家萧子豪，李旭反传防骗团队负责人李旭，就“怎样识别AI诈骗”这一主题展开对话。
两位嘉宾一位懂技术，一位懂反传，两种完全不同的视角，却有共同的“反诈科普”目标，对于AI诈骗主要有哪些手段、哪些人更容易被AI诈骗盯上、普通人应该如何预防AI诈骗等与生活息息相关的话题，都给出了非常实用的建议。
任何一项技术都是一把双刃剑，既能推动社会进步，又能挖掘人性中隐藏的恶，任何技术都应该要在可控、可监督的范围内发展。如今，AI大潮已经将我们裹挟其中，要想更好的应对，首先应该了解和学习它，继而依靠全社会的力量与它的暗面进行抗衡。
以下是直播实录，由深燃编辑整理：
01.AI诈骗，为什么屡禁不绝？
深燃：利用AI技术进行诈骗是今年才有的套路吗？
李旭：早在2019年，打着AI算命、AI看相旗号的微信公众号、小程序或APP就火爆一时，实质上是通过诱导分享发展用户来吸金。
这两年，我们看到一些微商团队发布明星的祝福/宣传视频来发展下线，其中不少视频并非明星真实录制，而是运用了AI换脸、AI语音合成等技术制作而成，不少人信以为真而选择加入，结果陷入骗局。还有一些人利用AI生成图片/视频进行裸聊诈骗，要求受害者下载APP进而将其手机通讯录拷贝过来，后续以此为要挟进行敲诈，很多人中招。
深燃：AI诈骗有哪些常用手段？
李旭：第一种是AI声音合成，骗子给受害人打骚扰电话，提取受害人的声音，后期对声音素材进行合成，用于诈骗。比如某公司财务的小王曾接到领导电话，要求其立即给供应商转账2万元，理由是避免缴纳滞纳金，由于领导的声音十分逼真，小王在一个小时内就转款完成，后来才发现被骗。
第二种是AI换脸，骗子首先会根据受害人发布在社交平台上的照片或视频信息生成假脸，然后在视频通话中利用AI换脸骗取受害人信任，被骗430万的郭先生就是这样上当的。
第三种是AI筛选受害人，骗子根据所要实施的骗术，通过AI技术筛选目标人群，在短时间内生产出定制化的诈骗脚本，实施精准诈骗。比如情感诈骗的骗子会筛选经常发布感情类信息的人群，金融诈骗的骗子会筛选经常搜索投资理财信息的人群。
李旭反传防骗团队负责人李旭
深燃：2018年，一段奥巴马骂特朗普的视频在全美疯传，后来被证明这个奥巴马是用深度伪造技术制作出来的，5年后，用于AI诈骗的技术是否已经升级？
萧子豪：AI诈骗背后的技术5年来不断迭代，相比2018年有了非常明显的提升。
一个对比的维度是逼真度更高，现在的AI诈骗不仅能够生成比较逼真的人像，甚至可以生成比较真实的场景，比如前段时间网上疯传的特朗普被捕的画面，其实都是用AI生成的，因为太过逼真，大众肉眼无法识别，会产生误导。
另外一个对比的维度是成本更低。早年间，不法分子想获得受害人的声纹信息来伪造音频，需要好几分钟的声纹素材，需要通过灰产获取信息，但是最新的技术只需要几秒钟的声纹素材就可以合成，骗子团伙就可以通过打骚扰电话的方式，即使说两句就挂断也能成功窃取相关信息。
深燃：AI换脸、AI变声技术需要素材做训练，那这些素材是哪来的？
萧子豪：这些素材通常有好几种获取渠道，一种是受害者自己主动公开的，比如在朋友圈或其他社交媒体上发布照片、视频等信息。另外骗子会主动去搜集相关信息，比如打骚扰电话、获取证件信息 （学生证、身份证、驾照） 等。
深燃：AI诈骗的成本高吗，是不是比大众想象的要低？
萧子豪：成本分为三大类，第一类成本是获取隐私数据的成本，第二类成本是AI建模并训练，生成假的语音、假的脸及假的视频的成本，第三类成本是与受害人取得联系的成本，包括窃取熟人的微信、电话号码等。其中第三种方式相对比较传统，AI技术的发展则是降低了前两者的成本。
生成假视频方面，目前有很多开源算法，尤其是骗子打视频电话的时候不需要太清晰的像素和太明亮的光线，“几张图片素材+开源的AI算法”就已经能做出一个“能看”的AI诈骗的视频，门槛相对较低。
02.AI诈骗成功率极高，普通人该如何“反杀”？
深燃：之前有报道称，AI诈骗的成功率几乎是100%，为什么这么高？
李旭：首先，骗子本来就很会拿捏受害者的心理，主要分几类：一个是虚荣心比较强，比如爱在朋友圈或短视频平台晒生活日常，甚至炫富，这就给一些骗子搜集个人信息和精准诈骗带来可乘之机；一个是很多人对熟人比较信赖，加上爱面子、不好意思拒绝，更不好意思去多方核实，落入骗子的陷阱；还有一些人爱贪便宜、爱猎奇猎艳，容易陷入裸聊杀猪盘等诈骗圈套中。
其次，这类骗局善于利用受害者的熟人关系，不法分子会提前研究受害者的人脉关系和好友信息，尤其爱利用领导、亲戚及其他不好拒绝的关系，制定专门的骗局剧本后，再通过AI技术的手段骗取受害者的信任，让人放下最后一道防线，乖乖的把钱转过去，真的是防不胜防。
深燃：哪些人更容易成为AI诈骗的受害者，这些受害者有什么样的共性和特点？
李旭：永远不要觉得自己不会被骗，只是适合你的剧本还没有出现。
当一个人独自面对诈骗团伙的精密布局和技术攻击时，一切聪明才智都显得非常无力，中老年人更容易成为被骗对象。一方面他们对互联网诈骗手段并不熟悉，有认知盲区，另一方面骗子喜欢利用他们对子女的担忧制造一些假象，比如要生活费、要医疗费等，诈骗的成功率相当高。
还有一些平时不注意培养防骗意识的人，也容易上当受骗。我们团队发现，只有已经被骗过的人，才会关心防骗的知识。当你还没有被骗的时候，就会以为这些东西离自己很遥远，殊不知，下一个骗局可能就会盯上你。
深燃：之前有民警教过两个识别AI换脸的技巧，可以要求对方将一根手指或其他物品放在脸前来回移动，或要求对方将脸转左或转右，观察其侧脸是否有扭曲变形的现象。普通人还能如何用肉眼识别AI诈骗呢？
萧子豪：就目前的AI伪造水平来讲，他们仍然没办法在有遮挡及人脸偏转的情况下，生成无瑕疵的视频效果。我觉得让对方张嘴也是一个比较有效的方式，比如看对方的牙齿结构是否清晰、舌头形状是否完整，很多不法分子可能只考虑对正脸做个建模，但没有建模嘴巴、牙齿跟舌头。但还是需要自己有反诈骗意识，才会要求对方去做这些动作。
瑞莱智慧联合创始人、算法科学家萧子豪
李旭：诈骗一般都有剧本，我们就要“反剧本”而行，问对方一些私密性的问题，跳出骗子的剧本。另外，现在AI制作的视频还存在不完善的地方，比如瞳孔呆滞无神，手背、手指跟身体的比例不协调等，可以检查图像的质量是否存在模糊失真或噪点高等现象。
深燃：在AI诈骗面前，普通人需要做好哪些防备？
李旭：涉及钱款时，可以通过电话加视频等多种方式去确认对方是否为本人，在汇款前一定要确认对方提供的账户在本人名下，如果要求把钱转到陌生账户，就要小心，而且要避免通过微信等社交软件转账。我们还要保护好个人信息，不要轻易的去接陌生人的电话、点击短信链接、下载来历不明的APP，此外还要拒绝诱惑，警惕陌生人的“无事献殷勤”。
萧子豪：我们需要谨慎使用所有会让你自拍、录音的软件，也需要谨慎使用所有能访问你的摄像头、麦克风，甚至是相册的软件。
深燃：子女应该如何给爸妈有效打预防针？
李旭：第一，我们要提醒家中的老人，在涉及转账汇款时要做好多重验证，不要轻信对方所说的紧急情况或优惠条件，做到不听不信不汇款，三思而后行。第二，多给老年人普及反诈知识，加强对诈骗伎俩的识别能力。第三，我们可以帮助他们下载国家反诈中心APP，对于一些玩不转智能机的老人，建议他们不要在微信支付宝内绑定银行卡，只存少量的零钱，尽量不要开通网上支付业务。
萧子豪：下载国家反诈中心APP是挺管用的，相当于国家帮忙减少诈骗风险，可能会比儿女的劝说更有用。在这个基础上，子女一定要多陪伴、多关注老年人的身心健康，多跟父母保持沟通，让他们在有需要的时候愿意来找你。他们也有自己获取信息的圈子，在沟通的过程中，可以多给他们转发他们信任的媒体发布的反诈信息，会让他们更快的消化这些信息。
03.AI是把双刃剑，要与AI正确相处
深燃：除了诈骗以外，AI技术还被用来干哪些违法勾当？
李旭：此前有骗子将自己的脸AI换成某明星，开直播引导粉丝刷礼物，或者将自家主播AI换脸成杨幂、迪丽热巴进行带货，这样做会有侵犯肖像权的风险。
不过，这种案件的维权一般都比较困难。因为使用AI换脸技术进行直播的人并不会直接提到相关明星艺人的名字，后续可能就采取关闭直播、删除链接等措施，导致无法固定证据，网络信息的匿名化发布也难以锁定发布源头。
还有一种情况是，有人利用AI换脸“造他人黄谣”，遇到这种情况，我们要保持冷静，尽可能搜集相关证据，尽快向公安机关报案。
深燃：骗子的技术越来越高明，但魔高一尺道高一丈，现在哪些技术可以用来反诈？
萧子豪：有几种大家公认比较有效的技术，可以减少诈骗带来的风险，虽然它不一定100%能够消除每个个体被诈骗的概率。
其中第一种是利用detection技术去检测这些图像视频究竟是真实拍摄还是AI生成。第二种手段是加水印，每个软件在生成虚假AI图片/视频的时候，都会被打上和这个软件直接挂钩的水印，这能够帮助我们后续去追溯AI诈骗视频生成的源头，当公安去取证时，只要他拿到这个视频，就可以从中提取出水印，并获得犯罪团伙相关的信息，间接减少大家被骗的风险。
深燃：科学家们在研究AI技术时会预设它被滥用的场景，并开发反滥用的功能吗？
萧子豪：在整个AI技术往前推进浪潮里面有两大角色，一种是研究者的角色，另外是应用者的角色。一般来说，前者的技术有突破之后，后面偏应用的角色才会跟上。非常典型的例子就是OpenAI先做出ChatGPT，ChatGPT接着被应用到各行各业。
OpenAI的CEO也坦言，现在ChatGPT带来的影响已经远远超出他的想象。这不难理解，研究者不一定有足够的精力和时间去将所有可能出现的负面影响都思考清楚，很多事情都可能在大家做好准备之前就已经开始发酵。要预防技术的滥用，需要国家的监管部门、社会各界力量一起努力，通过向善的价值观进行技术防御，这会是一个治理跟发展同时前进的状态。
来源 / 视觉中国
深燃：政策层面，是否已经开始对滥用AI的行为进行立法了？
李旭：为了规范人工智能的发展，2022年11月25日，国家互联网信息办公室、工业和信息化部、公安部联合发布《互联网信息服务深度合成管理规定》，自2023年1月10日起施行。规定要求提供智能对话、合成人声、人脸生成、沉浸式拟真场景等生成或者显著改变信息内容功能的服务的，应当进行显著标识，避免公众混淆或者误认。要求任何组织和个人不得采用技术手段删除、篡改、隐匿相关标识。
今年4月11日，国家网信办起草了《生成式人工智能服务管理办法》（征求意见稿），提出AI内容必须真实准确，其中也明确提到，禁止非法获取、披露、利用个人信息和隐私、商业秘密。所以说，国家的立法应该会越来越完善，一些短视频和直播平台也应负起社会责任。
深燃：这些AI拟声工具、AI视频工具、AI换脸工具，有没有哪些正向的落地场景？
萧子豪：有不少落地场景。一种是短视频平台上的人脸特效，用到换脸或减龄之类的算法，增加用户的使用体验；一种是语音助手、地图导航；一种是对影视剧中不方便出现的演员人脸进行替换，降低前期投资带来的损失。当然也有人自愿给自己生成虚拟形象，比如一些讲师或者客服，降低录制视频的成本，提高跟客户交互的效率。
深燃：AI技术的进步，对反诈行业会带来哪些影响？
李旭：AI技术在反诈领域的运用日益深入，我们在制作反诈短视频时，就可以启动虚拟主播，或通过AI语音生成器对文字和语音进行互转，减少工作量，现在也有很多反诈平台尝试利用技术手段识别AI生成的图片和视频，更高效的识破骗局。
04.网友互动
问：声音诈骗怎么识别？
萧子豪：你可以让对方一边说话一边打响指，或者一边说话一边拍手掌，这些AI模型可能之前没考虑过这种情况，就会出现一定的瑕疵。这个方法跟前面提到的用手指遮挡脸部的原理很接近。
问：为了跳出骗子们的剧本，具体可以问骗子什么问题？能不能举几个例子？
李旭：多问一些最近你们线下见面发生过的事情，比如可以问“我们上一次见面是什么时候”，你在社交网络上没有提供过这些信息的话，对方就不知道该如何接招了。另外，还可以编造谎言或用假信息询问对方，看对方如何应对，或许能让对方无法招架。
问：在文字、语音、图像、视频接连失信的今天，AI技术如果继续不受控制地发展下去，会不会导致现有社会关系中的信任崩塌？
萧子豪：大众共识是“眼见为实，耳听为虚”，而恰好这种AI伪造技术颠覆了这一常规认知，也在不断挑战我们的社会秩序。但至于说会不会信任崩塌，我还没有那么悲观，我相信后面能够找到一个途径去让整个社会秩序在一个新的治理体系下运作，让AI技术在提升生产力的同时将风险控制在安全范围内，这可能需要大家一起努力。