随着人工智能的发展不断迭代，生成式AI正在以前所未有的速度重新塑造着我们的日常生活。然而，与此同时，新的欺诈手法和诡计也在不断涌现，给人们的风险防范带来了新的挑战。
在这个过程中，出现了类似于“ChatGPT在线”这样的“套壳AI”。2023年2月，上海市徐汇区市场监管部门注意到了一个名为“ChatGPT在线”的公众号。这个公众号的头像与ChatGPT原开发公司的官方标识极为相似。用户可以免费试用一段时间，但之后就需要注册会员并付费使用，每支付9.9元即可进行20次对话，随着对话次数增加，收费也相应增加。然而，调查发现，这个公众号的运营公司与实际的ChatGPT开发公司没有任何关联，“ChatGPT在线”也并非真正的“ChatGPT”产品。
类似于这种“冒牌AI”的现象并不少见。例如，2023年，在百度“文心一言”即将上市之际，网上出现了大量打着“文心一言”旗号的社交媒体账号。随后，百度官方发布声明澄清称，“文心一言”尚未注册任何社交账号。
“人工智能大模型开源生态的建立，加速了AI的发展，但也使得生成式AI更容易被滥用。”中国行政法学研究会常务理事、华东政法大学教授沈福俊指出，考虑到法律立法的滞后性，监管部门需要更加关注新技术发展对市场的影响，加强事前监管，充分利用现有的法律法规资源，以确保有效监管，防止新问题在“监管盲区”中滋生。
另一个例子是“AI换脸”诈骗。2023年4月，福建省某科技公司的法定代表人郭先生收到一个微信视频通话，对方声称急需430万元保证金用于项目竞标，并请求借用郭先生公司的账户进行转账。由于之前有过视频通话的经历，加上对“好友”的信任，郭先生相继转账给对方共计430万元。后来郭先生再次联系“好友”时才发现自己被骗。幸运的是，在警方的帮助下，他成功止付了336.84万元的资金。
据郭先生回忆，由于在视频通话中确认了对方的面孔和声音，因此毫不怀疑对方的身份。令人不安的是，犯罪分子甚至精准地了解了郭先生与好友的关系，并成功盗取了好友的微信账号实施诈骗，这件事令人震惊。
许多专家表示，随着文生视频大模型Sora等多模态人工智能的探索和出现，人们可能会陷入“眼见未必为实”的困境。沈福俊表示：“长期以来，银行等部门将实时视频用作身份验证的手段之一，但如今其可靠性面临着巨大挑战。”“随着人工智能技术的不断升级，这类违法行为还可能演变出更多形式。”
从消费者的角度来看，沈福俊建议提高全民个人信息保护意识，谨防隐私泄露。“无论是在互联网上还是社交软件上，尽量避免过度暴露个人信息，在涉及转账等行为时，可以多方面询问身份信息，并反复验证对方是否为本人。”