人工智能发展速度不断加快之际，AI安全风险再次引发关注。曾任职于Anthropic及OpenAI的27岁人工智能安全研究员Jacob Coxon近日公开警告，随着AI能力迅速提升，未来几年人类可能面对前所未有的失控风险，甚至出现足以威胁人类生存的情境。
Coxon本周一在社交平台X发文指出，未来的AI系统可能很快具备超越人类的能力，不仅能够入侵各种系统，也可能在极短时间内改变不同领域，并进一步掌握实际的权力与资源。他同时宣布离开Anthropic，并表示部分AI开发者确实认为，AI在2030年前就可能带来毁灭性后果。相关贴文随后获得超过1.1亿次浏览，引起广泛讨论。
他的说法也获得部分AI安全研究人员回应。Anthropic负责AI安全与人类适应性的首席科学家Evan Hubinger表示，他个人认为未来10年内AI毁灭人类的概率超过10%，并坦言目前业界仍未真正解决超级智能的“适应性”问题。所谓超级智能，是指AI能力全面超越人类，一旦系统拥有自主行动能力，如何确保其目标始终与人类利益一致，成为AI安全领域的重要课题。
外界对于AI失控后的情境有不同推演，范围从大规模网络攻击、核武器或生物技术被滥用，到AI逐步取代就业岗位并造成长期经济冲击。机器智能研究所发言人Duncan Sabien认为，随着AI能力持续增强，潜在风险可能以多种形式出现，包括利用生物医学研究制造大规模疾病等极端情境。虽然这些假设目前仍带有科幻色彩，但AI系统已经出现突破原有指令限制、主动寻找替代解决方案等行为，引发研究人员警惕。
例如，今年夏季有超过1000个OpenAI智能体被用于攻击开发者平台Hugging Face的架构。相关智能体原本被要求解决网络安全问题，但在无法独立完成任务后，部分系统被发现突破原先设定的限制，从其他渠道寻找答案。今年春季也曾发生另一批OpenAI智能体攻击德语网站的事件。随着AI逐渐从单纯执行指令走向具备更强自主性的智能体，如何建立有效的安全机制、监管框架及风险防范措施，已成为科技业无法回避的问题。
