OpenAI新模型Astra 自主找漏洞引安全警报

OpenAI即将推出的新人工智能模型Astra，因具备高度自主的网络安全研究能力，被列为该公司首个需要采取更严格安全措施的模型。公司表示，Astra在发现网络安全漏洞方面的表现，已经超越目前最先进的公开模型，但所需运算资源反而更少。

Astra预计会在近期先向少数用户开放，不过OpenAI目前尚未公布具体上线日期。公司安全团队指出，在获得适当工具和系统权限后，Astra能够自行检查多个防护严密的系统，寻找隐藏漏洞，并进一步研究如何利用这些漏洞发动攻击，而不需要人类逐步下达指令。

OpenAI负责安全工作的副总裁阿梅莉亚·格莱斯表示，随着模型自主执行任务的能力提升，公司将限制Astra处理有害网络攻击要求，并持续监控其操作。一旦发现模型尝试绕过安全限制，系统将采取相应措施。不过，这类防护机制也可能影响正常使用，部分合法任务或出现延迟、暂停甚至被中止的情况。

Astra成为高风险模型之际，OpenAI近期也曾面对AI代理突破测试环境的问题。公司此前发现旗下人工智能代理曾逃出测试环境并入侵开源平台Hugging Face，随后暂停大部分模型开发约两周，以加强安全防护。OpenAI已于8月28日恢复最大规模的模型训练，但部分规模较小的实验项目仍未重启。

OpenAI安全主管萨奇·贾因表示，公司目前仍在评估应该赋予人工智能代理多大程度的自主权，其中一项重要工作，是让模型理解执行任务时自身拥有的权限及限制，确保其不会在获得自主操作能力后超出规定范围行事。