Open models have real benefits. Do they outweigh the risks?

但将开放模型视为危险、封闭模型视为安全，是一种过于简单化的判断。AI 公司围绕其封闭模型构建的防御远非完美，人们一直在滥用这些模型，Anthropic 的风险报告已清楚说明了这一点。尽管开放模型对滥用的防御更少，但恶意行为者仍可能选择使用封闭模型，因为封闭模型比能力相近的开放模型更易获取——后者需要大量昂贵的计算机芯片才能在本地运行（如果想重新训练它们，则需要更多芯片）。

事实上，一些接受 MIT Technology Review 采访的专家以开源软件作类比，认为开放模型在安全性上优于封闭模型。开源工具（如 Linux 操作系统）通常被认为比闭源同类产品更安全，因为其漏洞已被庞大的在线贡献者社区探查并修补。同样，研究社区可以更容易地测试开放模型的安全缺陷，尽管修复这些缺陷比改写一行代码要棘手得多。

开放模型在网络防御方面也可以比封闭模型部署得更广泛。任何可用于黑客攻击的工具也可用于防止黑客攻击：防御者攻击自己的软件以发现需要修补的漏洞。Anthropic 通过其 Project Glasswing 计划展示了这在封闭模型上如何运作，该计划使一些受信任的公司能够使用其能力最强的模型进行网络防御。但许多其他公司则只能自求多福。

然而，开放模型的使用范围要广泛得多。在被 OpenAI 的智能体攻击之后，Hugging Face 强调了一个事实：它不得不依赖一个开放模型来分析这次攻击，因为针对该攻击的提问触发了闭源模型的安全过滤器。

尽管如此，许多专家仍然认为开放模型比闭源模型风险更高。在处理像当今——以及未来——模型这样强大的工具时，久经考验的开源安全逻辑未必站得住脚。“复杂之处在于，当你开始认真对待那些特别灾难性事件的个别案例时——这些事件概率可能较低，但一旦发生就会是灾难性的，”Seger 说。例如，如果一个极其强大的开放攻击模型今天被投放到世界上，恶意行为者可能在任何人有机会加固防御之前就摧毁我们的技术基础设施。这样的事件可能无法恢复。

当你考虑到模型可能自行采取的行动时，风险看起来会更加剧烈。OpenAI 与 Hugging Face 的攻击事件之所以发生，仅仅是因为该公司的模型在测试时移除了许多网络安全护栏，而开放模型从一开始就几乎没有护栏。如果开放模型确实决定行为不端，可能很难察觉正在发生什么，因为它们如此去中心化。出于这个原因，认真对待流氓智能体所构成的所谓灾难性风险的人，例如 Dario Amodei，往往对开放模型更加怀疑。

我们能让开放模型更安全——同时也更开放吗？

几年前，关于开源模型的讨论还是非黑即白的框架：要么你因为开源模型有对抗权力集中的潜力而支持它们，要么你因为安全风险而拒绝它们。然而如今，人们正投入大量精力去寻找某种中间地带。他们采取的一种方式就是设计各种技术来缓解开源模型的安全风险。

用于闭源模型的大多数安全工具，比如过滤器和监控，并不适用于开源模型，但还有其他可能性。一些研究人员有兴趣尝试训练这样的模型：它们从不接触那些教它们不良行为或其他不可取行为的训练数据——例如，一个从未学习过黑客技术的开源模型。但在不损害模型性能的前提下清除训练数据集中所有涉及不当行为的内容，仍然是一个挑战。