最近，DeepSeek的创始人梁文锋发表了一篇新的论文，首次详细介绍了Agent训练沙盒平台DSec（DeepSeek Elastic Compute）的技术参数。该论文于9月19日提交，参与作者超过130人。DSec平台最早出现在DeepSeek V4技术报告中，旨在为大规模Agent训练提供支持，确保其稳定运行。该论文表明，从DeepSeek V3.2到V4.1的强化学习训练和评测均在DSec上进行，如今公开的技术细节算是对外发布了一份重要成果。

DSec平台的规模庞大，一个生产单元包含大约160个CPU节点，总计30,000个核和250TB的内存，存储PB级别的数据。该平台的能力相当强大，能够每天支持约300万个沙盒，并在峰值时实现超过380,000的并发，创建速度超过每秒5000个，每个训练任务最多支持同时启动32,000个沙盒。

在Agent训练中，需要如此庞大的沙盒数量的原因是因其训练方式不同于传统大语言模型（LLM）。传统LLM可以围绕静态输入和奖励信号展开，而Agent训练需要在真实环境中执行任务，这使得模型每次执行都可能改变环境状态。为此，研究人员需要维护许多接近真实操作环境的沙盒。这些沙盒在训练中并不满负荷运行，常常处于等待状态，因此在资源管理上面临挑战，传统的运行模式难以适应。 龙8头号玩家

DSec的设计旨在应对这些挑战，包括批量创建沙盒、资源调度、环境复制作业以及状态保留等。

随着Agent任务逐渐复杂，工作环境的需求也不断升级。DSec平台提供四种后端支持：FnCall、容器、Firecracker微虚拟机和完整虚拟机，以覆盖从简单函数调用到需要完整操作系统环境的多种需求。训练框架通过Python SDK可以无缝创建沙盒、执行命令并获取结果，无需关心底层使用的是哪种环境。

然而，随着环境种类和数量的增多，快速复制变得复杂。根据论文的数据，使用容器后端时生产中涉及的基础镜像多达11266个，工作区和工具包的数量更是庞大。为了降低镜像维护和部署的成本，DSec采取了将基础镜像、工作区和工具包拆分为独立的只读层的策略，使用overlayfs技术动态组合，这样当某个组件发生变化时，只需更新对应层，而无需重建整个镜像。 龙8头号玩家