NVIDIA ha presentado Open Agent Safety Platform, una propuesta para controlar qué pueden hacer los agentes de IA cuando acceden a sistemas y datos. Su componente de software abierto, OpenShell, ya está disponible de forma general. La versión 0.1.0 permite establecer permisos para un agente sin tener que reescribirlo.
OpenShell ejecuta cada agente en un entorno aislado. Un supervisor externo comprueba sus solicitudes antes de permitirles salir a la red, y el entorno no dispone de otra vía de acceso. Las reglas pueden ser precisas: permitir una consulta a un servicio y bloquear una operación de escritura en ese mismo servicio. Las credenciales reales permanecen fuera del entorno del agente y solo se aplican a las solicitudes autorizadas.
Permisos bajo revisión humana
NVIDIA explica que OpenShell registra las decisiones tomadas al aplicar las reglas. Si un agente propone ampliar sus permisos durante una tarea, la solicitud queda pendiente de revisión humana de forma predeterminada: no puede aprobarla por sí mismo. Hay una limitación adicional para los controles de archivos y procesos, que se fijan al crear el entorno aislado. Modificarlos exige crear otro entorno, por lo que esos cambios no se aplican directamente al que ya está en ejecución.
La otra parte de la plataforma es Sentry, un diseño de referencia que utiliza una DPU NVIDIA BlueField-4 para vigilar la actividad desde un dominio separado. NVIDIA afirma que puede aislar en milisegundos a un agente que sobrepase sus límites. Esa descripción no equivale a que todos los componentes de Sentry estén ya disponibles como un producto desplegable: la compañía sitúa distintas funciones e integraciones en fases de desarrollo diferentes.
OpenShell funciona en la CPU NVIDIA Vera y, por su carácter abierto, puede extenderse a plataformas de terceros, incluidas las de Arm e Intel. Sentry, tal como lo describe NVIDIA, depende de BlueField-4. La empresa ofrece el software mediante sus recursos para desarrolladores y GitHub, y afirma que más de 100 organizaciones trabajan con tecnologías de la plataforma.
