Sandbox de Evaluación de IA Generativa — El banco de pruebas IMDA/AI Verify de Singapur para un despliegue fiable de LLM

El 31 de octubre de 2023, la Infocomm Media Development Authority (IMDA) de Singapur y la fundación independiente AI Verify lanzaron un Generative AI Evaluation Sandbox, presentado como un entorno de pruebas controlado pionero para aplicaciones de grandes modelos de lenguaje (LLM) antes de su despliegue más amplio.

Dieciséis organizaciones confirmaron su participación en el lanzamiento: los desarrolladores de modelos Google, Microsoft y Amazon Web Services; los desarrolladores de aplicaciones Singtel y OCBC, que probaron casos de uso específicos; los evaluadores externos Deloitte y EY; y la Comisión de Protección de Datos Personales (PDPC) de Singapur como regulador observador. Cada caso de uso del sandbox combina un desarrollador de modelo, un implementador de aplicación y un evaluador externo, de modo que la evaluación se realiza a lo largo de toda la cadena de suministro de IA, en lugar de mediante la autocertificación de un único actor. El sandbox se organiza alrededor de un Catálogo de Evaluación compartido que establece métodos de prueba de referencia, con el objetivo de detectar carencias de evaluación en contextos específicos de dominio e idiomas, y generar aportaciones para normas técnicas de prueba.

Según informes posteriores de IAPP, el marco de pruebas abarca 11 principios (incluidos transparencia, seguridad, repetibilidad, equidad y supervisión humana) alineados con el NIST AI Risk Management Framework, el Código de Conducta Internacional del Proceso de Hiroshima y la norma ISO/IEC 42001, y a mediados de 2025 Standard Chartered ya había probado una aplicación de IA generativa a través del sandbox, con evaluación independiente por terceros. La IMDA y la Fundación AI Verify han hecho pública la lista de participantes, el marco y los objetivos, pero ningún dato publicado de forma independiente informa todavía de tasas de aprobación/rechazo, vulnerabilidades encontradas o cambios medibles en los sistemas desplegados como resultado de las pruebas del sandbox.