Sandbox de Avaliação de IA Generativa — O Banco de Testes IMDA/AI Verify de Singapura para a Implantação Confiável de LLMs

Em 31 de outubro de 2023, a Infocomm Media Development Authority (IMDA) de Singapura e a Fundação independente AI Verify lançaram um Generative AI Evaluation Sandbox, apresentado como um ambiente de teste controlado inédito para aplicações de modelos de linguagem de grande escala (LLM) antes de uma implementação mais ampla.

Dezasseis organizações confirmaram participação no lançamento: os desenvolvedores de modelos Google, Microsoft e Amazon Web Services; os desenvolvedores de aplicações Singtel e OCBC, testando casos de uso específicos; os testadores externos Deloitte e EY; e a Comissão de Proteção de Dados Pessoais (PDPC) de Singapura como reguladora observadora. Cada caso de uso do sandbox associa um desenvolvedor de modelo, um implementador de aplicação e um testador terceiro, de modo que a avaliação ocorre ao longo de toda a cadeia de fornecimento de IA, e não através da autocertificação de um único ator. O sandbox está estruturado em torno de um Catálogo de Avaliação partilhado, que define métodos de teste de base, com o objetivo de identificar lacunas de avaliação em contextos específicos de domínio e em diferentes idiomas, e de gerar contributos para normas técnicas de teste.

Segundo reportagens posteriores da IAPP, o quadro de testes abrange 11 princípios (incluindo transparência, segurança, repetibilidade, equidade e supervisão humana), alinhados com o NIST AI Risk Management Framework, o Código de Conduta Internacional do Processo de Hiroshima e a ISO/IEC 42001, e, em meados de 2025, o Standard Chartered já tinha testado uma aplicação de IA generativa através do sandbox, com avaliação independente por terceiros. A IMDA e a Fundação AI Verify divulgaram publicamente a lista de participantes, o quadro de referência e os objetivos, mas nenhum dado publicado de forma independente reporta ainda taxas de aprovação/reprovação, vulnerabilidades encontradas ou alterações mensuráveis nos sistemas implementados em resultado dos testes no sandbox.