JudgeGPT — un ensayo aleatorizado nacional de IA generativa para jueces de primera instancia de Pakistán

Los tribunales de primera instancia de Pakistán tenían 2,26 millones de casos pendientes a finales de 2024, con menos de dos jueces por cada 100.000 habitantes frente a 22 en la UE, lo que llevó a investigadores de ETH Zúrich, el Imperial College de Londres y la New Economic School a construir JudgeGPT, un asistente basado en GPT-4 con generación aumentada por recuperación, que se apoya en 129.235 documentos (128.292 sentencias judiciales y 943 leyes pakistaníes).

El equipo diseñó un ensayo controlado aleatorizado que abarcó a 1.559 jueces en 118 tribunales -aproximadamente la mitad de la judicatura de primera instancia de Pakistán- asignados aleatoriamente a un brazo de JudgeGPT con formación específica, un brazo de JudgeGPT con seminario general únicamente, y un brazo de control solo con seminario.

Los jueces formados utilizaron la herramienta de forma mucho más intensiva que los brazos de comparación, registrando alrededor de 60 accesos y más de 200 consultas cada uno, frente a unos 20 accesos y menos de 50 consultas en los demás brazos.

A lo largo de las 40 semanas posteriores a la intervención, los distritos con más jueces formados resolvieron unos 1.848 casos adicionales al año -un aumento del 6,3%-, con el mayor efecto, unos 616 casos adicionales, en el cuartil de distritos con peor desempeño; las evaluaciones ciegas de calidad calificaron las sentencias de los jueces formados como mejores en el 59% de las comparaciones por pares, frente a una referencia del 42%, y el estudio no encontró evidencia de que la asistencia de IA aumentara el sesgo de género o religioso en el lenguaje judicial.

La propia estimación de costo-beneficio del equipo de investigación sitúa los retornos en torno a 10-38,50 dólares por cada dólar invertido, aunque esa cifra proviene de los propios autores del estudio y no de una auditoría gubernamental independiente, y el programa sigue siendo un ensayo de investigación a gran escala en lugar de una institución permanente codificada, con la Corte Suprema de Pakistán señalando apertura a un uso judicial más amplio de la IA mientras señala la ausencia de un marco legal integral que lo regule.