NDLOCR — La Biblioteca de la Dieta Nacional de Japón duplica la precisión de reconocimiento de textos históricos con IA

Casi la mitad de los fondos digitalizados de la Biblioteca de la Dieta Nacional son anteriores a 1945, y el OCR comercial japonés funcionaba mal con los kanji históricos, los diseños mixtos y las escrituras fonéticas de esos documentos.

La NDL encargó a Morpho AI Solutions, con Toppan Inc. en la construcción de los datos de entrenamiento, crear NDLOCR: un motor de OCR de aprendizaje profundo entrenado con unos 13 millones de caracteres, publicado como código abierto en abril de 2022.

La evaluación interna del NDL Lab obtuvo una puntuación F media de 0,9686 frente a un criterio explícito de 0,86, superándolo en 32 de las 33 categorías de materiales. La biblioteca contrató después a LINE Corporation para aplicar el modelo a gran escala, convirtiendo cerca de 2,47 millones de elementos digitalizados (223 millones de imágenes de página) en texto durante el año fiscal 2021, elevando la precisión de reconocimiento de textos anteriores a 1945 de aproximadamente el 40% a más del 90%.

Las mejoras son reales pero limitadas: una de las 33 categorías quedó por debajo del criterio, y las cifras principales provienen de la propia evaluación interna de la NDL, no de una auditoría externa independiente.