Acelerando la transición de los registros digitales a los archivos nacionales mediante la inteligencia artificial

Los Archivos Nacionales llevaron a cabo una revisión de las herramientas disponibles para identificar entre 3 y 5 con el fin de probarlas en profundidad con un conjunto de sus propios registros corporativos. El plan consistía en averiguar cómo se comportan las herramientas a la hora de identificar los registros que deben ser seleccionados para su conservación permanente y los que no. Además, los Archivos Nacionales querían ayudar a los departamentos del gobierno en el uso de la IA para la selección. Más concretamente a identificar dónde se podían incorporar estas técnicas en el proceso o flujo de trabajo de la selección de documentos de archivo digitales para su transferencia a los Archivos Nacionales.

Una relación bien establecida

Iron Mountain ya tiene una larga y consolidada relación con los Archivos Nacionales, así como con algunos de los departamentos más grandes del gobierno, habiendo facilitado la transferencia de registros en papel a escala durante varios años. La empresa también ofrece los servicios InSight™, que incluyen el procesamiento inteligente de documentos combinado con el análisis de contenidos, la gestión de datos y experiencia en la gobernanza de la información con Aprendizaje Automático (ML) e inteligencia artificial (AI).

Iron Mountain fue seleccionada para participar en el proyecto AI for Digital Selection, con el fin de comprender la eficacia de la IA en el proceso de selección digital.

Gestión de múltiples formatos de archivo

Las herramientas de Iron Mountain son capaces de manejar una amplia selección de formatos de medios, lo que era esencial ya que había más de 100 tipos de archivos diferentes para procesar en el estudio de prueba de concepto, incluyendo audio, vídeo y documentos de texto. Algunos de los formatos más oscuros fueron excluidos de la prueba, pero el número real de expedientes que quedaron fuera del estudio fue pequeño: menos del 10%. Los archivos incluidos en la prueba de concepto se cargaron en la plataforma de servicios de contenidos de Iron Mountain para su análisis.

¿En qué consistió la solución?

Determinar lo que hay que transferir

Como parte del proyecto, los Archivos Nacionales proporcionaron a Iron Mountain conjuntos de datos etiquetados y no etiquetados para testar las capacidades de IA intrínsecas a InSight^™ en la identificación de registros relevantes para los criterios de selección

Eliminación de datos sensibles

Incluso en el caso de los archivos que se ponen a disposición del público, tiene que haber una fase en la que la información sensible que no está autorizada para ser publicada pueda ser eliminada. En un mundo basado en el papel, la redacción de la información es un proceso físico que se lleva a cabo como parte de una revisión dirigida por personas: los documentos se marcan o editan a mano. Las herramientas de tecnología forense digital adoptan un enfoque diferente: ofuscan palabras o frases, codificando el contenido cuando sea necesario.

Pasos para el éxito

Para la prueba, Iron Mountain cargó primero los 17.000 documentos de prueba en el almacenamiento en la nube de Google. Los documentos se procesaron con tecnología de reconocimiento óptico de caracteres para hacerlos totalmente reconocibles. A continuación, la plataforma de procesamiento inteligente de documentos InSight™ los clasificó en 20 categorías utilizando el procesamiento del lenguaje natural (PNL), un proceso de software que puede descifrar el contenido de un documento y los matices contextuales de la lengua utilizada. Esto permitió a la plataforma extraer con precisión la información contenida en los archivos y crear asociaciones en el conjunto de la muestra para garantizar que una búsqueda fácil y precisa fuese posible.

Las capacidades de aprendizaje automático de InSight^™ permitieron al equipo del proyecto entrenar el modelo en un proceso iterativo a lo largo del proyecto. Al final, la herramienta obtuvo una puntuación F1 superior al 85%. También se obtuvieron los siguientes resultados:

• Se identificaron los duplicados para eliminarlos
• Se identificaron los registros candidatos a la conservación permanente
• Se extrajeron entidades que incluyen organizaciones y personas
• Se realizaron análisis de expedientes, incluido el resumen de contenido, el resumen de edad, etc.
• Puntuaciones medias de Precisión y Recall

Prueba de concepto con éxito

InSight^™ proporcionó el nivel de funcionalidad requerido, la clasificación de documentos y la detección de duplicados. Iron Mountain se complace en apoyar a los Archivos Nacionales con este programa de interés nacional. La solución puede utilizarse ahora en toda la administración para acelerar la transición de los documentos de todos los departamentos gubernamentales a través de vías directas de adquisición de marcos.