CONTROL EXTERNO BASADO EN LLM: EVALUACIÓN EMPÍRICA DE PRUME AI

Resumen

Este artículo presenta y evalúa PRUMe AI, una plataforma de auditoría asistida por modelos de lenguaje basada en RAG y rastros PROV, aplicada a documentos típicos del control externo. Combinando la investigación en ciencias del diseño y un estudio de caso con una muestra real del TCE-AM (150 documentos entre licitaciones, contratos/adendas e informes/dictámenes; 55 % PDF nativos, 45 % digitalizados), PRUMe AI realiza la clasificación, extracción, comprobación de conformidad y elaboración de informes explicables con salidas estructuradas y registro de procedencia. Los resultados indican ganancias materiales: tiempo medio de clasificación de 21,4 a 7,9 min/doc (–63 %) y análisis total de 39,2 a 17,8 min/doc (–55 %); cobertura por ciclo del 25 % (proceso manual) al 82 %. En el subconjunto anotado por especialistas (n = 20), obtuvimos F1 = 0,86 (campos contractuales) y F1 = 0,82 (cláusulas), con precision@k = 0,91 en la priorización de «puntos de atención». En las verificaciones basadas en RAG, el 94 % de los hallazgos incluyeron citas textuales; la fiabilidad media fue de 0,88 y el acuerdo entre evaluadores alcanzó k=0,78. Las pistas PROV cubrieron el 96 % de las decisiones y la repetición reprodujo el 92 % de los resultados. Discutimos las limitaciones (calidad del OCR/diseño, metadatos ausentes, redacciones ambiguas y curaduría de la colección normativa) y proponemos una agenda de evolución (optimización del flujo de trabajo documental, gobernanza del conocimiento para RAG y capacitación). Concluimos que PRUMe AI ofrece una vía replicable para ampliar la eficiencia, la cobertura y la estandarización con transparencia y auditabilidad en el control externo.

DOI: https://doi.org/10.56238/sevened2025.029-098