CONTROLE EXTERNO BASEADO EM LLM: AVALIAÇÃO EMPÍRICA DO PRUME AI

Resumo

Este artigo apresenta e avalia o PRUMe AI, uma plataforma de auditoria assistida por Modelos de Linguagem ancorada em RAG e trilhas PROV, aplicada a documentos típicos do controle externo. Combinando Design Science Research e estudo de caso com amostra real do TCE-AM (150 documentos entre licitações, contratos/aditivos e relatórios/pareceres; 55% PDFs nativos, 45% digitalizados), o PRUMe AI executa triagem, extração, checagens de conformidade e relato explicável com saídas estruturadas e registro de proveniência. Os resultados indicam ganhos materiais: tempo médio de triagem de 21,4 para 7,9 min/doc (–63%) e análise total de 39,2 para 17,8 min/doc (–55%); cobertura por ciclo de 25% (processo manual) para 82%. Em subconjunto anotado por especialistas (n=20), obtivemos F1=0,86 (campos contratuais) e F1=0,82 (cláusulas), com precision@k=0,91 na priorização de “pontos de atenção”. Nas verificações ancoradas em RAG, 94% dos achados trouxeram citação textual; a fidedignidade média foi 0,88 e o acordo inter avaliadores atingiu k=0,78. As trilhas PROV cobriram 96% das decisões e a repetição reproduziu 92% dos resultados. Discutimos limitações (qualidade de OCR/layout, metadados ausentes, redações ambíguas e curadoria do acervo normativo) e propomos agenda de evolução (otimização do pipeline documental, governança de conhecimento para RAG e capacitação). Concluímos que o PRUMe AI oferece um caminho replicável para ampliar eficiência, cobertura e padronização com transparência e auditabilidade no controle externo. 

DOI: https://doi.org/10.56238/sevened2025.029-098