Evaluación del sistema ANNIF de indización automática en artículos de revistas de Ciencia de la Información
DOI:
https://doi.org/10.5007/1518-2924.2026.e109644Palabras clave:
Annif, Aprendizaje automático, Indización automática, Repositorios digitales, Tesauro brasileño de Ciencia de la InformaciónResumen
Objetivo: Evaluar el desempeño de la herramienta de indización automática Annif en la asignación de descriptores a artículos científicos en el campo de la Ciencia de la Información.
Método: Se adoptó un enfoque empírico y de carácter exploratorio. La investigación utilizó un corpus compuesto por 60 artículos escritos en portugués y previamente indexados manualmente con el Tesauro Brasileño de Ciencia de la Información (TBCI). El corpus se dividió en dos subsecciones: 30 artículos se destinaron al entrenamiento y 30 a la prueba. Annif fue configurado con el backend MLLM y la evaluación se realizó mediante la comparación con los términos de la indización intelectual, aplicando las métricas de Precisión, Revocación, F1 y Consistencia. Asimismo, se llevó a cabo un análisis cualitativo de los términos generados.
Resultados: El sistema demostró un desempeño moderado, alcanzando una Precisión del 49,52 %, una Revocación del 50,1 %, un F1 del 49,23 % y una Consistencia del 31,63 %.
Conclusiones: Se concluye que Annif es una herramienta viable para apoyar los flujos de trabajo de indixación semiautomática, siempre que sus sugerencias sean validadas por indizadores humanos.
Descargas
Citas
AHMED, M. Automatic indexing for agriculture: designing a framework by deploying Agrovoc, Agris and Annif. Journal of Information and Knowledge, [s.l.], v. 60, n. 2, April 2023, p.85-95. DOI:10.17821/srels/2023/v60i2/170966. Disponível em: https://www.srels.org/index.php/sjim/article/view/170966. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.17821/srels/2023/v60i2/170966
AHMED, M.; MUKHOPADHYAY, M; MUKHOPADHYAY, P. Automated knowledge organization: AI/ML-based subject indexing system for libraries. Journal of Library & Information Technology, [s.l.], v. 43, n. 1, p. 45-54, January 2023. DOI:10.14429/djlit.43.01.18619. Disponível em: https://www.proquest.com/openview/706bd22421815bd8de889f92ef99d612/1?pq-origsite=gscholar&cbl=2028807. Acesso em: 19 out. 2025.
BRITO, J. C. B.; MARTINS, D. L. Framework genérico para geração automática de assuntos e indexação em repositório digital. Perspectiva em Ciência da Informação, Belo Horizonte, v. 28, Fluxo Contínuo, 2023a. DOI: 10.1590/1981-5344/46629. Disponível em: https://www.scielo.br/j/pci/a/cnCL89BRvwqnQyGwJ69rXGk/?lang=pt. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.1590/1981-5344/46629
BRITO, J. C. B.; MARTINS, D. L. Geração automática de metadados: estudo de caso utilizando a técnica de indexação automática estatística com a ferramenta Annif. Revista caribeña de las ciências sociales, Miami, v. 12, n. 4, p. 1980-1996. 2023b. DOI: 10.55905/rcssv12n4-029. Disponível em: https://revistacaribena.com/ojs/index.php/rccs/article/view/2995. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.55905/rcssv12n4-029
DERMENTZI, M.; BRYANT, M.; ROVIGO, F.; GARCÍA-GONZÁLEZ, H. Multilingual automated subject indexing: a comparative study of LLMs vs alternative approaches in the context of the EHRI project. Hal, [s. l.], 2025. Disponível em: https://hal.science/hal-05142136v1. Acesso em: 19 out. 2025.
GIL-LEIVA, I.; ALONSO-ARROYO, A. Keywords given by authors of scientific articles in database descriptors. Journal of the American Society for Information Science and Technology, [s.l.], v. 58, n. 8, p. 1175-1187, 2007. DOI: 10.1002/asi.20595. Disponível em: https://onlinelibrary.wiley.com/doi/10.1002/asi.20595. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.1002/asi.20595
GOLUB, K.; SOERGEL, D.; BUCHANAN, G.; TUDHOPE, D.; HIOM, D.; LYKKE, M. A framework for evaluating automatic indexing or classification in the context of retrieval. J. Assn. Inf. Sci. Tec., [s.l.], n. 67, p. 3-16, 2016. DOI: 10.1002/asi.23600. Disponível em: https://asistdl.onlinelibrary.wiley.com/doi/10.1002/asi.23600. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.1002/asi.23600
GOLUB, K.; SUOMINEN, O.; MOHAMMED, A. T.; AAGAARD, H.; OSTERMAN, O. Automated Dewey Decimal Classification of swedish library metadata using Annif software. Journal of Documentation, [s.l.], v. 80, n. 5, p. 1057-1079, 2024. DOI: 10.1108/JD-01-2022-0026. Disponível em: https://www.emerald.com/jd/article/80/5/1057/1236186/Automated-Dewey-Decimal-Classification-of-Swedish. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.1108/JD-01-2022-0026
HAHN, J. Semi-automated methods for BIBFRAME work entity description. Cataloging & Classification Quarterly, [s.l.], v. 59, n. 8, p. 853-867, 2021. DOI: 10.1080/01639374.2021.2014011. Disponível em: https://www.tandfonline.com/doi/full/10.1080/01639374.2021.2014011. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.1080/01639374.2021.2014011
INKINEN, J. (ed.). Backends. NatLibFi / Annif, 30 jun. 2025. Disponível em: https://github.com/NatLibFi/Annif/wiki/Backends. Acesso em: 13 out. 2025.
KERKETTA, S.; MUKHOPADHYAY, P. Automated class numbers prediction for books: an AI/ML based approach using Annif. In: INTERNATIONAL CONFERENCE ON MARCHING BEYOND THE LIBRARIES (ICMBL): Leadership, Creativity, and Innovation, 2024, Bhubaneswar, India. Proceedings [...]. [s.l.]: Atlantis Press, 2025. DOI: 10.2991/978-94-6463-712-0_12. Disponível em: https://www.atlantis-press.com/proceedings/icmbl-24/126011042. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.2991/978-94-6463-712-0_12
KIVIMÄKI, V.; HAUTAKANGAS, S.; JÄRVELÄ, H.; MALTUSCH, P. Artificial intelligence enhanced course content labelling: conceptual model and testing with university teachers. EPiC Series in Computing, [s.l.], v. 105, p. 314-325, 2025. DOI: 10.29007/j4q6. Disponível em: https://easychair.org/publications/paper/vGfT. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.29007/j4q6
LANCASTER, F. W. Indexação e resumo: teoria e prática. Brasília, DF: Briquet de lemos, 2004.
LAPPALAINEN, M.; HULKKONEN, J.; INKINEN, J.; KALLIO, A.; KOSKELA, M.; LEHTINEN, M.; SJÖBERG, M.; SUOMINEN, O.; YETUKURI, L. Automaattisen sisällönkuvailun ohjelmiston rakentaminen: case Annif. Signum, [s.l.], vol. 53, n. 4, p. 14–20, 2021. DOI: 10.25033/sig.113612. Disponível em: https://journal.fi/signum/article/view/113612. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.25033/sig.113612
LEHTONEN, T.; PIUKKULA, J. Automaattinen asiasanoitus radio, ja television, ohjelmatietokanta ritvassa. Informaatiotutkimus, [s.l.], v. 1, n. 39, p. 27-45, 2020. DOI: 10.23978/inf.88107. Disponível em: https://journal.fi/inf/article/view/88107. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.23978/inf.88107
MEDELYAN, O. Human-competitive automatic topic indexing. 2009. 214f. Tese (Doutorado) – The University of Waikato, Hamilton, New Zealand, 2009. Disponível em: https://www.researchgate.net/publication/40660732. Acesso em: 19 out. 2025.
MITRA, R.; MUKHOPADHYAY, P. Machine learning applications in digital humanities: designing a semi-automated subject indexing system for a low-resource domain. Journal of Library & Information Technology, [s.l.], v. 43, n. 4, p. 219-225, July 2023. DOI:10.14429/djlit.43.04.19227. Disponível em: https://www.researchgate.net/publication/380804005_Machine_Learning_Applications_in_Digital_Humanities_Designing_a_Semi-automated_Subject_Indexing_System_for_a_Low-resource_Domain. Acesso em: 19 out. 2025. DOI: https://doi.org/10.14429/djlit.43.04.19227
POLEY, C.; UHLMANN, S.; BUSSE, F.; JACOBS, J-H.; KÄHLER, M.; NAGELSCHMIDT, M.; SCHUMACHER, M. Automatic subject cataloguing at the German National Library. Liber Quarterly, [s.l.], v. 35, p. 1-29, 2025. DOI: 10.53377/lq.19422. Disponível em: https://liberquarterly.eu/article/view/19422. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.53377/lq.19422
SILVA, B. F. de M.; CORRÊA, R. F. Aplicação da folksonomia assistida na construção de corpus de referência em ciência da informação. Em Questão, Porto Alegre, v. 26, n. 2, p. 413-436, maio/ago. 2020. DOI: 10.19132/1808-5245262.413-436. Disponível em: https://seer.ufrgs.br/EmQuestao/article/view/90123. Acesso em: 19 out. 2025. DOI: https://doi.org/10.19132/1808-5245262.413-436
SILVA, B. F. de M.; CORRÊA, R. F. O processo de construção do corpus de referência em ciência da informação. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, Florianópolis, v. 24, n. 56, p. 01-27, set./dez., 2019. DOI: 10.5007/1518-2924.2019.e65166. Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/1518-2924.2019.e65166. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.5007/1518-2924.2019.e65166
SILVA, S. R. de B.; CORRÊA, R. F.; GIL-LEIVA, I. Avaliação direta e conjunta de Sistemas de Indexação Automática por Atribuição. Informação & Sociedade: Est., João Pessoa, v. 30, n. 4, p. 1-27, 2020. DOI: 10.22478/ufpb.1809-4783.2020v30n4.57259. Disponível em: https://www.researchgate.net/publication/348702009. Acesso em: 19 out. 2025. DOI: https://doi.org/10.22478/ufpb.1809-4783.2020v30n4.57259
SUOMINEN, O. Annif: DIY automated subject indexing using multiple algorithms. LIBER Quarterly, [s.l.], v. 29, n. 1, 2019. DOI: 10.18352/lq.10285. Disponível em: https://liberquarterly.eu/article/view/10732. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.18352/lq.10285
SUOMINEN, O.; INKINEN, J.; LEHTINEN, M. Annif and Finto AI: developing and implementing automated subject indexing. JLIS.it, [s.l.], v. 13, n. 1, jan., 2022. DOI: 10.4403/jlis.it-12740. Disponível em: https://www.medra.org/servlet/MREngine?hdl=10.4403/jlis.it-12740. Acesso em: 01 nov. 2025.
SUOMINEN, O.; INKINEN, J.; LEHTINEN, M. Annif at SemEval-2025 task 5: traditional XMTC augmented by LLMs. In: International Workshop on Semantic Evaluation (SemEval-2025), 19., 31 July - 1 August 2025, Vienna, Austria. Proceedings [...]. Vienna, Austria: Association for Computational Linguistics, 2025. p. 2424-2431. DOI: 10.48550/arXiv.2504.19675. Disponível em: https://arxiv.org/abs/2504.19675. Acesso em: 01 nov. 2025.
SUOMINEN, O.; KOSKENNIEMI, I. Annif analyzer shootout: comparing text lemmatization methods for automated subject indexing. Journal Code4lib, [s.l.], n. 54, 2022. Disponível em: https://journal.code4lib.org/articles/16719. Acesso em: 19 out. 2025.
TOEPFER, M.; SEIFERT, C. Fusion architectures for automatic subject indexing under concept drift: analysis and empirical results on short texts. International Journal on Digital Libraries, [s.l.], v. 21, n. 2, p. 169-189, 2020. DOI: 10.1007/s00799-018-0240-3. Disponível em: https://link.springer.com/article/10.1007/s00799-018-0240-3. Acesso em: 01 nov. 2025. DOI: https://doi.org/10.1007/s00799-018-0240-3
Descargas
Archivos adicionales
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2026 Remi Correia Lapa, Renato Fernandes Correa
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
El autor debe garantizar:
que existe un consenso total de todos los coautores para aprobar la versión final del documento y su presentación para su publicación.
que su trabajo es original, y si se han utilizado el trabajo y / o las palabras de otras personas, estos se han reconocido correctamente.
El plagio en todas sus formas constituye un comportamiento editorial poco ético y es inaceptable. Encontros Bibli se reserva el derecho de utilizar software o cualquier otro método para detectar plagio.
Todas las presentaciones recibidas para su evaluación en la revista Encontros Bibli: revista electrónica de biblioteconomía y ciencias de la información pasan por la identificación del plagio y el auto-plagio. El plagio identificado en los manuscritos durante el proceso de evaluación dará como resultado la presentación de la presentación. En el caso de identificación de plagio en un manuscrito publicado en la revista, el Editor en Jefe llevará a cabo una investigación preliminar y, si es necesario, la retractará.
Esta revista, siguiendo las recomendaciones del movimiento de Acceso Abierto, proporciona su contenido en Acceso Abierto Completo. Por lo tanto, los autores conservan todos sus derechos, permitiendo a Encontros Bibli publicar sus artículos y ponerlos a disposición de toda la comunidad.
Los contenidos de Encontros Bibli están licenciados bajo Licencia Creative Commons 4.0.
Cualquier usuario tiene derecho a:
- Compartir: copiar, descargar, imprimir o redistribuir material en cualquier medio o formato
- Adaptar: mezclar, transformar y crear a partir del material para cualquier propósito, incluso comercial.
De acuerdo con los siguientes términos:
- Atribución: debe otorgar el crédito apropiado, proporcionar un enlace a la licencia e indicar si se han realizado cambios. Debe hacerlo bajo cualquier circunstancia razonable, pero de ninguna manera sugeriría que el licenciante lo respalde a usted o su uso.
- Sin restricciones adicionales: no puede aplicar términos legales o medidas tecnológicas que restrinjan legalmente a otros de hacer cualquier cosa que permita la licencia.
As obras deste periódico estão licenciadas com 