Método para avaliação direta da indexação automática via julgamento por indexadores

Autores

DOI:

https://doi.org/10.5007/1518-2924.2024.e96485

Palavras-chave:

Indexação automática, Sistemas de indexação automática, Avaliação da indexação automática, Avaliação direta da indexação automática, Trajetória metodológica

Resumo

Objetivo: Com a finalidade de avaliar um sistema de indexação automática aplicado a e-books, este trabalho propõe e aplica um método para avaliação direta da indexação automática via julgamento por indexadores, quanto à qualidade dos termos de indexação atribuídos automaticamente aos documentos.

Método: Realizou-se uma pesquisa metodológica de natureza descritiva e aplicada, utilizando-se procedimentos técnicos da pesquisa bibliográfica e pesquisa empírica. Inicialmente, por meio de revisão de literatura, delimitaram-se as etapas do método proposto de avaliação direta da indexação automática via julgamento por indexadores, para depois proceder à construção de instrumento para coleta de dados e aplicação do método proposto na avaliação da indexação automática do sistema SISTRA, na indexação de e-books técnicos-científicos.

Resultado: O método proposto de avaliação é apresentado através de diagrama e descrição de etapas. O método consiste, primeiramente, no julgamento por indexadores da qualidade dos termos atribuídos pelo sistema de indexação automática a uma amostra de documentos digitais e, posteriormente, na análise de valores calculados para métricas de qualidade da indexação automática. A aplicação do método proposto se mostrou útil numa primeira avaliação de um sistema de indexação automática.

Conclusões: Conclui-se que o método proposto de avaliação direta da indexação automática via julgamento por indexadores propicia a padronização da avaliação e sua prática por profissionais da informação, e que a avaliação direta é uma atividade necessária para a aplicação e a adoção da indexação automática na indexação por assunto de documentos digitais, no âmbito das unidades de informação.

Downloads

Não há dados estatísticos.

Biografia do Autor

Renato Fernandes Correa, Universidade Federal de Pernambuco

Graduado em Ciência da Computação em 2000 pela Universidade Federal de Viçosa, Brasil. Ele recebeu o M.S. Graduado em Ciência da Computação em 2002 pela Universidade Federal de Pernambuco, Brasil. De 2002 a 2007, foi Professor Visitante da Escola Politécnica da Universidade de Pernambuco, Brasil. Ele recebeu o Ph.D. Graduado em Ciência da Computação em 2008 pela Universidade Federal de Pernambuco. Realizou estágio de Pós-Doutorado em Ciência da Informação (2023) na Faculdade de Filosofia e Ciências da Universidade Estadual Paulista (UNESP), Brasil. Atualmente é professor do Departamento de Ciência da Informação e do Programa de Pós-Graduação em Ciência da Informação da Universidade Federal de Pernambuco.

Mariângela Spotti Lopes Fujita, Universidade Estadual Paulista (Unesp)

Mariângela Spotti Lopes Fujita, professora e pesquisadora do Programa de Pós-Graduação em Ciência da Informação da Universidade Estadual Paulista (Unesp) concluiu seu doutorado em Ciências da Comunicação pela Universidade de São Paulo em 1992. Realizou concursos públicos de Análise Documental e Linguagens Alfabéticas Documentais pela Faculdade de Filosofia e Ciências UNESP - Marília em 2003 e Titular em Indexação em 2010. Atualmente desenvolve atividades de pesquisa com bolsa de Produtividade em Pesquisa nível 1B do CNPq. É membro das sociedades científicas de sua especialidade: Associação Nacional de Pesquisa e Pós-Graduação em Ciência da Informação - ANCIB e Capítulo Brasileiro da International Society for Knowledge Organization-ISKO, no Brasil e no exterior, da International Society for Knowledge Organization - ISKO . Foi assessora do comitê de Comunicação, Artes e Ciência da Informação do CNPq. É árbitro de agências ad hoc e participa como revisor e membro de Comitês Científicos de revistas científicas de Ciência da Informação no Brasil e no exterior. Participou do grupo de pesquisadores que criou e implantou o Instituto de Políticas Públicas de Marília (IPPMar), Faculdade de Ciências - Campus de Marília e atualmente é Membro do Conselho e também gestor do Sistema de Periódicos Científicos.

Referências

ABPMP (Brasil). BPM CBOK – Guia para o gerenciamento de processos de negócio: corpo comum de conhecimento. ABPMP BPM CBOK, v. 3.0, 1. ed. ABPMP, 2013. Disponível em: https://www.abpmp-br.org/educacao/bpm-cbok/. Acesso em: 24 ago. 2023.

ASULA, M.; MAKKE, J.; FREIENTHAL, L.; KUULMETS, H. A.; SIREL, R. Kratt: Developing an Automatic Subject Indexing Tool for the National Library of Estonia. Cataloging & Classification Quarterly, v. 59, n. 8, p. 775-793, 2021. DOI: 10.1080/01639374.2021.1998283.

BANDIM, M. A. S.; CORREA, R. F. A consistência na indexação automática por atribuição de artigos científicos na área de Ciência da Informação. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, [S. l.], v. 23, n. 53, p. 64-77, 2018. DOI: 10.5007/1518-2924.2018v23n53p64.

BANDIM, M. A. S.; CORREA, R. F. Indexação automática por atribuição de artigos científicos em português da área de Ciência da Informação. Transinformação, Campinas, v. 31, p. e180004, 2019. DOI: 10.1590/2318-0889201931e180004.

CORRÊA, R. F.; LAPA, R. C. Panorama de estudos sobre indexação automática no âmbito da ciência da informação no Brasil (1973-2012). Ciência da Informação, [S. l.], v. 42, n. 2, p. 255-273, 2013. Disponível em: https://revista.ibict.br/ciinf/article/view/1385. Acesso em: 14 set. 2023.

FUJITA, M. S. L. Representação Documental Automática e Multilíngue de Textos Científicos (SISTRA). 2020. (Projeto de pesquisa FAPESP processo 2019/25470-6). Disponível em: https://bv.fapesp.br/pt/auxilios/107480/representacao-documental-automatica-e-multilingue-de-textos-tecnico-cientificos-sistra/. Acesso em: 24 ago. 2023.

GIL-LEIVA, I.; FUJITA, M. S. L.; REDIGOLO, F. M.; SARAN, J. F. Extracción de información de documentos pdf para su uso en la indización automática de e-books. Transinformação, Campinas, v. 34, p. 1-11, 2022. DOI: 10.1590/2318-0889202234e210069.

GIL-LEIVA, I.; ORTUÑO, P. D.; CORRÊA, R. F. Indización automática de artículos científicos sobre Biblioteconomía y Documentación con SISA, KEA y MAUI. Revista Española de Documentación Científica, [S. l.], v. 45, n. 4, p. e338, 2022. DOI: 10.3989/redc.2022.4.1917.

GOLUB, K. Automated Subject Indexing: An Overview. Cataloging & Classification Quarterly, v. 59, n. 8, p. 702-719, 2021. DOI: 10.1080/01639374.2021.2012311.

GOLUB, K.; SOERGEL, D.; BUCHANAN, G.; TUDHOPE, D.; LYKKE, M.; HIOM, D. A framework for evaluating automatic indexing or classification in the context of retrieval. Journal of the Association for Information Science and Technology (JASIST), v. 67, n.1, p. 3-16, 2016. DOI: 10.1002/asi.23600.

HASAN, K. S.; NG, V. Automatic keyphrase extraction: a survey of the state of the art. In: ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 52., 2014, Baltimore. Proceedings […] Association for Computational Linguistics, 2014. (Volume 1: Long Papers), p. 1262-1273.. DOI: 10.3115/v1/P14-1119.

JUNGER, U. Automation first – the subject cataloguing policy of the Deutsche Nationalbibliothek. In: IFLA WLIC 2018 – Transform Libraries, Transform Societies, 2018, Kuala Lumpur, Malaysia. IFLA, 2018. Disponível em: https://library.ifla.org/id/eprint/2213. Acesso em: 29 maio 2023.

JUNGER, U.; SCHOLZE, F. Neue Wege und Qualitäten – Die Inhaltserschließungspolitik der Deutschen Nationalbibliothek. In: FRANKE-MAIER, M.; KASPRZIK, A.; LEDL, A.; SCHÜRMANN, H. (ed.). Qualität in der Inhaltserschließung. Berlin, Boston: De Gruyter Saur, 2021. p. 55-70. DOI: 10.1515/9783110691597-004. Disponível em: https://www.degruyter.com/document/doi/10.1515/9783110691597-004/html. Acesso em: 29 maio 2023.

KIM, S.N.; MEDELYAN, O.; KAN, M.Y.; BALDWIN, T. SemEval-2010 task 5: automatic keyphrase extraction from scientific articles. In: INTERNATIONAL WORKSHOP ON SEMANTIC EVALUATION, 5., 2010, Uppsala, Sweden. Proceedings […] Association for Computational Linguistics, 2010. p. 21-26. Disponível em: https://aclanthology.org/S10-1004. Acesso em: 29 maio 2023.

LANCASTER, F. W. Indexação e resumos: teoria e prática. 2. ed. Tradução de Antonio Agenor Briquet de Lemos. Brasília: Briquet de Lemos, 2004. [Tradução de: Indexing and abstracting in theory and practice].

LAPA, R. C.; CORRÊA, R. F. Indexação automática no âmbito da ciência da informação no brasil. Informação & Tecnologia, [S. l.], v. 1, n. 2, p. 59-76, 2014. Disponível em: https://periodicos.ufpb.br/index.php/itec/article/view/21408. Acesso em: 14 set. 2023.

NARUKAWA, C. M.; GIL-LEIVA, I.; FUJITA, M. S. L. Indexação automatizada de artigos de periódicos científicos: análise da aplicação do software SISA com uso da terminologia DeCS na área de odontologia. Informação & Sociedade: Estudos, João Pessoa, v. 19, n. 2, p. 99-118, 2009. Disponível em: https://periodicos.ufpb.br/ojs2/index.php/ies/article/view/2925. Acesso em: 14 set. 2023.

ROSENBERG, V. Comparative evaluation of two indexing methods using judges. Journal of the American Society for Information Science, v. 22, n. 4, p. 251-259, 1971. DOI: 10.1002/asi.4630220404.

SILVA, S. R. B.; CORREA, R. F. Sistemas de Indexação automática por atribuição: uma análise comparativa. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, [S. l.], v. 25, p. 1-25, 2020. DOI: 10.5007/1518-2924.2020.e70740.

SILVA, S. R. B.; CORREA, R. F.; GIL-LEIVA, I. Avaliação direta e conjunta de Sistemas de Indexação Automática por Atribuição. Informação & Sociedade: Estudos, João Pessoa, v. 30, n. 4, p. 1-27, 2020. DOI: 10.22478/ufpb.1809-4783.2020v30n4.57259.

SUOMINEN, O. Annif: DIY automated subject indexing using multiple algorithms. LIBER Quarterly: The Journal of the Association of European Research Libraries, v. 29, n. 1, 2019. DOI:10.18352/lq.10285.

SUOMINEN, O.; INKINEN, J.; LEHTINEN, M. Annif and Finto AI: Developing and Implementing Automated Subject Indexing. JLIS.It, v. 13, n. 1, p. 265-282, 2022. DOI: 10.4403/jlis.it-12740.

VERGARA, S. C. Projetos e relatórios de pesquisa em administração. 11. ed. São Paulo: Atlas, 2009.

Publicado

2024-03-02

Como Citar

CORREA, Renato Fernandes; FUJITA, Mariângela Spotti Lopes. Método para avaliação direta da indexação automática via julgamento por indexadores. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da informação, [S. l.], v. 29, p. 01–29, 2024. DOI: 10.5007/1518-2924.2024.e96485. Disponível em: https://periodicos.ufsc.br/index.php/eb/article/view/96485. Acesso em: 21 jun. 2024.

Artigos Semelhantes

1 2 3 4 5 6 7 8 9 10 > >> 

Você também pode iniciar uma pesquisa avançada por similaridade para este artigo.

Artigos mais lidos pelo mesmo(s) autor(es)

1 2 > >>