Trabalho de Formatura Supervisionado

Departamento de Ciência da Computação Instituto de Matemática e Estatística Universidade de São Paulo
José Lucas Silva Mayer Orientador: Denis Deratani Mauá Co-orientador: Igor Cataneo Silveira

Avaliação Automática de Redações no Modelo do ENEM por meio do fine-tuning do BERTimbau

A avaliação automatizada de redações, que integra as ferramentas de inteligência artificial à educação, tem obtido um notável crescimento nos últimos anos, impulsionada pelo uso de técnicas avançadas de processamento de linguagem natural. Esta abordagem, caracterizada pela atribuição de notas a produções textuais de estudantes, ganha destaque no âmbito do Exame Nacional do Ensino Médio (ENEM), principal meio de admissão ao ensino superior no Brasil. Nesse contexto, a tecnologia demonstra grande potencial para agilizar a cadeia logística de avaliações, oferecendo meios eficazes de qualificar as competências de escrita dos alunos em escala nacional. Este trabalho explora o desenvolvimento de sistemas automáticos de correção de redações em língua portuguesa, alinhados ao formato do ENEM. A partir de coletâneas abertas de textos avaliados por especialistas, elaboraram-se estruturas que se utilizam do BERTimbau, um modelo de linguagem fundamentado em transformers e adaptado ao português, para codificar redações com riqueza semântica, empregando-as no treinamento de redes neurais capazes de atribuir notas correspondentes. Em particular, cinco sistemas independentes foram construídos com o intuito de avaliar os textos a partir de uma matriz de competências, como exigido pelo ENEM. Além disso, ao longo do projeto, aprimorou-se a eficácia dos modelos por meio da utilização de técnicas especializadas de aprendizado. Isso incluiu a investigação automática de configurações ideais de hiperparâmetros para as redes, buscando aprimorar a precisão dos resultados obtidos. Apesar da constatada ineficácia no processo de otimização de hiperparâmetros, a opção por arquiteturas fixas revelou-se promissora, aproximando os resultados da avaliação automática da qualidade das correções humanas.