Classificação com o GPT: Comparação entre abordagem semântica e sintática na classificação da liquidez de sentenças
jurídicas
Autor: Lucas Nunes Macedo
Orientador: Professor Dr. João Eduardo Ferreira
Resumo: Com o aumento da popularidade explosiva dos Chat bots, em especifico o Chat GPT, surgiu um movimento crescente
para utiliza-lo em diversas áreas, entender como ele se comporta é fundamental para verificar sua este trabalho tem
como objetivo medir seu desempenho para classificação de sentenças jurídicas quanto a sua liquidez, esta tem papel
fundamental para o inicio de um recurso, ditando como o valor para iniciar o processo deve ser calculado, podendo
pertencer a classe líquida ou ilíquida, a informação para essa classificação está localizada na parte final, chamada
dispositivo. Para isso foi definido uma estrutura de prompt divididas em partes, mudando apenas quais delas fazem parte
de cada experimento. Assim foram realizados experimentos com o GPT Puro, sem informaçoes externas, com definições
semânticas e sintáticas do projeto, retornando a classe e um trecho do dispositivo que justificasse essa classificação.
Analisando os resultados dos experimentos foi perceptível que o GPT por si só não consegue executar a tarefa de maneira
efetiva, precisando de conhecimentos prévios fornecidos por exemplos, definições e regras sintáticas, além disso foi
necessário aperfeiçoar o prompt semântico, visto que apesar dos resultados melhores que o puro, o primeiro teve um
desempenho péssimo quando comparado ao semântico. Assim foi concluído que apesar do GPT ser uma ótima ferramenta,
confiar cegamente nele , sem possuir domínio da área para compreender a qualidade do retorno, não é uma abordagem que
garante bons resultados e também, apesar de ser mais fácil atingir o resultado no caso sintático que no semântico, após
melhorar os prompts, é possível chegar a resultados com qualidade similar a abordagens tradicionais.
Monografia: Clique aqui