Trabalho de Formatura Supervisionado
Bacharelado em Ciência da Computação, Instituto de Matemática e Estatística - Universidade de São Paulo
Aluno: Luca Assumpção Dillenburg
Número USP: 11796580
Orientadora: Prof. Nina Sumiko Tomita Hirata - Universidade de São Paulo (USP)
Explorando o Potencial da Arquitetura Transformer na Evolução de Chatbots
Proposta
Contextualização
A inteligência artificial tem sido uma das áreas de pesquisa mais promissoras nas últimas décadas, servindo como ferramenta fundamental para diversas profissões além possibilitar novos negócios. Uma das aplicações mais populares da IA são os chatbots, que ganharam ainda mais ênfase nos últimos anos com o lançamento do Chat-GPT, o qual se tornou a aplicação com crescimento mais rápido da história ultrapassando 100 milhões de usuários após apenas dois meses. Com esse novo marco, projeta-se que as empresas começarão a migrar seus chatbots de uso específico para Large Language Models similares ao modelo GPT-3.5 do Chat-GPT.
Objetivos do Trabalho
O objetivo primário deste trabalho é compreender as diferenças entre as diferentes abordagens para construção de chatbots; e o funcionamento de um chatbot com Large Language Models, estudando mais a fundo as redes neurais e a arquitetura transformer. Em um segundo momento, está o desenvolvimento chat-bots especialistas. Isto é, diferentemente do Chat-GPT, que é um chat-bot generalista, os chat-bots especialistas são programados para lidar com domínios específicos de conhecimento baseado em documentos pré-estabelecidos. Os chat-bots devem ser fluídos, sendo capaz de manter uma conversa natural e fornecer respostas precisas.
Cronograma
Para atingir o objetivo proposto, segue o cronograma definido no início do ano com as datas em que cada tarefa foi realizada:
| Atividade | Abr | Mai | Jun | Jul | Ago | Set | Out | Nov | Dez | Jan |
|---|---|---|---|---|---|---|---|---|---|---|
| Estudo de conceitos de aprendizado de máquina e de redes neurais; | X | X | ||||||||
| Investigação das principais formas utilizadas para a construção de chatbots; | X | X | ||||||||
| Estudo de redes neurais recorrentes; | X | X | ||||||||
| Estudo de atenção e transformers, Large Language Models (GPT e similares); | X | X | ||||||||
| Procura de datasets que possam ser usados para o treinamento de chatbots; | X | |||||||||
| Implementação de chatbots de acordo com as formas pesquisadas na primeira etapa, incluindo um chatbot clássico e um chatbot baseado em LLM; | X | X | ||||||||
| Melhoria dos modelos, comparação e avaliação dos resultados; | X | X | ||||||||
| Elaboração da monografia. | X | X |
Monografia
Acesse a monografia clicando nesse link.
Código
Download o código clicando nesse link.