Trabalho de Formatura Supervisionado

Uso de Redes Neurais Mistas Para Classificação de Plâncton

Por: Antonio Augusto Abello

Supervisor: Roberto Hirata Jr

Proposta de Trabalho

Tema

Redes neurais convolucionais são o estado da arte em classificação automática de imagens. No entanto, elas são agnósticas de domínio, por vezes até incorrendo em perda de informação deste. Pretende-se explorar a existente literatura de classificação de plâncton, baseada em extração de características por meio de conhecimento específico do domínio, para montar um modelo misto de rede neural profunda e de features que aproveite esse conhecimento prévio existente.

Introdução

Aprendizado de máquina é uma área da Ciência da Computação e da Estatística que trata do estudo de padrões em dados, e a resolução de problemas por meio do aprendizado desses padrões através da otimização matemática (Bishop, 2006). O crescimento sem precedentes da quantidade de dados disponível motivou um alto interesse acadêmico e corporativo, com o consequente desenvolvimento de diversos métodos e aplicações.

Dentre os problemas possíveis de se solucionar dessa maneira, esse trabalho se concentrará na classificação supervisionada: dado um espaço possível de dados de entrada (X) e um espaço de classes (Y), queremos aproximar tão bem quanto possível a função ideal f: X → Y, que classifica corretamente qualquer elemento de X, a partir de um conjunto D de exemplos classificados (x_i, y_i)

Inicialmente, a base do trabalho em classificação era a extração de características dos dados do domínio de interesse (Feature Engineering). Assim, se podia reduzir cada exemplo a um vetor em Rⁿ, e buscar mais fácilmente uma função g: Rⁿ → Y dentre uma família de funções que melhor aproxime f. Exemplos de algoritmos e famílias de funções são árvores de decisão, hiperplanos separadores (Support Vector Machines, Perceptron) e redes neurais. Esse último modelo explicitamente modela a função f como a composição de produtos vetoriais (w^Tx) e funções não-lineares, chamadas de funções de ativação. Os vetores w, também chamados de pesos, são iterativamente ajustados por meio da propagação do erro de classificação (backpropagation), assim aproximando a rede neural da função f.

Um desenvolvimento posterior desse modelo permite que a extração de características em si seja otimizada a partir dos exemplos. São as chamadas Redes Neurais Convolucionais (LeCun, 1989). Parte-se do mesmo princípio de composição de funções lineares e não-lineares, mas ao invés de reduzir o exemplo a um vetor em Rⁿ, se processa uma imagem por completo, como uma matriz. Além disso, ao invés de um produto vetorial com pesos ajustáveis se aplica uma convolução de um filtro ajustável. A rede gradativamente reduz a dimensão do exemplo (por meio de convoluções com passos "stride" maiores, ou operações de subsampling) até transformá-lo novamente em um vetor de números, processado então por uma rede neural comum para gerar a classificação. Assim, a extração de características é em si otimizada, e o foco de concentração passa a ser a arquitetura da rede (e os hiperparâmetros dessa).

A efetividade das redes neurais convolucionais (CNNs) e a popularização de hardware (em especial placas de vídeo), que permitem sua paralelização e uso eficiente, fez com que esse modelo crescesse em popularidade e se tornasse o estado da arte no problema de classificação. Sua fácil aplicação, independente do domínio ou tarefa, também foi um fator decisivo. Mas se por um lado ela torna desnecessário a produção de conhecimento específico, é possível levantar questões de o que fazer quando esse conhecimento já existe, como integrá-lo eficientemente ao modelo. Além disso, a necessidade de um tamanho de input fixo pode levar a perda de informação. Esse projeto, então, buscará técnicas de como integrar esse conhecimento e essa informação às CNNs, e testará as soluções no problema específico de classificação de plâncton, em parceria com o LAPS (Laboratório de Sistemas Planctônicos) do Instituto Oceanográfico

Objetivos

• Levantar o estado da arte na integração de CNNs com classificadores baseados em características heurísticas
• Aplicar o método à classificação de plâncton

Tarefas

• Levantamento bibliográfico do estado da arte
• Estudar Redes Neurais Convolucionais e sua implementação
• Estudar estratégias existentes de extração de características de plâncton
• Implementar um modelo misto de rede neural convolucional e de características heurísticas
• Planejar experimentos para avaliar o resultado
• Analisar os resultados

Cronograma

Referências

• Pattern Recognition and Machine Learning (Bishop, C., 2006)
• Learning From Data (Abu-Mostafa, Y., 2012)
• Convolutional Neural Networks for Visual Recognition (Karpathy, A. MOOC disponível aqui )
• Generalization and Network Design Strategies (LeCunn, Y. 1989)
• Deep Learning (Goodfellow, I and Bengio, Y and Courville, A, 2017) - Livro disponível aqui