Proposta de Trabalho

Orientador: Marcelo Gomes de Queiroz Coorientadores: Carolina Brum, Antonio Deusany de Carvalho Junior

Contexto geral e motivações:

Até 2016, os dispositivos Android representavam uma fatia de 90% do mercado brasileiro de smartphones[1]. A partir da versão 5 (Lollipop), sua latência de som começou a diminuir consideravelmente, chegando a casos no qual a latência foi menor do que 10ms[2], o suficiente para ser percebido como instantâneo para o ouvido humano.

Estes dispositivos geralmente possuem sensores como giroscópio,sensores de aceleração linear, de pressão, entre outros. Tais sensores podem ser utilizados como controladores sonoros. Por exemplo, ao movimentar o celular para o lado um player poderia trocar de música.

Um instrumento aumentado é um instrumento musical tradicional cujas habilidades sonoras foram estendidas através de sensores ligados ao instrumento.

Estas características, tanto a latência baixa como os sensores embarcados, podem ser utilizados na criação de instrumentos aumentados. Um músico poderia utilizar seu celular tanto quanto um processador de sinais, quanto como um controlador de efeitos extras, podendo adicionar à performance sem precisar de equipamentos extras.

Proposta:

A proposta do trabalho é desenvolver um aplicativo para android que visa agir tanto quanto um processador de sinais quanto um controlador de efeitos sonoros.

A idéia é que um aplicativo irá receber um sinal de entrada proveniente de um instrumento musical, processará esta entrada com efeitos pré-selecionados pelo usuário e ajustará os efeitos a fim de produzir a resposta com baixa latência, para o músico poder utilizar em apresentações ao vivo.

Além da seleção de efeitos, o aplicativo também permitirá ao usuário o controle dinâmico dos parâmetros dos efeitos através dos sensores do dispositivo.

Trabalhos similares:

Existem já alguns aplicativos que utilizam o celular como um processador de sinais. Um exemplo é o AmpliTube, que é utilizado para dar timbres novos a guitarras e/ou baixos. Porém este aplicativo só está disponível para aparelhos IPhones ou aparelhos android que contêm samsung pro audio.

Há aplicativos como sensors2OSC e sensors2PD, que resgatam os sensores dentro do dispositivo Android e retornam as informações, ou no formato Puredata (PD) ou no formato Open Sound Controller (OSC).

Problemas computacionais a serem enfrentados:

Este projeto apresenta alguns desafios do ponto de vista computacional, entre eles podemos destacar dois:

Quanto processamento podemos realizar em um sinal de áudio em um aparelho comum antes do tempo entre a entrada e a resposta ficarem muito grandes, e no caso de inviabilidade de realizar o efeito desejado em tempo real, como podemos tentar diminuir o processamento.

Como manter a performance e manter o custo de energia baixo, visto que o aplicativo estará rodando em um celular com bateria e não em um computador sem as mesmas restrições no consumo de energia.

Cronograma

Bibliografia inicial:

BIANCHI, Andre Jucovsky and QUEIROZ, Marcelo - On the performance of real-time DSP on Android devices

BIANCHI, Andre Jucovsky - Processamento de ´audio em tempo real em plataformas computacionais de alta disponibilidade e baixo custo.

CARVALHO Junior, Antonio Deusany and Mayer Thomas - Sensors2OSC

Links:

[1] http://blogs.oglobo.globo.com/lauro-jardim/post/vendas-de-celulares-com-sistema-android-e-windows-cresceram-no-brasil-em-2015-ios-teve-queda.html

[2] http://superpowered.com/superpowered-android-media-server