A dual system for audio and image streams

Neste trabalho descrevemos os conceitos teóricos, bem como apresentamos a proposta de um sistema dual para sequenciamento de imagens e síntese granular definida em um Espaço de Gabor Estendido, o qual pode ser útil para compositores de música eletroacústica, música eletrônica, sound designers e instalações artísticas. O sistema sintetiza ambientes sonoros com fluxos de sons granulares com conteúdo sonoro diretamente relacionada a parâmetros de sequencias de imagens ou video. Inversamente, o sistema também gera sequencias de imagens complexas, construídas de uma biblioteca de imagens básicas, com conteúdo diretamente relacionado aos parâmetros de um fluxo sonoro granular em tempo real.

In this work we describe the theoretical concepts as well the proposal of a flexible dual system for granular sound synthesis and image sequencing from an extension of the Time-Frequency Space named Extended Space Gabor (ESG), which can be useful to composers and performers of electroacoustic music, electronic music, soundscapes designers and artistic installations. This system is able to synthesize soundscapes with granular streams directly integrated to the information content of images or videos. Conversely the system also is able to generate complex images from a library of basic graphics through a construction process controlled by the parameter values of a granular sound stream in real time, that is, based on the information content of the audio. So, this is a dual system integrating images and sounds using their information content.