Utiliser un patch Pure Data / Gem qui analyse une ligne de la vidéo et remplit en temps réel 3 buffers (tables) avec les valeurs de Rouge / vert / Bleu de chaque pixel de la ligne (ici 1920 pixels).
Un autre patch audio utilise ces 3 buffers / tables de valeurs pour synthétiser de l'audio de différentes manières : soit en les lisant simplement comme s'il s'agissait d'un échantillon audio, soit pour faire de la synthèse granulaire ou additive avec différentes règles d'harmonie
Cela a donné lieu à la production de 4 fichiers audio chacun correspondant à une technique de sonification, 2 ont été gardés et mixés pour donner le fichier audio récupérable
ici
Le fichier résultant est DIVAGATION_AUDIO.wav, le répertoire AUDIO contient les 4 fichiers produits avec les 2 finalement utilisés soit b01sonifvideo_0_2_35_616.wav et b01sonifvideo_0_16_58_460.wav mixés et masterisés à coup de sabots (désolé), possible d'y retoucher.
Le programme est
ici