Ecrit par D_Z | Dans la rubrique Sac à idées mal démêlées | Le jour où on était le 17.5.11
[Warning préalable : ce qui suit n'a pas vocation à être exhaustif. Il s'agit d'un petit état de l'art totalement ouvert, écrit pour mon propre souvenir sur des sujets sur lesquels j'ai beaucoup d'intérêt ces derniers temps, mais sur lesquels je ne pourrais en aucun cas prétendre à une parole d'experte ou de spécialiste.]
Qui n'a jamais rêvé d'écouter une oeuvre picturale les yeux fermés, ou de voir une symphonie en Technicolor ? Ou encore, pour celles et ceux dont les perceptions se chevaucheraient un peu ("A noir, E blanc, I rouge, U vert, O bleu" ... Une légère synesthésie, nous apprendraient les sciences cognitives), d'être capable de le formaliser et de le conceptualiser, voire de créer des outils ad-hoc - en l’occurrence des interface - pour permettre le dialogue à deux voix - thème et traduction - entre les langages de la sensibilité visuelle et de la sensibilité musicale ?
Qui n'a jamais rêvé d'écouter une oeuvre picturale les yeux fermés, ou de voir une symphonie en Technicolor ? Ou encore, pour celles et ceux dont les perceptions se chevaucheraient un peu ("A noir, E blanc, I rouge, U vert, O bleu" ... Une légère synesthésie, nous apprendraient les sciences cognitives), d'être capable de le formaliser et de le conceptualiser, voire de créer des outils ad-hoc - en l’occurrence des interface - pour permettre le dialogue à deux voix - thème et traduction - entre les langages de la sensibilité visuelle et de la sensibilité musicale ?
Du son à l'image - spatialisation et illustration sonore en temps réel
Ne me répondez pas "non", car c'est ce que vous faites malgré vous à chaque fois lorsque vous écoutez de la musique sur ordinateur, si vous avez installé un de ces populaires plug-ins de visualisation qui existent tant chez Winamp que chez Windows Player et consorts, pour nous improviser fractales et autres kaléidoscopes esthétisants en temps réel. Ce qui est bien la preuve qu'on peut facilement interfacer des dispositifs de créations d'image partant d'un son au format numérique, dont toutes les caractéristiques d'onde sont connues car déjà échantillonnées (et puisque "reproduites" au travers d'un haut-parleur - même si cela a dû passer par une compression impactant la qualité du son).
Vu que mon ordinateur était sourd comme un pot de fleurs, je lui ai appris à me parler en musique visuelle... (Malheureusement il continue à être désespérément docile comme une pierre et à ne faire que ce que je lui demande.)
Il s'agit là d'une utilisation bien connue mais surtout récréative, le but étant vaguement esthétisant : fournir une image mouvante en temps réel flattant les sens de l'auditeur qui regarde son ordinateur. Dans un autre registre, celui de l'illustration visuelle de concerts, il y aurait beaucoup à dire sur le Vjing (vidéo-dj-ing, cliquez-donc). Je ne connais pas grand chose à cette discipline donc je ne m'étendrais guère, mais en schématisant au maximum, il s'agit des animations visuelles, comportant une part de temps réel, une part de préparation à l'avance, et une marge d'intervention de l'artiste VJ en temps réel, qu'on peut voir lors de certains concerts, en particulier dans le domaine des musiques électroniques.
Tout cela est bien joli (littéralement très joli), mais on peut aussi se demander à quoi ça sert, en dehors du champ de l'illustration artistique. Quel est l'intérêt à traduire les sons en image ?
Les expérimentations (et pas forcément simples illustrations) artistiques actuelles, dans le joyeux pelle-mêle qui leur est propre, peuvent aider à répondre à cette question, et en l'occurrence la réponse peut-être affirmative. Et à la rescousse je m'en vais convoquer un exemple qui m'a assez marquée : Seconde Nature (clic clic) est une installation artistique de Matt Pyke et de Karsten Schmidt mêlant perceptions visuelles et sonores : en entrée du système, il y a les sons qu'on lui soumet, lesquels génèrent des arborescences sphériques via un algorithme, ce qui permet aux deux designers de donner à chaque type de son une identité graphique.
Chaque typologie de forme est ensuite en mesure d'être associée à un style musical. (Même si dans les faits, j'ai l'impression que les typologies ont été obtenues via sons brefs, en témoignent leurs vidéos de démonstration. Mais qu'importe, ça ne va pas froisser mon enthousiasme pour autant.). On est loin des effets colorés divertissants d'un programme informatique grand public, ici la représentation visuel se voit enfin adjoindre d'une finalité : celle d'une reconnaissance et d'une capacité à "trier" la musique en diverses typologies.
Et c'est là que les choses deviennent réellement intéressantes, peut-être : l'algorithme a changé la musique en symboles visuels simplifiés et intelligibles pour qui va les lire.
Trajectoires des gluons dans une collision de particules réalisée au CERN ? Tout faux, symboles musicaux déterminés par un algorithme. (De l'inconvénient d'employer le mauvais dictionnaire face aux symboles)
Dans le domaine des transformations de la musique vers des images, il y aurait encore beaucoup à dire. Je vais notamment citer le site de The Music Animation Machine, décrivant les expérimentations des 25 dernières années (clic clic). N'hésitez pas à lire un peu, car c'est franchement intéressant. Et pour le plaisir des yeux, ce que te tels programmes peuvent donner en terme d'illustration graphique dans une petite vidéo ci-dessous.
De l'image au son - jouer de la musique en traçant des signes sur le sable (écrire sur l'eau, comme dirait John Cage)
Exemples de partitions graphiques par R. Haubenstock-Ramati (gauche) et J. Cage (droite)
Il y a de quoi baratiner au vu de l'angle précédent (A savoir son ->), et je ne m'en suis d'ailleurs pas privée (pauvres de vous qui m'avais lue jusque là, rassurez-vous il est encore temps d'arrêter et de faire quelque chose de constructif de votre temps, non ?). Mais qu'en est-il du schéma inverse, de la génération directe d'un son à partir d'une image ? Outre la lecture musicale à partir d'une partition et de ses symboles, s'entend. Et encore, les expérimentations du XXième siècle ont cherché à chambouler la notation musicale occidentale traditionnelle via le concept de partition graphique (clic clic), lequel s'avère dans les faits plus ou moins fumeux suivant leurs instigateurs (Je pense notamment à John Cage).
Exemples de partitions graphiques par R. Haubenstock-Ramati (gauche) et J. Cage (droite)
Le but étant souvent de maximiser la place accordée à "l'interprétation" sensible d'un interprète, dont le libre arbitre se voit possiblement convoqué pour orienter l'interprétation. Encore une fois, c'est bien joli, mais encore une fois, on est bien éloignés d'une réciprocité idéale et immédiate entre son et image.
L'idée serait donc d'automatiser l'interface son -> image afin de figer par l'algorithmie des règles de conversion. Le CEMAMu (Centre d'Etudes de Mathématique et Automatique Musicale) a sur ce sujet développé des expérimentations très intéressantes en mettan au point dans les années 1970 une première version de l’UPIC (clic clic), tablette graphique reliée à un ordinateur, avec un affichage vectoriel, sur lequel l'utilisateur dessine les formes d'ondes et les enveloppes de volume, qui sont ensuite traitées par l'ordinateur. En 1987 est produite une version temps-réel, et les développements continuent ainsi jusqu'à l'aboutissement par exemple du séquenceur graphique (car c'est de cela dont il s'agit dans le cadre d'une telle démarche) open-source Iannix. Il existe par ailleurs d'autres outils du même type, citons à titre d'exemple le logiciel Coagula (clic clic).
Plus grand public, on pourrait aussi citer les outils de séquençage MIDI (clic clic) qui permettent de produire de la musique selon une certaine convention à partir de ce qui relève de la partition graphique.
Le séquençage MIDI : une partition graphique, si on veut ...
Ce genre de questions est également au coeur des préoccupations intéressant les programmes de recherche de l'IRCAM (tu m'étonnes John.)
Une telle forme d'article expérimental se qualifiant lui même de "sac à idées mal démêlées", il arrive désormais le moment de conclure, et même si on est encore un peu sur sa faim et que le sujet est (et heureusement) bien loin d'être épuisé. On se rend compte à quel point tout cela réveille des fantasmes artistiques à peine enfouis (je pense notamment à un Klee (clic clic) ou un Kandinsky (clic clic) lesquels ont cherché et même théorisé des correspondances graphiques avec le rythme et la tonalité) et dépasse de beaucoup le cadre de la petite promenade intellectuelle amateuriste que décrit cet article. Et autant pour les diverses aspirations à l'art total qui ont ponctué la vie artistique depuis le 19ème siècle.
Paul Klee, Polyphonie (1932)
Et ça me paraît être une très belle image pour clore cet article.
Wikio
Commentaires (0)
Enregistrer un commentaire