Le signe doux a-t-il un son ? Dessiner le son : du passé au futur Convertir l'image en son

En général, j'ai récemment décidé de consulter Wikipédia (un réservoir de connaissances véritablement inépuisable), et là je suis tombé sur la définition d'un spectrogramme. Il s'est avéré qu'il y a quelque chose à emprunter sur le thème du dessin avec le son. Tout d'abord, il s'agit d'une liste de programmes qui vous permettent de synthétiser le son à partir d'images. La liste comprend le programme Coagula, qui nous est très connu (d'ailleurs, il se trouve dans notre sous-section logiciel), mais il y en a d'autres, à savoir :

MetaSynth pour Macintosh ;
Coagula pour Windows ;
Synthétiseur additif "BeepMap" de FL Studio.

Le projet open source et multiplateforme présente des expériences amusantes mais hautement éducatives. Le programme vous permet de transformer le son en une image spectrale (avec la résolution spécifiée), et vice versa, de synthétiser le son à partir de l'image (avec les paramètres spécifiés).

Un autre joker est le groupe Plaid. Dans la chanson "3recurring", il contient un logo dans son spectrogramme.

Et Nine Inch Nails utilise également la technique consistant à cacher des images dans le spectre des morceaux de l'album "Year Zero".

De manière générale, cette méthode a clairement séduit certains musiciens. En principe, la même méthode peut facilement être utilisée comme outil de stéganographie.

Ce sujet est très intéressant et, je pense, de nombreuses autres découvertes seront découvertes liées au dessin du spectre et aux images sonores.

Une personne créative est toujours intéressée par des expériences audacieuses qui ouvrent de nouveaux horizons et de nouvelles possibilités. L'idée fantastique de peindre de la musique, de créer des peintures uniques qui incarnent le graphisme et le son, remonte au début du 20e siècle. Dans cet article, je parlerai de l'historique du problème, ainsi que de deux de mes développements qui vous permettent de faire quelque chose d'étonnant : enregistrer et lire des sons sous forme graphique.

Arrière-plan

En 1904, l'inventeur français Eugène Augustin Last présenta un prototype de système d'enregistrement optique du son sur film et organisa en 1911 ce qui aurait pu être la toute première projection d'un film utilisant cette nouvelle technique. L'ère du déclin du cinéma muet et des découvertes révolutionnaires dans le domaine du son synthétique a commencé - pour la première fois, il était possible d'obtenir un moyen simple, pratique et très visuel de gérer les informations audio.

À la fin des années 1920, alors qu'ils travaillaient sur l'un des premiers films sonores soviétiques, les avantages d'une telle technologie ont été remarqués par le compositeur Arseny Avraamov, le concepteur Evgeny Sholpo et le réalisateur-animateur Mikhaïl Tsekhanovsky. La chaîne logique a été construite comme suit : si l'on voit clairement une piste avec une onde sonore enregistrée, cela signifie que l'on peut créer artificiellement la même onde, simplement en la dessinant à la main. Et si vous y mettiez un ornement, une combinaison complexe de motifs ou de primitives de la géométrie euclidienne ? Le résultat sera-t-il fantastique ? Après tout, vous pouvez ainsi créer un son tout à fait unique qui n'existe pas dans la nature, et la musique peut être écrite sans véritables instruments, microphones et interprètes.

Plusieurs laboratoires se sont rapidement lancés dans l'étude de ces questions. En conséquence, des synthétiseurs de phonogrammes optiques sont apparus : "Variofon" d'Evgeniy Sholpo, "Vibroexponent" de Boris Yankovsky, la machine de Nikolai Voinov pour marquer les "peignes" de papier - les fragments de base du son synthétisé. À l'oreille, tout cela rappelait beaucoup la musique moderne 8 bits, mais avec un plus grand degré de liberté : toute forme de vibration, une polyphonie illimitée, les motifs rythmiques les plus inimaginables. Pensez-y : un synthétiseur optique, un ordinateur musical dans les années trente du siècle dernier ! Mais ce ne sont que des fleurs. La réflexion des ingénieurs soviétiques allait plus loin.

Contrairement à ses collègues, l'acousticien Boris Yankovsky a été l'un des premiers à comprendre que pour créer des sons complexes et réalistes, il ne suffit pas de décrire uniquement la forme des vibrations. La partie la plus importante de l'information acoustique est le spectre, qui définit clairement la composition fréquentielle du son, sa couleur, par laquelle nous donnons des définitions subjectives telles que brillante, chaude, métallique, semblable à une voix humaine, etc.

Yankovsky a commencé à structurer les graphiques de spectre de base en une sorte de « tableau périodique » d'éléments sonores, tout en développant simultanément des algorithmes pour leur traitement et leur hybridation afin d'obtenir de nouveaux sons basés sur des « spectrostandards ». Malheureusement, les changements survenus dans le pays et la guerre n'ont pas permis à Yankovsky de mener son travail à sa conclusion logique.

Le sujet a été poursuivi par sa connaissance, le jeune inventeur Evgeny Murzin, impressionné par les développements dans le domaine du « son graphique » et a conçu un projet grandiose - une machine photoélectronique universelle capable de synthétiser n'importe quel son, n'importe quelle structure musicale en dessinant un spectrogramme ( dépendance du spectre au temps) sur une toile spéciale sans gêner les opérations telles que le développement et le séchage du film. Cela rendrait les choses plus faciles travail acharné compositeur, offrant une liberté de créativité sans précédent.

Littéralement à genoux, travaillant le soir dans la salle d'une caserne à deux étages, Murzin a réalisé une maquette fonctionnelle de l'appareil en 1958. L'appareil pesait plus d'une tonne et, extérieurement, n'avait pas grand-chose en commun avec un instrument de musique au sens classique du terme. L'invention a été baptisée « ANS » en l'honneur du compositeur Alexandre Nikolaïevitch Scriabine. Malgré apparence, ANS est devenu une sensation mondiale, des décennies en avance sur son temps et s'inscrivant avec succès dans la période d'euphorie cosmique avec son son atmosphérique unique.

L'ANS rappelle un peu un scanner moderne, sauf que ce n'est pas la bande de numérisation qui s'y déplace, mais la surface avec l'image elle-même - une grande plaque de verre (score) recouverte de peinture opaque. La peinture est enlevée aux bons endroits avec un cutter fin, formant un dessin d'un spectrogramme d'une œuvre musicale. La partition se déplace en douceur, passant sur le trou d'où provient un faisceau de lumière intermittent « modulé » provenant d'un générateur opto-mécanique de sons purs basé sur cinq disques phonogrammes optiques spéciaux. Une partie de la lumière traverse les zones transparentes de la partition, après quoi elle est focalisée sur un ensemble de photocellules, d'où le son est libéré, prêt à être joué, sous forme d'oscillations de courant électrique.

Le cœur de l'ANS est le disque susmentionné avec un motif de 144 pistes (comme sur un disque de gramophone), dont la transparence varie le long d'une sinusoïde avec une certaine fréquence. La différence de fréquence entre les pistes adjacentes est de 1/72 octave. Ainsi, un disque contient deux octaves et l'octave est divisée en 72 tons purs - Murzin considérait le tempérament classique à 12 tons comme une limitation importante. Essentiellement, chaque disque est une implémentation optique de l'algorithme de transformée de Fourier qui est à la base de nombreux synthétiseurs et effets logiciels modernes. C'est normal aujourd'hui, à l'époque du gigahertz et du gigaoctet, mais il y a 50 ans, c'était tout simplement incroyable : un synthétiseur spectral capable de jouer 720 sons purs simultanément ! Ce n’est pas pour rien que l’ANS est considéré comme le premier synthétiseur musical multi-voix au monde.

Si vous pensez n'avoir jamais entendu les sons ANS auparavant, vous vous trompez probablement. Rappelez-vous simplement les films "Solaris", "Mirror", "Stalker" d'Andrei Tarkovski, fascinants par la musique magique d'Eduard Artemyev. Ou une scène de cauchemar de la comédie « The Diamond Arm » de Leonid Gaidai. Il convient de noter que la carrière d’Artemyev en tant que compositeur électronique a commencé précisément avec sa connaissance d’ANS et de son créateur en 1960. Outre Artemyev, Alfred Schnittke, Edison Denisov, Sofia Gubaidulina, Stanislav Krejci ont réussi à travailler avec l'instrument et les sons d'ANS dans des moments différents utilisé dans leur musique par des groupes tels que Coil et Bad Sector.

Malheureusement, un seul exemplaire du synthétiseur ANS, fabriqué industriellement fin 1963, a survécu à ce jour. Il est situé à Moscou au Musée national de la culture musicale de Glinka. Malgré son sort difficile, l'appareil est toujours en état de marche et joue de temps en temps pour les visiteurs du musée sous la surveillance attentive de Stanislav Krejci. Pour ceux qui sont loin de Moscou ou qui souhaitent simplement expérimenter le son de l'ANS à la maison, il existe un simulateur logiciel appelé Virtual ANS.

Virtual ANS : éditeur graphique

Le développement de Virtual ANS est réalisé par l'auteur de cet article depuis 2007. L'objectif du programme est de recréer autant que possible les caractéristiques et l'atmosphère clés de l'ANS de fer, tout en élargissant l'idée originale en tenant compte des riches capacités des ordinateurs modernes. Parmi les principales différences :

Le programme est multiplateforme (Windows, Linux, OS X, iOS, Android), ce qui vous permet de travailler avec l'instrument n'importe où et sur n'importe quoi : d'un téléphone bon marché à un puissant ordinateur de studio ;
le nombre de générateurs de sons purs de base n’est désormais limité que par l’imagination de l’utilisateur et la vitesse du processeur central ;
il est devenu possible de reconvertir le son en spectre.

Virtual ANS est un éditeur graphique avec un ensemble d'outils classiques : primitives, pinceaux, calques, effets, chargement/enregistrement de PNG, GIF, JPEG. Mais l’image que vous voyez à l’écran est en réalité la partition d’une œuvre musicale (également appelée échographie ou spectrogramme), que vous pouvez écouter à tout moment ou écouter et dessiner en même temps. La partition décompose la composition en « atomes sonores » – morceaux indivisibles de tons purs (oscillations sinusoïdales). Horizontal - Axe du temps X (de gauche à droite). Vertical - pas Y (de bas en haut des basses aux hautes fréquences). La luminosité d'un pixel individuel est le volume d'un ton pur de fréquence Y au temps X. L'image du spectre est divisée verticalement en octaves, une octave en 12 demi-tons, un demi-ton en microtons encore plus petits et à peine perceptibles, pour une image précise. description de tout système musical, de tout timbre le plus inimaginable. Si nous traçons une ligne horizontale d’un pixel d’épaisseur sur le score ANS, nous entendrons une seule sinusoïde avec une fréquence constante. Plus la ligne est épaisse, plus elle contiendra des tons purs, plus le son sera complexe et plus le son se rapprochera du bruit blanc, saturé d'harmoniques de toutes les fréquences de la plage audible. La combinaison de telles lignes avec d’autres figures de luminosité différente donne des variations sonores inattendues et intéressantes.

En travaillant sur Virtual ANS, une idée intéressante est venue. Un fragment d'un fichier audio ou, par exemple, un enregistrement vocal provenant d'un microphone peut être converti en une partition ANS, c'est-à-dire en un spectrogramme - une image contenant du son codé. Et ce son peut être facilement reproduit en utilisant le même programme. Il existe un désir naturel d’imprimer une image du spectre sur une imprimante et d’obtenir une copie papier de votre voix ou de votre musique.

C'est dans ce but qu'a été conçu PhonoPaper - un autre projet qui hérite des idées des révolutionnaires du son du siècle dernier. Qu’est-ce que PhonoPaper ?

Le format d'image dans lequel l'audio est encodé. Ce code ne diffère du spectrogramme ANS que par le fait que des marqueurs spéciaux sont apparus en haut et en bas, grâce auxquels le dispositif de lecture détermine avec précision les limites du bloc avec le spectre.
Une application scanner permettant de lire les codes PhonoPaper en temps réel à l'aide d'une caméra.
Application Recorder pour convertir 10 secondes d'audio en code PhonoPaper. Cependant, pour un contrôle plus précis de la conversion, il est préférable d'utiliser l'ANS virtuel décrit ci-dessus.

Le code PhonoPaper peut être qualifié d'analogique, car il ne contient pas d'informations numériques et peut lui-même être écrit sur n'importe quelle surface disponible (papier, plastique, bois). Pour cette raison, divers types de distorsions ne sont pas critiques pour lui : dans un mauvais éclairage et du papier froissé, vous entendrez au moins les « contours » du message original. Pour écouter le code, vous n'avez pas besoin d'accéder au réseau - toutes les informations nécessaires sont stockées directement sur l'image et la lecture commence instantanément après être entrée dans le champ de vision de la caméra. Dans le même temps, comme dans le synthétiseur ANS de Murzin, l'utilisateur contrôle lui-même la vitesse et la direction du jeu en scannant manuellement le code sonore (bien qu'il existe également un mode automatique).

Cela a-t-il un sens pratique ? Imaginez : des signaux sonores dans des livres ou des manuels scolaires pour enfants ; un morceau d'une nouvelle chanson sur un disque ou une affiche promotionnelle pour un groupe ; étiquettes audio sur des produits ; messages secrets sur les murs des bâtiments ; cartes son et divers types d'expériences artistiques. Cela aurait du sens s'il y avait très manière simple lire de telles images. Après tout, vous devez le photographier, le charger dans le programme et indiquer avec précision les limites du spectre, la fréquence de base et le nombre d'octaves.

Mode d'emploi

Installez l'application PhonoPaper sur votre iPhone ou smartphone Android.

Lancez l'application.
Pointez sur chaque bande sonore.

Au lieu d'une conclusion

Comme nous le voyons, le prochain tour de spirale nous ramène aux origines. Et cela est naturel, car le monde d’aujourd’hui est sursaturé de processus de traitement de l’information cachés aux humains et est de plus en plus immergé dans l’espace virtuel, numérisé, codé et conditionné. Les instruments de musique cachent leur nature ; on ne peut pas les toucher ni regarder sous le couvercle pour toucher la magie de la naissance d'un nouveau son, pour ressentir son énergie. Dessiner de la musique au niveau « atomique » et transférer ce processus dans le monde réel est sans aucun doute un grand pas vers la réduction de la distance entre le compositeur et l'incarnation de ses idées créatives. Dans le même temps, la création musicale devient accessible aux amateurs et aux représentants des arts connexes ; nous ne sommes plus limités par des frontières et des règles rigides, et la notation musicale n'est désormais qu'un ajout. Prenez un stylo et du papier et commencez à créer un nouveau chef-d'œuvre.

Une personne est confrontée à la parole dès sa naissance. La première connaissance se fait avec les sons. Les sons de la parole sont ce que nous produisons lorsque nous parlons. Nous les entendons lorsque d'autres personnes parlent.

La connaissance des lettres commence plus tard. Nous écrivons des lettres et les voyons lorsque nous lisons un texte écrit.

Le son ne peut pas être écrit ou vu. Mais la lettre ne peut être prononcée. Mais chaque lettre a son propre nom : « A », « Be », « Er », « Sha ». Et ils sont nécessaires pour indiquer les sons par écrit.

Si nous essayons de prononcer un son indiqué par écrit par le signe «b», alors nous n'y parviendrons pas. Au mieux, le nom de la lettre « Soft Sign » sonnera. Mais pas de son signe doux ne veut pas dire. En russe, son rôle est complètement différent.

Pourquoi avez-vous besoin d'un signe doux ?

Malgré le fait que cette lettre n'indique pas de son, elle a plusieurs fonctions dans la langue russe.

Un indicateur de la douceur d’une consonne. Si dans un mot écrit un signe doux apparaît après la lettre désignant une consonne, alors ce son est prononcé doucement lors de la lecture. Un exemple montrant la différence dans la prononciation des sons désignés par la même lettre, avec et sans signe doux, peut être les mots « dal » et « dal ».

Fonction de séparation. A l'écriture, un signe doux sépare la lettre désignant une consonne et les voyelles I, E, Yo, Yu, I. Dans ce cas, la consonne est lue doucement, et les voyelles indiquées indiquent deux sons : I - [Y, UN]; ŒIL]; Yo - [Y, O]; Yu - [Y, U]; Je - [Y, je].

Désignation des formes grammaticales des mots. A la fin des noms féminin singulier(3 déclinaisons) un signe doux est écrit.

Il est également écrit sous la forme indéfinie des verbes, incl. devant TSYA. Un signe doux est utilisé dans toutes les formes verbales après les sifflantes et dans les verbes à l'impératif, ainsi que dans les verbes au présent et au futur à la deuxième personne du singulier.

Si le radical d’un adverbe se termine par un sifflement, cette lettre s’écrit également.

Et bien que la lettre « Soft Sign » elle-même ne désigne aucun son, elle a grande influence sur la prononciation des consonnes.