Des oreilles pour Claude Code

Ce que c'est et pourquoi ça compte

Si tu fais tes vidéos de lancement en code, par exemple avec Remotion, ou si tu les montes avec Claude Code, il y a un trou : Claude écrit la vidéo, mais il ne l'entend pas. Il place un impact là où il pense que tombe la coupe, sans savoir s'il arrive 80 millisecondes trop tard. Et un son à contretemps, tout le monde l'entend.

earshot lui donne des oreilles. C'est un projet open source gratuit sur GitHub (licence MIT) qui transforme le son en choses que Claude peut lire : un son décrit avec des mots, ce qu'on entend dans la vidéo seconde par seconde, de combien de millisecondes chaque impact rate la coupe, quoi corriger en premier. Et les sons qui manquent, il les construit en code.

C'est pour ceux qui font seuls les vidéos de leur produit, sans ingénieur du son. Mais il est tout jeune : il est sorti le 15 octobre 2026, il est marqué alpha et une seule personne l'écrit, avec Claude comme coauteur. Essaie-le d'abord sur une vidéo de test, pas sur ta vidéo de lancement.

1. Ce qu'il vous faut

Tout tourne sur ton ordinateur. Avant de l'installer, vérifie que tu as :

• Python 3.10 ou plus récent.
• ffmpeg et ffprobe, deux programmes gratuits qui lisent l'audio et la vidéo.
• Environ 1,1 Go libres pour les deux modèles ouverts qu'il télécharge à la première utilisation.
• Pas de carte graphique ni de clé. Il y a une analyse en plus avec Gemini, mais elle ne tourne qu'avec ta propre clé et ton accord explicite pour envoyer le fichier.

2. Fais-le installer par Claude Code

L'installation tient en cinq commandes, mais tu n'as pas besoin de les taper. Ouvre Claude Code dans le dossier où tu ranges tes outils et colle ceci :

Installe earshot depuis https://github.com/Leonxlnx/earshot en suivant la section Install du README. Vérifie d'abord Python 3.10 ou plus récent, ffmpeg et ffprobe : s'il manque quelque chose, arrête-toi et dis-moi comment l'installer. Utilise un environnement virtuel .venv, torch en version CPU uniquement et l'extra mcp. À la fin, lance earshot doctor --load et dis-moi simplement si tout va bien.

Claude crée un dossier .venv, c'est-à-dire un environnement virtuel : tout va là, sans toucher au Python du système. La première fois, il télécharge les deux modèles et ça prend un moment (pour les télécharger tout de suite, il y a earshot doctor --fetch). Ensuite ils restent dans le dossier du dépôt et il ne les cherche plus en ligne.

3. Ajoute-le comme outil de Claude Code

Chaque commande dans le terminal recharge les modèles : environ 20 à 40 secondes avant de répondre, et une vidéo demande plusieurs appels. C'est pour ça que tu le branches comme serveur MCP, un programme qui donne de nouveaux outils à Claude Code : les modèles se chargent une fois et restent prêts.

Dans le terminal, tape ceci, avec le vrai chemin du dossier à la place de celui entre < > :

claude mcp add earshot --scope user -e EARSHOT_THREADS=3 -- <dossier d'earshot>/.venv/bin/python -m earshot mcp

• --scope user le rend disponible dans tous tes projets, pour toi seul.
• EARSHOT_THREADS=3 indique combien de cœurs du processeur il peut utiliser : ainsi l'ordinateur ne se fige pas pendant qu'il écoute.
• Ensuite, dans Claude Code, tape /mcp : earshot doit apparaître comme connecté. S'il n'apparaît pas sur un ordinateur lent, lance Claude Code avec MCP_TIMEOUT=60000 claude.

4. Fais-lui écouter la vidéo

Trois outils font l'essentiel du travail :

• describe : tu lui fais entendre un son et il le décrit avec des mots, avec des mesures.
• timeline : tu lui donnes la vidéo entière et il écrit ce qu'on entend, seconde par seconde, avec les coupes de l'image et l'impact qui répond à chacune. Le décalage est en millisecondes : négatif veut dire que le son arrive avant la coupe.
• sheet : une image avec les images du film, la forme d'onde et les événements. Chaque coupe a une couleur : vert si le son tombe à moins d'une image, ambre à moins de 100 millisecondes, rouge s'il manque.

Avec earshot, écoute out/video.mp4. Fais la timeline et le sheet, ouvre l'image et dis-moi simplement : ce qu'on entend aux moments principaux, quelles coupes n'ont pas de son, et quels impacts tombent avant ou après la coupe, de combien de millisecondes. Ne change rien pour l'instant.

Si la vidéo est faite d'animations plus que de coupes franches, fais-lui passer les moments clés comme cues (l'option --cues) : un mouvement dans le même plan ne compte pas comme une coupe.

5. Le bulletin et les corrections

critique compare la bande-son à un profil mesuré sur sept films de lancement professionnels : pour chaque mesure, il dit si tu es dans la fourchette, au-dessus ou en dessous. Puis il donne un verdict et la liste FIX FIRST, les corrections à faire en premier, à la seconde près.

Avec earshot, fais la critique de la bande-son de out/video.mp4 et explique-moi simplement le verdict et FIX FIRST. Ensuite corrige dans le code de la vidéo la synchro des impacts avec les coupes, une correction à la fois : après chacune, refais le rendu, relance timeline et critique et montre-moi les chiffres avant et après. Ne touche pas à la musique.

Mais ces sept films, c'est l'auteur qui les a choisis, et ils décrivent un seul style : lancements de logiciels et d'IA, texte animé, démos d'interface. Un court métrage cinématographique enfreindra des règles qui ne le concernent pas. Si ton style est différent, earshot profile te construit un profil à partir des films que tu admires.

6. Les sons qui manquent, faits en code

Si une coupe reste muette, inutile de chercher des sons sur mille sites. earshot a une banque de plus de 250 effets écrits en code (whooshs, impacts, clics, pops, notes), qui se génèrent en quelques secondes, sans modèles et sans réseau.

• sfx : prend un son dans la banque et le cale sur l'image, avec la durée et le point culminant que tu choisis.
• kit : un jeu de sons pour toute la vidéo, un par rôle, à partir d'un preset (calm, crisp, minimal ou launch, pour les vidéos montées sur la musique).
• forge : construit un nouveau son en code et l'améliore en l'écoutant. Pour donner le meilleur, il veut de vrais enregistrements de référence, que tu apportes.

Dans la timeline de out/video.mp4, il y a des coupes sans son. Regarde d'abord le sheet pour être sûr qu'il n'y a pas déjà un whoosh léger. Ensuite, pour chacune, choisis dans la banque d'earshot un effet adapté, génère-le avec sfx pour qu'il tombe sur la coupe et ajoute-le à la vidéo. Montre-moi la liste avant de la monter.

Sur forge, l'auteur prévient lui-même : la recherche essaie de plaire aux modèles d'earshot, et les modèles peuvent être contents même si le son ne s'améliore pas (c'est la loi de Goodhart). Juge un son fait avec forge sur les mesures, sur le spectrogramme à côté des références et avec tes propres oreilles.

Les erreurs les plus courantes

• L'utiliser pour la première fois sur la vraie vidéo de lancement. Il est en alpha et une seule personne le fait : d'abord une vidéo de test, ensuite celle qui compte.
• Se fier aux étiquettes dans un mix chargé. Les temps et les niveaux sont fiables ; le nom de chaque impact sous la musique est un indice, juste environ une fois sur quatre.
• Prendre le bulletin pour une loi. Il mesure la proximité avec le style de sept films, pas si ta vidéo est belle ou si la musique convient à ton produit : ça, c'est toi qui décides.

Check-list

• earshot doctor --load dit que tout va bien
• Dans Claude Code, /mcp affiche earshot connecté
• Premier essai fait sur une vidéo de test
• J'ai regardé le sheet de mes propres yeux
• Chaque correction vérifiée en relançant timeline et critique

Questions fréquentes