Voice Capture Studio

Vue d’ensemble

Voice Capture Studio est un instrument vocal local-first qui fonctionne dans le navigateur. Il réunit désormais cinq workflows distincts : enregistrement immédiat, production de corpus ML, doublage à l’image, interprétation avec support séparé et découpe mot à mot d’un audio ou d’une vidéo locale.

L’application est disponible sur electronicartefacts.github.io/voice-capture-studio et le code source est public sur github.com/electronicartefacts/voice-capture-studio.

Gamme Studio

Voice Capture Studio est la première application publiée de Studio, la gamme de logiciels open source d’Electronic Artefacts. Le lien relève d’une même éthique de fonctionnement, non d’une coque produit partagée : des outils spécialisés doivent rester utilisables de façon autonome, local-first lorsque c’est possible, sans publicité, publiés avec un code inspectable et capables d’exporter des matériaux durables vers d’autres workflows.

La prochaine fiche prévue, Spatial Mapping Studio, aborde un autre matériau — payloads 3D finaux et régions sémantiques — sans déplacer ces engagements. Son travail V0 n’est ni une intégration avec Voice Capture Studio, ni une intégration avec Forge ; il établit une frontière de mapping portable sur laquelle des workflows ultérieurs pourront s’appuyer.

L’expérience fait partie de l’instrument

L’interface actuelle est volontairement calme : blanc chaud plutôt que noir studio, typographie carbone très ample, capsules arrondies, bordures fines, focus bleu glacier, alertes rose poudré et panneaux translucides qui gardent la page légère tout en créant de la profondeur. Le glassmorphism sert ici de couche d’information : le contexte reste perceptible pendant que mode, disponibilité, calibration et export demeurent lisibles.

La courbe principale — le filament — forme la colonne perceptive du produit. Dans l’application d’enregistrement, elle représente un audio frais, jamais une boucle arbitraire. Son halo tire son énergie de l’amplitude mesurée. Pendant la réécoute, le même langage visuel suit la prise décodée. Si une frame live devient obsolète, la surface revient vers un signal de repos honnête au lieu d’exposer une ancienne mesure comme actuelle.

Cette règle s’étend au mouvement entier : rien de ce qui ressemble à une mesure ne peut être simulé. Le silence reste une donnée. La capture reçoit le budget de rendu complet. Le mouvement réduit supprime la chorégraphie sans supprimer le sens. L’interface se comporte donc davantage comme une vitre posée sur un instrument acoustique que comme un tableau de bord classique.

Cinq modes, cinq résultats

• Capture libre démarre directement, sans corpus, et enregistre jusqu’à dix minutes avec arrêt manuel, WAV et provenance.
• Découpe lexicale reçoit un audio ou une vidéo locale, écarte l’image, analyse parole ou chant et exporte un WAV horodaté pour chaque mot soutenu par les preuves, avec JSON et CSV.
• Dataset ML planifie les phrases depuis la couverture du corpus, calibre la pièce, produit des prises comparables et ne fait progresser la couverture que si le matériau est accepté et stocké durablement.
• Doublage associe un script local ou des cues SRT/VTT à une vidéo locale ou une référence YouTube explicitement activée. L’interprète voit la scène, conserve les timecodes et exporte une voix isolée.
• Interprétation enregistre une performance continue ou segmentée contre un support audio optionnel au casque. Le support guide la voix sans jamais être mixé dans le WAV capturé.

Ce sont des modes produit, pas des presets de format. Chacun change les entrées, le geste de capture, la définition de réussite et la sortie utile. Le podcast reste un scénario de Capture libre ; la voix off, un scénario de Doublage ; le livre audio, un scénario d’Interprétation tant que ces usages n’exigent pas de moteurs vraiment différents.

Du signal à la décision

Le parcours commence par une inspection progressive des capacités : permission et entrées micro, Web Audio, durabilité du stockage, accès dossier, téléchargements, wake lock, APIs de parole optionnelles, Workers et rendu accéléré. L’absence d’une capacité optionnelle ne dégrade que le workflow qui en dépend.

La capture micro utilise getUserMedia et un recorder PCM. Elle privilégie AudioWorkletNode, conserve ScriptProcessorNode comme compatibilité, encode un WAV mono RIFF-padded en 48 kHz / 24-bit lorsque le runtime le permet et calcule les premières métriques techniques depuis le signal enregistré. Les médias importés sont décodés vers des signaux d’analyse 16 kHz avant segmentation locale.

Après la capture, les observations restent séparées :

• le corpus immuable déclare texte attendu, langue, intention et direction de jeu ;
• le signal PCM fournit mesures physiques et prosodiques, VAD énergétique, segments, silences et pauses ;
• la reconnaissance vocale navigateur, lorsqu’elle existe, reste une hypothèse optionnelle ;
• la conversion graphème-phonème et le timing des mots restent des estimations préparatoires ;
• les décisions fusionnées citent leurs preuves, raisons et confiance sans effacer les observations qui les ont produites.

C’est la couche de recherche déterministe : des observations bornées identiques alimentent des politiques explicites et l’incertitude reste visible. L’ASR navigateur peut demander une révision, mais il ne peut ni rejeter ni autoriser une capture physique. Une divergence de transcript n’efface pas une prise techniquement valide. Un import d’alignement acoustique forcé peut remplacer une carte de timing estimée sans réécrire la preuve brute.

Pipeline de découpe lexicale

La Découpe lexicale est le cinquième mode et l’exemple le plus net du pipeline local. Elle accepte jusqu’à 200 Mo et dix minutes, décode le média sur l’appareil, reconnaît le type de scène et choisit un budget rapide, vérifié ou approfondi. Une première passe Whisper explore la source. Une parole difficile, du chant ou de la musique peuvent déclencher une passe de modèle base, un signal vocal-focus, une séparation spectrale mid/side et un consensus temporel par majorité floue.

Chaque mot exporté conserve début, fin, contexte de clip, support acoustique, confiance, votes de consensus et classe de preuve. Le ZIP contient les extraits WAV mono 16 kHz / 24-bit, un manifeste versionné et une timeline. Les pixels vidéo ne sont pas traités dans ce mode ; seule la piste audio entre dans le pipeline.

Persistance local-first et exports ouverts

Le workspace privilégie IndexedDB, peut utiliser un dossier choisi via la File System Access API et conserve toujours le téléchargement explicite comme fallback. Une prise ne peut pas créditer la couverture dataset si son audio n’a pas été accepté par un stockage local durable. Les archives de workspace sont vérifiées avant restauration et n’écrasent pas silencieusement les WAV existants.

Le paquet principal contient session, locuteur et corpus ; WAV, transcript, timing, phonèmes, intention, qualité, observation et preuves par prise ; rapports dataset ; manifeste d’entraînement JSONL ; checksums SHA-256. Les estimations navigateur restent marquées forcedAlignmentRequired tant qu’une validation acoustique ne les a pas remplacées ou confirmées.

Voice Capture Studio prépare le matériau pour archives, recherche, doublage et workflows de machine learning. Il n’entraîne pas de modèle, ne promet pas un alignement acoustique de niveau recherche dans tous les navigateurs et ne téléverse pas les prises privées vers un service distant.

Architecture et technologies

L’application repose sur React 19, TypeScript et Vite. Web Audio, AudioWorklet, le décodage média du navigateur, IndexedDB, la File System Access API, les Workers, l’analyse locale capable d’utiliser WebAssembly/WebGPU, le service worker PWA et GitHub Pages constituent le châssis navigateur.

Les domaines portent corpus, sessions, workspace, couverture, recording, observations, phonétique, locuteurs, settings et contrats d’export. Ils n’importent ni React, ni CSS, ni DOM, ni API navigateur. Le shell applicatif porte l’orchestration et les adaptateurs. Cette direction des dépendances garde planification, règles keeper, fusion des preuves et contrats de paquet testables hors d’une interface particulière.

La gate de release couvre formatage, linting, références TypeScript, couverture unitaire, budgets de bundle et build de production. Les suites end-to-end exercent capture, layouts responsives, Chromium, Firefox, WebKit, redémarrage offline et contrôles d’accessibilité automatisés.

Open source, vie privée et frontières

Le dépôt sous licence MIT rend le comportement inspectable. Les enregistrements et workspaces générés restent des données utilisateur ; ils appartiennent au stockage navigateur, au dossier local choisi ou à un téléchargement explicite, jamais au dépôt public.

Local-first ne signifie pas que le stockage navigateur est permanent. L’interface expose durabilité, capacités manquantes et chemins d’export afin que l’utilisateur sache ce qui survivra à un rechargement, ce qui doit être téléchargé et ce qu’un navigateur donné ne peut pas fournir.

Documentation et preuves

Points d’entrée utiles dans les sources :

• Phénoménologie — lois du signal, du mouvement et des états perceptifs.
• Grille d’expérience des modes — publics, entrées, gestes, sorties et réussite des cinq modes.
• Modèle système — flux runtime observé et tensions actuelles.
• Audit des technologies de capture — pipeline d’observation, limites du timing et frontière de validation.
• Structure d’export — paquet, qualité et étapes Forge en aval.
• Manifeste d’ingénierie browser-native — capacités progressives et principes local-first.

Relais Connaissance

Les six briefs sont désormais des articles Connaissance complets plutôt que des notes de version : interfaces audio dignes de confiance, capture vocale traçable, fusion déterministe des preuves, segmentation lexicale locale, cinq contrats de modes et architecture navigateur local-first. Chacun reste utile après une évolution de l’interface parce qu’il traite un problème durable.

Voice Capture Studio se situe près d’ORETH parce que les deux traitent l’audio comme matériau structuré. Il se relie à l’Audio web, à la Web Audio API, à l’interaction humain-machine, aux métadonnées et à l’open source comme mise à l’épreuve concrète de ces idées.

Le rôle du projet est précis : rendre le premier artefact vocal plus propre, plus inspectable et plus réutilisable avant qu’une archive, un modèle, un montage de doublage ou un workflow de production ne le reçoive.