Problème

La segmentation lexicale transforme un audio ou une vidéo locale en extraits mot à mot avec timecodes et preuves. Une simple transcription suivie de coupes échoue vite sur chant, musique, réverbération, silences ambigus et appareils contraints.

Le mode de Voice Capture Studio traite la découpe comme un pipeline de preuves. Les pixels vidéo sont ignorés ; seule la piste audio décodée entre dans l’analyse. La taille et la durée sont contrôlées avant le décodage complet.

Architecture

Une première hypothèse locale et une activité vocale indépendante classent la scène. Une parole claire peut s’arrêter après une passe. Chant, musique et voix difficile justifient une vérification plus forte et des signaux vocal-focus. Le budget suit la performance mesurée sur la source réelle, pas une supposition liée au navigateur.

Mise en œuvre

Résidu mid/side, accentuation vocale ou référence de salle peuvent aider le modèle et introduire des artefacts. Ils proposent ou vérifient donc les limites, tandis que les clips exportés viennent de la source intacte. Ce choix relie technologie vocale et archéologie du signal.

Parole et chant

Un VAD de parole interprète mal voyelles tenues, silences instrumentaux et phrasé mélodique. Le pipeline fusionne activité de parole et soutien vocal continu sans prétendre que le chant est simplement de la parole. Dans un conteneur vidéo, cette restriction explicite relève aussi de l’IA multimodale : le mode choisit d’étudier le son.

Consensus et export

Le consensus temporel rapproche variantes lexicales, récupère les omissions soutenues par plusieurs passes et rejette les propositions isolées. Chaque mot garde début, fin, hypothèses sources, confiance et révision. Le ZIP contient WAV mono, JSON et CSV ; le manifeste décrit scène, budget, modèles, signaux, masque vocal, consensus et performance observée.

L’Audio web et son API assurent décodage et accès au signal ; workers et inférence locale protègent l’interface. ORETH donne le cadre de recherche : relier média, activité vocale, hypothèses lexicales, temps source et preuve exportée.

Éléments de preuve

L’audit des technologies de capture documente classifieur de scène, budget adaptatif, règles de consensus et champs de manifeste utilisés par l’implémentation.

Limites

La transcription locale dépend de l’appareil, le chant reste plus difficile que la parole claire et les limites de mots exigent une révision lorsque les hypothèses indépendantes divergent.

Références

  • Voice Capture Studio. Audit des technologies de capture.
  • ONNX Runtime. Guide des fournisseurs d’exécution web.