gnakalehacker/mandia-voix-mimi-r22
◇ modèlePilote expérimental texte → Mimi8 : prédicteur17,88M, code et poids publics. Les tests restent moins intelligibles que N ; accent ivoirien non validé.
Mandia Voix — pilote texte vers Mimi r22
Version expérimentale publiée pour inspection. N reste la référence ; ce pilote n’est pas une amélioration validée de la voix.
Nous publions nos essais texte→codes Mimi8, leurs deux exports d’inférence au format safetensors, le code et les résultats. Cette fiche est un modèle, distinct de Mandia Voix9M et du dataset IvoireTTS.
Écouter et comparer
16 audios générés, quatre textes nouveaux, quatre versions par texte. Cliquez sur « Écouter » pour ouvrir le lecteur Drive, puis sur lecture. Accès public en lecture seule ; aucune connexion n’est nécessaire. Les WAV sont également disponibles sur Mandia.
N reste notre référence. Les trois autres sorties sont les essais Mimi r22, y compris leurs défauts. Les textes sont les consignes envoyées au modèle : les mots réellement prononcés peuvent différer. L’accent ivoirien reste à valider. Aucun enregistrement personnel original n’est publié ici.
Phrase 1
Bonjour chef, je cherche le reçu du colis que nous avons déposé ce matin au bureau de poste.
| Version | Écoute | Fichier |
|---|---|---|
| N — référence conservée | Écouter | WAV · 5.48 s |
| Mimi — apprentissage français prolongé | Écouter | WAV · 5.04 s |
| Mimi — adaptation ivoirienne, glouton | Écouter | WAV · 4.08 s |
| Mimi — adaptation ivoirienne, échantillonnage | Écouter | WAV · 4.08 s |
Phrase 2
Tantie, le pain est encore chaud. Attends quelques minutes avant de le mettre dans le sachet, sinon il va ramollir.
| Version | Écoute | Fichier |
|---|---|---|
| N — référence conservée | Écouter | WAV · 5.94 s |
| Mimi — apprentissage français prolongé | Écouter | WAV · 5.20 s |
| Mimi — adaptation ivoirienne, glouton | Écouter | WAV · 4.08 s |
| Mimi — adaptation ivoirienne, échantillonnage | Écouter | WAV · 4.08 s |
Phrase 3
Avant de partir pour Yamoussoukro, nous devons vérifier les pneus, remplir le réservoir et prévenir la famille. Si le chauffeur arrive en retard, appelle-moi depuis la gare.
| Version | Écoute | Fichier |
|---|---|---|
| N — référence conservée | Écouter | WAV · 9.23 s |
| Mimi — apprentissage français prolongé | Écouter | WAV · 8.08 s |
| Mimi — adaptation ivoirienne, glouton | Écouter | WAV · 6.32 s |
| Mimi — adaptation ivoirienne, échantillonnage | Écouter | WAV · 6.32 s |
Phrase 4
La réunion devait commencer à neuf heures, mais le technicien cherchait encore le câble du projecteur. Nous avons ouvert les fenêtres, déplacé deux tables et demandé aux visiteurs de patienter dans la cour.
| Version | Écoute | Fichier |
|---|---|---|
| N — référence conservée | Écouter | WAV · 10.61 s |
| Mimi — apprentissage français prolongé | Écouter | WAV · 9.44 s |
| Mimi — adaptation ivoirienne, glouton | Écouter | WAV · 7.44 s |
| Mimi — adaptation ivoirienne, échantillonnage | Écouter | WAV · 7.44 s |
Télécharger et exécuter
- Code et instructions autonomes
- Deux poids d’inférence — préversion expérimentale
- Empreintes SHA256 et provenance des exports
- Rapport de vérification des exports et téléchargements
- Données et documentation IvoireTTS
Aucun lien Colab n’est requis. L’inférence se fait avec inference.py et les dépendances du dépôt. Aucun serveur de synthèse n’est branché à cette fiche : une éventuelle sortie simulée du playground n’est pas un audio produit par ces poids.
Architecture et taille
Notre prédicteur compte 17 878 995 paramètres, dont14 421 891 entraînables pendant les essais. Il reprend l’encodeur lexical figé de notre référence N et initialise des embeddings depuis les codebooks Mimi. Six couches temporelles de largeur320 et un décodeur récurrent de profondeur prédisent huit codebooks.
Le codec Mimi de Kyutai est préentraîné, figé et nécessaire en plus du prédicteur. Les17,9M ne représentent donc pas toute la chaîne ; le fichier du codec stocke environ96,15M valeurs, paramètres et buffers compris. Ce système ne doit pas être présenté comme entièrement entraîné depuis zéro par Mandia. Aucun poids PersonaPlex7B n’est utilisé.
Expériences terminées
- V21 :3 000 pas français, puis2 000 mixtes ;12 checkpoints.
- R22 :10 000 pas français supplémentaires depuis l’export français v21, puis1 000 mixtes à taux réduit, avec initialisation de la voix CI depuis la voix française apprise ;14 checkpoints.
- Corpus retenu :4 096 textes français distincts, environ4,55h, et49 extraits ivoiriens, environ5,2min issus d’une seule source. Validation séparée :32FR et9CI ; la validation ivoirienne est temporelle dans le même enregistrement.
- Les26 checkpoints complets, optimiseurs et états aléatoires restent sauvegardés dans le Drive de recherche. Les exports distribués ne contiennent que les tenseurs d’inférence et la configuration, sans chemins privés de Drive.
- Aucun entraînement sur l’enregistrement personnel ni le corpus de la chaîne du propriétaire dans ces essais. Aucun nouvel entraînement effectué pour cette publication.
Les modèles retenus sont sélectionnés sur perte de validation, sans utiliser les textes nouveaux ni leurs scores ASR pour choisir le checkpoint.
Résultats sur de nouvelles phrases
R22 a été testé sur quatre textes fixés avant continuation :99 mots de référence, y compris des phrases longues. La génération reçoit le texte seul, pas d’audio cible ni de durées réelles.
| Sortie | Écarts Whisper Turbo /99 mots | Écarts Whisper Medium /99 mots |
|---|---|---|
| N, référence conservée | 7 | 15 |
| Mimi français, glouton | 39 | 51 |
| Mimi adaptation ivoirienne, glouton | 74 | 83 |
| Mimi adaptation ivoirienne, échantillonnage | 81 | 93 |
Ces écarts comptent substitutions, suppressions et insertions. Ils ne sont pas une note humaine et ne mesurent ni les grains, ni l’écho, ni l’accent. Ils signalent ici une intelligibilité moins bonne que N, surtout après adaptation ivoirienne. Les mauvaises sorties sont conservées. Deux textes connus de l’entraînement servent de contrôles séparés et ne comptent pas dans ce tableau. V21 et r22 utilisent des textes différents : leurs scores bruts ne prouvent pas directement un progrès entre versions.
Limites et objectif
La reconstruction de vrais enregistrements avec Mimi avait donné un son jugé plus clair sur quelques extraits. Cela ne prouve pas que notre prédicteur sache produire les bons codes depuis du texte. Des mots et des syllabes restent déformés. La naturalité, l’absence de grains et un accent ivoirien général ne sont pas validés. Cinq minutes d’une seule source ne constituent pas un corpus représentatif de cet accent.
Cette publication documente une expérience et ses limites. Elle ne remplace pas N et ne revendique ni supériorité sur ElevenLabs, ni nouveauté architecturale démontrée. Notre objectif reste une petite voix claire et naturelle, évaluée sur des textes et locuteurs nouveaux.
Crédits et conditions
Téléchargement gratuit pour inspection et recherche ; conditions détaillées dans NOTICE.txt. Les données tierces ne sont pas redistribuées par cette publication et gardent leurs conditions propres.
Mimi : Kyutai, CC BY4.0, révision89091b3e466eb6a9d11e537bf26b144f194978f7. Référence : Moshi. Décodeur temporel/de profondeur inspiré de travaux publiés, notamment CSM, sans revendication de reproduction. Français : SIWIS, Yamagishi, Honnet, Garner et Lazaridis (2017), Université d’Édimbourg, avec rééchantillonnage et préparation distincts.