gnakalehacker/mandia-compact

Projet renommé : Mandia N’zassa 21M. Cette fiche conserve les expériences historiques 13M. Les poids, le code et les résultats actuels sont publiés sous le nouveau nom.

---

license: Apache 2.0

---

MandiaCompact S2S — français → baoulé

Projet Mandia — modèle expérimental de 13 782 528 paramètres, construit et entraîné depuis zéro.

Dépôt GitHub public : code, tokenizer, données préparées, notebooks et rapports

Poids du modèle, version de recherche étape 6

Cette publication est une fiche de modèle. Les jeux de données sources et leurs licences sont documentés séparément. Colab est un environnement facultatif d'entraînement du projet ; il ne remplace pas la distribution du code et des poids.

Capacités et état réel

Entrée française, sortie texte baoulé : traduction et essais de réponse courte. Le modèle est encore peu fiable en conversation générale et produit fréquemment des réponses génériques ou hors sujet. Pas de reconnaissance ou de synthèse vocale, pas de validation native indépendante. Les 14 réponses simples apprises ne constituent pas une démonstration de compréhension générale.

Architecture et comparaison contrôlée

Encodeur bidirectionnel 2 blocs GQA ; décodeur 6 blocs avec cross-attention au français dans chaque bloc, dont 4 blocs de convolution causale et 2 de GQA. Dimension 384, 6 têtes de requête, 2 têtes K/V, FFN 768, tokenizer ByteBPE 4096 appris sur train seulement, embeddings et projection de sortie partagés. Composants connus ; aucune nouveauté scientifique démontrée.

Comparaison initiale : deux modèles initialisés aléatoirement, 6000 mises à jour, même corpus, graine 42, 8 557 013 tokens réels chacun ; meilleurs poids au pas 1250.

Mesure	Hybride MandiaCompact	Référence GQA
Paramètres	13 782 528	13 796 352
CE test équilibrée ↓	3,6496	3,7408
Débit L4 bf16 ↑	110,14 tokens/s	89,41 tokens/s
Cache décodeur ↓	271 360 octets	390 144 octets

Débit : un seul prompt, 64 tokens forcés, médiane de cinq répétitions après chauffe. Le cache exclut mémoire encodeur et allocations du runtime. La référence gagne sur certains domaines ; ces mesures ne démontrent pas une supériorité universelle.

Derniers poids : étape 6

Continuation après les exemples quotidiens de l'étape 5. Deux bras de 800 mises à jour comparant CE et CE avec contraste de source ; mêmes lots et budgets vérifiés. La CE est retenue sur validation au pas 100, distinct du dernier checkpoint de reprise au pas 800.

Nouveau test	Avant	CE retenue
chrF++ traduction, 25 vues	10,742	13,186
chrF++ réponse, 15 vues	11,728	12,704
CE nouveau test ↓	5,966	4,985

0/25 traductions exactes et 0/15 réponses exactes. Ces vues viennent de seulement deux documents, avec réutilisation de références ; une seule graine et un seul document de validation. Les anciennes pertes test se dégradent légèrement. La relecture technique constate encore des erreurs de sens : ne pas assimiler le gain chrF++ à une maîtrise du baoulé.

Données et attribution

mtBCI-1.0 (Kouassi 2024, attribution CC déclarée, version non précisée), Google SMOL/GATITOS et transcriptions WAXAL baoulé (CC-BY-4.0), exemples Wiktionary/Kaikki (CC-BY-SA-4.0). L'étape 6 utilise huit scénarios écrits/générés SMOL, des cibles baoulé publiées recopiées et un français adapté par l'assistant : ce ne sont pas des conversations naturelles enregistrées. La Bible intégrale et les audios n'ont pas été ajoutés.

Apache-2.0 pour le code propre Mandia ; les corpus gardent leurs licences et attributions. Voir les sources et transformations et la fiche technique du modèle.

Télécharger et utiliser

Les Releases GitHub distribuent le fichier d'inférence avec ses empreintes. Le dépôt fournit tokenizer.json, inference.py, le code du modèle, les protocoles et les rapports effectifs. Les checkpoints complets AdamW/RNG restent sauvegardés dans le Drive de travail. Aucun dossier Drive personnel n'est ouvert au public.

Poids étape 6 : 55 171 544 octets ; SHA-256 a2afe5128d6ba5f807e0dc28baffdf606708bde96610469837d9d18cea8cb2ad.

Démonstration et suite

Un Space pourra être créé ultérieurement. Aucun backend public MandiaCompact n'est connecté au playground de cette fiche : une réponse simulée ou provenant d'un autre service ne doit pas être attribuée à notre modèle. Le test réel utilise nos poids via le script du dépôt ou le notebook.

Étape 7 : aide du grand modèle effectivement testée

Deux continuations de 400 pas : français canonique ou reformulations françaises rédigées par l’assistant, avec les mêmes références baoulé attestées. Architecture inchangée, 13 782 528 paramètres. Le bras enrichi gagne sur validation ; les meilleurs poids éligibles sont au pas 50 dans les deux bras. Les pas suivants ont été écartés par la garde sur les anciens dialogues.

Sur 40 formulations françaises réservées de 40 cibles déjà connues, l’exactitude passe de 0/40 avant continuation à 4/40 pour le témoin et 6/40 pour l’enrichissement ; chrF++ 14,114 → 29,347 / 32,592. Ce sont des questions avec contexte, pas une évaluation de conversation libre ni de nouvelles connaissances. Les anciens tests régressent légèrement, et aucune des deux paires de contextes contrastés n’est entièrement correcte. Le modèle confond encore des personnes et remplace le pain par le sucre.

L’assistant a produit les questions et variantes françaises ; il n’a inventé aucune nouvelle cible baoulé ni transmis ses poids/logits. Il s’agit d’augmentation de données assistée, sans validation native. Même nombre de tokens supervisés (231 414), mais longueurs source différentes et mesurées : aucun gain de vitesse revendiqué.

Poids QA étape 7, version de recherche séparée — les poids étape 6 restent disponibles séparément. Les checkpoints complets de reprise au pas 400 et les meilleurs poids au pas 50 sont tous conservés dans Drive.

Rapport et relecture, méthode et articles. Le script public d’inférence a été chargé et exécuté avec les deux exports réels ; cela vérifie le paquet, pas la qualité générale du baoulé.