Musique, voix et son IA, depuis les sources

Décryptage

MLX-Audio sur Apple Silicon : regard sur deux de ses modèles de synthèse vocale

La bibliothèque MLX-Audio de Neywa Labs cible Apple Silicon. Nous avons lu la documentation de ZONOS3-Mini et d'Audio8-TTS-Realistic-0.6b.

Couverture: MLX-Audio, 23, langues couvertes par Audio8-TTS-Realistic-0.6b

Neywa Labs, l’entreprise d’IA locale à l’origine de Nativ, développe MLX-Audio, une bibliothèque pour exécuter des modèles audio sur Apple Silicon (GitHub).

Ce que couvre la bibliothèque

La page du projet décrit MLX-Audio comme un moyen d’exécuter des modèles audio sur Apple Silicon.

Son périmètre déclaré comprend quatre types de tâches : la synthèse vocale, la reconnaissance vocale, la conversion de parole en parole et la génération de musique. La page du projet indique que MLX est le framework sur lequel elle repose.

Le mainteneur est Neywa Labs, qui se présente comme une entreprise d’IA locale et cite Nativ parmi ses autres projets. Pour un praticien, l’intérêt est qu’une seule bibliothèque regroupe plusieurs types de tâches audio dans un même environnement d’exécution centré sur Apple, au lieu d’un outil par tâche. Cet article examine deux des modèles de synthèse vocale dont nous avons lu les pages de documentation, et non la liste complète.

ZONOS3-Mini

Le README présente ZONOS3-Mini comme le modèle de synthèse vocale multilingue de Zyphra (GitHub). Selon le README, ZONOS3-Mini compte 100 millions de paramètres actifs. Il génère de l’audio mono à 44,1 kHz avec 27 voix intégrées.

Comme le chiffre de ZONOS3-Mini correspond à un nombre de paramètres actifs, il décrit les paramètres utilisés et doit être lu ainsi lorsqu’on compare les tailles avec d’autres modèles. Les 27 voix intégrées de ZONOS3-Mini offrent à l’utilisateur un ensemble de voix prêtes à l’emploi.

Audio8-TTS-Realistic-0.6b

Une page de documentation distincte est consacrée à Audio8-TTS-Realistic-0.6b (GitHub). Il génère de la parole mono à 44,1 kHz dans 23 langues sur Apple Silicon, avec clonage vocal zero-shot facultatif. Pour Audio8-TTS-Realistic-0.6b, les tokens de texte, les trames audio de référence et les trames générées se partagent un budget de contexte de 2 048 positions. La documentation d’Audio8 indique aussi que la génération produit une forme d’onde complète par appel.

Ce budget partagé a une conséquence pratique pour le clonage vocal avec Audio8-TTS-Realistic-0.6b. Comme les trames audio de référence comptent dans les mêmes 2 048 positions que le texte et la sortie, un extrait de référence plus long laisse moins de place à la parole générée. Quiconque prévoit de longs passages découperait donc le texte en segments et garderait l’extrait de référence court. Puisque chaque appel renvoie une forme d’onde complète, les segments reviendraient sous forme de fichiers distincts à assembler ensuite.

Comparaison des deux modèles

ZONOS3-Mini et Audio8-TTS-Realistic-0.6b produisent tous deux de l’audio mono à 44,1 kHz, leur format de sortie est donc identique. Les différences se situent ailleurs.

ZONOS3-Mini est décrit par ses 100 millions de paramètres actifs et ses 27 voix intégrées. Audio8-TTS-Realistic-0.6b est décrit par ses 23 langues, son clonage zero-shot facultatif et un budget de contexte de 2 048 positions. Le premier est présenté autour d’un ensemble de voix prêtes à l’emploi, le second autour de la couverture linguistique et d’une limite stricte sur la quantité de texte et d’audio de référence par appel.

Il s’agit de notre lecture des pages de documentation. Ces pages donnent des spécifications ; elles permettent donc de comparer des fonctionnalités, et non la qualité audio.

Ce qu’il faut retenir

Pour qui choisit un modèle de synthèse vocale local sur Mac, l’intérêt de la bibliothèque est que les deux modèles relèvent du même projet. Un lecteur qui a besoin de voix prêtes à l’emploi partirait de la page de ZONOS3-Mini et de ses 27 voix intégrées. Un lecteur qui a besoin de nombreuses langues partirait de la page d’Audio8-TTS-Realistic-0.6b et de ses 23 langues. Dans les deux cas, la sortie est en mono à 44,1 kHz, de sorte que le traitement audio en aval peut rester identique quel que soit le modèle choisi.

Quiconque prévoit une longue narration devrait lire le budget de contexte d’Audio8 avant de choisir un flux de travail, car il détermine la préparation du texte et des extraits de référence. Neywa Labs présente la bibliothèque comme une option locale, et les pages des modèles sont l’endroit où apparaissent les limites concrètes.

Sources

Les sources à partir desquelles cet article a été rédigé. Les liens ouvrent la page d'origine.

  1. GitHubNeywa-Labs/mlx-audio: A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.github.comSource primaire · consultée le 19 novembre 2026
  2. GitHubNeywa-Labs/mlx-audio: releases, tags and changeloggithub.comSource primaire · consultée le 19 novembre 2026
  3. GitHubLicence or terms of use linked by https://github.com/Neywa-Labs/mlx-audiogithub.comSource primaire · consultée le 19 novembre 2026
  4. GitHubREADME.mdgithub.comSource primaire · consultée le 19 novembre 2026
  5. GitHubaudio8.mdgithub.comSource primaire · consultée le 19 novembre 2026
  • mlx audio
  • apple silicon
  • text to speech
  • local ai
  • voice cloning