Neywa Labs, l’azienda di IA locale che sviluppa Nativ, realizza MLX-Audio, una libreria per eseguire modelli audio su Apple Silicon (GitHub).
Cosa copre la libreria
La pagina del progetto descrive MLX-Audio come un modo per eseguire modelli audio su Apple Silicon.
L’ambito dichiarato comprende quattro tipi di attività: text-to-speech, speech-to-text, speech-to-speech e generazione musicale. La pagina del progetto indica MLX come il framework su cui è costruita.
Il responsabile è Neywa Labs, che si definisce un’azienda di IA locale e cita Nativ come un altro dei suoi progetti. Per chi lavora sul campo, la lettura utile è che un’unica libreria raggruppa diversi tipi di attività audio in un solo runtime orientato ad Apple, invece di uno strumento per ogni attività. Questo articolo esamina due dei modelli text-to-speech di cui abbiamo letto le pagine di documentazione, non l’intero elenco.
ZONOS3-Mini
Il README presenta ZONOS3-Mini come il modello text-to-speech multilingue di Zyphra (GitHub). Secondo il README, ZONOS3-Mini ha 100 milioni di parametri attivi. Genera audio mono a 44,1 kHz con 27 voci integrate.
Poiché la cifra di ZONOS3-Mini è un conteggio di parametri attivi, descrive i parametri effettivamente in uso e va letta come tale quando si confrontano le dimensioni con altri modelli. Le 27 voci integrate di ZONOS3-Mini offrono all’utente un insieme di voci già pronte tra cui scegliere.
Audio8-TTS-Realistic-0.6b
Una pagina di documentazione separata riguarda Audio8-TTS-Realistic-0.6b (GitHub). Genera voce mono a 44,1 kHz in 23 lingue su Apple Silicon, con clonazione vocale zero-shot opzionale. In Audio8-TTS-Realistic-0.6b, i token di testo, i frame dell’audio di riferimento e i frame generati condividono tutti un budget di contesto di 2.048 posizioni. La documentazione di Audio8 afferma inoltre che la generazione produce una forma d’onda completa per chiamata.
Il budget condiviso ha una conseguenza pratica per la clonazione vocale con Audio8-TTS-Realistic-0.6b. Poiché i frame dell’audio di riferimento contano sulle stesse 2.048 posizioni del testo e dell’output, un clip di riferimento più lungo lascia meno spazio al parlato da generare. Chi prevede passaggi lunghi dovrebbe quindi dividere il testo in blocchi e mantenere breve il clip di riferimento. Dato che ogni chiamata restituisce una forma d’onda completa, i blocchi tornerebbero come file separati da unire in seguito.
Come si confrontano i due modelli
Sia ZONOS3-Mini sia Audio8-TTS-Realistic-0.6b producono audio mono a 44,1 kHz, quindi il formato di output coincide. Le differenze sono altrove.
ZONOS3-Mini è descritto dai suoi 100 milioni di parametri attivi e dalle 27 voci integrate. Audio8-TTS-Realistic-0.6b è descritto dalle sue 23 lingue, dalla clonazione zero-shot opzionale e da un budget di contesto di 2.048 posizioni. Il primo è impostato attorno a un insieme di voci già pronte, il secondo attorno alla copertura linguistica e a un limite rigido sulla quantità di testo e audio di riferimento che entra in una chiamata.
Questa è la nostra lettura delle pagine di documentazione. Le pagine forniscono specifiche, quindi consentono di confrontare le funzionalità e non la qualità audio.
Cosa ricavarne
Per chi sceglie un modello text-to-speech locale su Mac, il valore della libreria sta nel fatto che entrambi i modelli fanno capo allo stesso progetto. Chi ha bisogno di un insieme di voci già pronte partirebbe dalla pagina di ZONOS3-Mini e dalle sue 27 voci integrate. Chi ha bisogno di molte lingue partirebbe dalla pagina di Audio8-TTS-Realistic-0.6b e dalle sue 23 lingue. In entrambi i casi l’output è mono a 44,1 kHz, quindi la gestione audio a valle può restare la stessa qualunque modello si scelga.
Chi pianifica una narrazione lunga dovrebbe leggere il budget di contesto di Audio8 prima di scegliere un flusso di lavoro, perché determina il modo in cui si preparano testo e clip di riferimento. Neywa Labs presenta la libreria come un’opzione locale, e i limiti concreti compaiono nelle pagine dei modelli.
Fonti
Le fonti da cui è stato scritto questo articolo. I link aprono la pagina originale.
- GitHubNeywa-Labs/mlx-audio: A text-to-speech (TTS), speech-to-text (STT) and speech-to-speech (STS) library built on Apple's MLX framework, providing efficient speech analysis on Apple Silicon.github.com
- GitHubNeywa-Labs/mlx-audio: releases, tags and changeloggithub.com
- GitHubLicence or terms of use linked by https://github.com/Neywa-Labs/mlx-audiogithub.com
- GitHubREADME.mdgithub.com
- GitHubaudio8.mdgithub.com



