Dans un article sur les voix queer et transgenres, les auteurs rapportent que les évaluations humaines montrent que 2 des 6 modèles TTS zero-shot synthétisent des voix de genre expansif (GE) moins similaires que des voix de genre non expansif (N-GE), tandis que 3 obtiennent de meilleures performances pour les voix GE (arXiv). Selon les auteurs, les métriques automatiques ont donné des résultats contradictoires. Pour les praticiens qui s’appuient sur des scores automatiques pour choisir ou valider un modèle de clonage vocal, la seconde question de recherche, celle de savoir si les algorithmes d’évaluation sont biaisés par rapport aux mesures fondées sur des auditeurs, est celle qui concerne ce choix (arXiv).
Ce que l’étude a testé
Les auteurs évaluent six modèles TTS zero-shot sur deux jeux de données. L’un contient des voix de genre non expansif (N-GE), et l’autre des voix de genre expansif (GE) de locuteurs qui s’identifient comme tels. Les systèmes zero-shot clonent une voix à partir d’un court échantillon de référence, si bien que la manière dont chaque référence est construite influence tout le reste de la chaîne.
Selon l’article, un échantillon de référence a été créé pour les 14 locuteurs de MAGES et les 14 locuteurs de GLOBE. Ici, les locuteurs de MAGES forment le groupe GE et ceux de GLOBE le groupe N-GE. La comparaison repose donc sur deux groupes de locuteurs de taille égale. Avec des groupes de cette taille, chaque locuteur pèse beaucoup, ce qui est une raison de lire les contrastes par modèle ci-dessous comme des indications valables pour ces locuteurs plutôt que comme des règles universelles.
Des évaluations humaines qui varient selon le modèle
Les métriques subjectives varient selon les modèles : deux modèles montrent de moins bonnes performances pour les locuteurs GE, et trois modèles de meilleures. Le plus grand effet en défaveur des voix GE concerne LinaSpeech (d=,704), suivi de XTTS (d=,419). Ces deux modèles sont ceux qui expliquent le résultat défavorable aux voix GE dans les évaluations humaines. Cette séparation est importante, car une moyenne unique sur les six systèmes masquerait un désavantage réel pour les voix GE dans certains modèles par un avantage dans d’autres.
Le test du taux d’erreur sur les mots (WER) va dans le même sens pour un modèle. Des différences significatives de WER n’apparaissent que pour LinaSpeech, avec un WER plus élevé pour les sorties GE. F5TTS s’approche de la significativité avec p=,051. L’intelligibilité et la similarité perçue concordent donc pour LinaSpeech, ce qui en fait le cas le plus net d’un moins bon service rendu aux voix GE dans cet article.
Les métriques automatiques en désaccord
Pour le modèle ZONOS, les trois métriques de similarité du locuteur ne s’accordent pas sur le jeu de données le plus performant. ECAPA-TDNN prédit de meilleures performances pour les voix GE, et TitaNet-L de meilleures performances pour les voix N-GE. ReDimNet-M ne trouve aucune différence entre les jeux de données. Une équipe qui choisirait un seul modèle d’embedding pour évaluer ZONOS parviendrait à une conclusion différente selon ce choix.
UTMOS, un prédicteur de scores de qualité, a prédit des scores AMOS significativement plus élevés pour les voix N-GE pour tous les modèles. Ce résultat va à l’encontre des évaluations humaines, où trois modèles ont obtenu de meilleurs résultats pour les voix GE. Un prédicteur de qualité favorisant les voix N-GE pour chaque modèle masquerait les modèles dont les résultats évalués par des humains favorisent les voix GE.
Ce que cela implique pour l’évaluation
Les résultats portent sur six modèles zero-shot et sur les locuteurs des deux jeux de données, et décrivent donc ces systèmes et ces groupes. Les auteurs indiquent que les métriques automatiques ont donné des résultats contradictoires, de sorte qu’aucun score automatique unique ne peut tenir lieu d’évaluation par des auditeurs. La lecture pratique est que l’évaluation d’un modèle TTS zero-shot sur des voix GE exige des évaluations d’auditeurs en plus des scores d’embeddings de locuteur et de prédicteurs de qualité, et que les résultats modèle par modèle comptent davantage qu’un verdict global sur toute la famille.
Absent des sources : prix
Nous vérifions six informations pour chaque sujet dans le texte intégral de chaque source. Les pages citées en sources n’indiquent pas un prix.
Sources
Les sources à partir desquelles cet article a été rédigé. Les liens ouvrent la page d'origine.


