Introduction  Ceci est un guide complémentaire à   (le « guide Partie 1 »). J'ai écrit le guide de la première partie sur la façon d'affiner le modèle   de Meta AI en espagnol chilien. Il est supposé que vous avez terminé ce guide et généré votre propre modèle XLS-R affiné. Ce guide expliquera les étapes pour exécuter   sur votre modèle XLS-R affiné via un   . Travailler avec wav2vec2 Partie 1 - Réglage fin de XLS-R pour la reconnaissance vocale automatique wav2vec2 XLS-R ("XLS-R") l'inférence Kaggle Notebook  Conditions préalables et avant de commencer  Pour compléter le guide, vous aurez besoin d'avoir :  Un modèle XLS-R affiné pour la langue espagnole.  Un   existant. compte Kaggle  Connaissance intermédiaire de Python.  Connaissance intermédiaire du travail avec Kaggle Notebooks.  Connaissance intermédiaire des concepts de ML.  Connaissance de base des concepts ASR.  Construire le cahier d'inférence  Étape 1 - Configuration de votre environnement Kaggle  Étape 1.1 - Création d'un nouveau bloc-notes Kaggle  Connectez-vous à Kaggle.  Créez un nouveau bloc-notes Kaggle.  Le nom du carnet peut être modifié à volonté. Ce guide utilise le nom du bloc-notes   . spanish-asr-inference  Étape 1.2 - Ajout des ensembles de données de test  Ce guide utilise l'   comme source de données de test. À l'instar de l'   , l'ensemble de données des locuteurs péruviens se compose également de deux sous-ensembles de données : 2 918 enregistrements de locuteurs péruviens masculins et 2 529 enregistrements de locuteurs péruviens féminins. ensemble de données vocales espagnol péruvien ensemble de données sur la parole en espagnol chilien  Cet ensemble de données a été téléchargé sur Kaggle sous forme de 2 ensembles de données distincts :   Enregistrements de locuteurs péruviens masculins   Enregistrements de locutrices péruviennes  Ajoutez ces deux ensembles de données à votre bloc-notes Kaggle en cliquant sur   . Add Input  Étape 1.3 - Ajout du modèle affiné  Vous auriez dû enregistrer votre modèle affiné à   du guide   en tant que   . l'étape 4 Travailler avec wav2vec2 Partie 1 - Réglage fin de XLS-R pour la reconnaissance vocale automatique modèle Kaggle  Ajoutez votre modèle affiné à votre carnet Kaggle en cliquant sur   . Ajouter une entrée  Étape 2 - Création du cahier d'inférence  Les 16 sous-étapes suivantes construisent chacune des 16 cellules du cahier d'inférence dans l'ordre. Vous remarquerez que bon nombre des mêmes méthodes utilitaires du guide de la partie 1 sont utilisées ici.  Étape 2.1 - CELLULE 1 : Installation des packages  La première cellule du bloc-notes d'inférence installe les dépendances. Définissez la première cellule sur :   ### CELL 1: Install Packages ### !pip install --upgrade torchaudio !pip install jiwer  Étape 2.2 - CELLULE 2 : Importation de packages Python  La deuxième cellule importe les packages Python requis. Définissez la deuxième cellule sur :   ### CELL 2: Import Python packages ### import re import math import random import pandas as pd import torchaudio from datasets import load_metric from transformers import pipeline  Étape 2.3 - CELLULE 3 : Chargement de la métrique WER  La troisième cellule importe la métrique d’évaluation HuggingFace WER. Définissez la troisième cellule sur :   ### CELL 3: Load WER metric ### wer_metric = load_metric("wer")  WER sera utilisé pour mesurer les performances du modèle affiné sur les données de test.  Étape 2.4 - CELLULE 4 : Définition des constantes  La quatrième cellule définit les constantes qui seront utilisées dans tout le bloc-notes. Définissez la quatrième cellule sur :   ### CELL 4: Constants ### # Testing data TEST_DATA_PATH_MALE = "/kaggle/input/google-spanish-speakers-peru-male/" TEST_DATA_PATH_FEMALE = "/kaggle/input/google-spanish-speakers-peru-female/" EXT = ".wav" NUM_LOAD_FROM_EACH_SET = 3 # Special characters SPECIAL_CHARS = r"[\d\,\-\;\!\¡\?\¿\।\'\'\"\–\'\:\/\.\“\”\৷\…\‚\॥\\]" # Sampling rates ORIG_SAMPLING_RATE = 48000 TGT_SAMPLING_RATE = 16000  Étape 2.5 - CELLULE 5 : Méthodes utilitaires pour lire les fichiers d'index, nettoyer le texte et créer du vocabulaire  La cinquième cellule définit des méthodes utilitaires pour lire les fichiers d'index des ensembles de données, ainsi que pour nettoyer le texte de transcription et générer un ensemble aléatoire d'échantillons à partir des données de test. Définissez la cinquième cellule sur :   ### CELL 5: Utility methods for reading index files, cleaning text, random indices generator ### def read_index_file_data(path: str, filename: str): data = [] with open(path + filename, "r", encoding = "utf8") as f: lines = f.readlines() for line in lines: file_and_text = line.split("\t") data.append([path + file_and_text[0] + EXT, file_and_text[1].replace("\n", "")]) return data def clean_text(text: str) -> str: cleaned_text = re.sub(SPECIAL_CHARS, "", text) cleaned_text = cleaned_text.lower() return cleaned_text def get_random_samples(dataset: list, num: int) -> list: used = [] samples = [] for i in range(num): a = -1 while a == -1 or a in used: a = math.floor(len(dataset) * random.random()) samples.append(dataset[a]) used.append(a) return samples  La méthode   lit un fichier d'index de jeu de données   et produit une liste de listes avec le nom du fichier audio et les données de transcription, par exemple : read_index_file_data line_index.tsv   [ ["/kaggle/input/google-spanish-speakers-chile-male/clm_08421_01719502739", "Es un viaje de negocios solamente voy por una noche"] ... ]  La méthode   est utilisée pour supprimer chaque transcription de texte des caractères spécifiés par l'expression régulière attribuée à   à   . Ces caractères, y compris la ponctuation, peuvent être éliminés car ils ne fournissent aucune valeur sémantique lors de la formation du modèle pour apprendre les mappages entre les fonctionnalités audio et les transcriptions de texte. clean_text SPECIAL_CHARS l'étape 2.4  La méthode   renvoie un ensemble d'échantillons de test aléatoires avec la quantité définie par la constante   à   . get_random_samples NUM_LOAD_FROM_EACH_SET l'étape 2.4  Étape 2.6 - CELLULE 6 : Méthodes utilitaires pour charger et rééchantillonner les données audio  La sixième cellule définit les méthodes utilitaires utilisant   pour charger et rééchantillonner les données audio. Définissez la sixième cellule sur : torchaudio   ### CELL 7: Utility methods for loading and resampling audio data ### def read_audio_data(file): speech_array, sampling_rate = torchaudio.load(file, normalize = True) return speech_array, sampling_rate def resample(waveform): transform = torchaudio.transforms.Resample(ORIG_SAMPLING_RATE, TGT_SAMPLING_RATE) waveform = transform(waveform) return waveform[0]  La méthode   charge un fichier audio spécifié et renvoie une matrice multidimensionnelle   des données audio ainsi que la fréquence d'échantillonnage de l'audio. Tous les fichiers audio des données d'entraînement ont un taux d'échantillonnage de   Hz. Ce taux d'échantillonnage "original" est capturé par la constante   à   . read_audio_data torch.Tensor 48000 ORIG_SAMPLING_RATE l'étape 2.4  La méthode   est utilisée pour sous-échantillonner les données audio d'un taux d'échantillonnage de   au taux d'échantillonnage cible de   . resample 48000 16000  Étape 2.7 - CELLULE 7 : Lecture des données de test  La septième cellule lit les fichiers d'index de données de test pour les enregistrements de locuteurs masculins et les enregistrements de locuteurs féminins à l'aide de la méthode   définie à l'   . Définissez la septième cellule sur : read_index_file_data étape 2.5   ### CELL 7: Read test data ### test_data_male = read_index_file_data(TEST_DATA_PATH_MALE, "line_index.tsv") test_data_female = read_index_file_data(TEST_DATA_PATH_FEMALE, "line_index.tsv")  Étape 2.8 - CELLULE 8 : Génération de listes d'échantillons de test aléatoires  La huitième cellule génère des ensembles d'échantillons de test aléatoires à l'aide de la méthode   définie à l'   . Définissez la huitième cellule sur : get_random_samples étape 2.5   ### CELL 8: Generate lists of random test samples ### random_test_samples_male = get_random_samples(test_data_male, NUM_LOAD_FROM_EACH_SET) random_test_samples_female = get_random_samples(test_data_female, NUM_LOAD_FROM_EACH_SET)  Étape 2.9 - CELLULE 9 : Combinaison des données de test  La neuvième cellule regroupe les échantillons de test masculins et les échantillons de test femelles en une seule liste. Définissez la neuvième cellule sur :   ### CELL 9: Combine test data ### all_test_samples = random_test_samples_male + random_test_samples_female  Étape 2.10 - CELLULE 10 : Test de transcription de nettoyage  La dixième cellule parcourt chaque échantillon de données de test et nettoie le texte de transcription associé à l'aide de la méthode   définie à l'   . Définissez la dixième cellule sur : clean_text étape 2.5   ### CELL 10: Clean text transcriptions ### for index in range(len(all_test_samples)): all_test_samples[index][1] = clean_text(all_test_samples[index][1])  Étape 2.11 - CELLULE 11 : Chargement des données audio  La onzième cellule charge chaque fichier audio spécifié dans la liste   . Définissez la onzième cellule sur : all_test_samples   ### CELL 11: Load audio data ### all_test_data = [] for index in range(len(all_test_samples)): speech_array, sampling_rate = read_audio_data(all_test_samples[index][0]) all_test_data.append({ "raw": speech_array, "sampling_rate": sampling_rate, "target_text": all_test_samples[index][1] })  Les données audio sont renvoyées sous forme de   et stockées dans   sous forme de liste de dictionnaires. Chaque dictionnaire contient les données audio d'un échantillon particulier, la fréquence d'échantillonnage et la transcription textuelle de l'audio. torch.Tensor all_test_data  Étape 2.12 - CELLULE 12 : Rééchantillonnage des données audio  La douzième cellule rééchantillonne les données audio au taux d'échantillonnage cible de   . Définissez la douzième cellule sur : 16000   ### CELL 12: Resample audio data and cast to NumPy arrays ### all_test_data = [{"raw": resample(sample["raw"]).numpy(), "sampling_rate": TGT_SAMPLING_RATE, "target_text": sample["target_text"]} for sample in all_test_data]  Étape 2.13 - CELLULE 13 : Initialisation de l'instance du pipeline de reconnaissance vocale automatique  La treizième cellule initialise une instance de la classe   de la bibliothèque   HuggingFace. Définissez la treizième cellule sur : pipeline transformer   ### CELL 13: Initialize instance of Automatic Speech Recognition Pipeline ### transcriber = pipeline("automatic-speech-recognition", model = "YOUR_FINETUNED_MODEL_PATH")  Le paramètre   doit être défini sur le chemin d'accès à   modèle affiné ajouté au Kaggle Notebook à   , par exemple : model votre l'étape 1.3   transcriber = pipeline("automatic-speech-recognition", model = "/kaggle/input/xls-r-300m-chilean-spanish/transformers/hardy-pine/1")  Étape 2.14 - CELLULE 14 : Générer des prédictions  La quatorzième cellule appelle le   initialisé à l'étape précédente sur les données de test pour générer des prédictions de texte. Définissez la quatorzième cellule sur : transcriber   ### CELL 14: Generate transcriptions ### transcriptions = transcriber(all_test_data)  Étape 2.15 - CELLULE 15 : Calcul des métriques WER  La quinzième cellule calcule les scores WER pour chaque prédiction ainsi qu'un score WER global pour toutes les prédictions. Définissez la quinzième cellule sur :   ### CELL 15: Calculate WER metrics ### predictions = [transcription["text"] for transcription in transcriptions] references = [transcription["target_text"][0] for transcription in transcriptions] wers = [] for p in range(len(predictions)): wer = wer_metric.compute(predictions = [predictions[p]], references = [references[p]]) wers.append(wer) zipped = list(zip(predictions, references, wers)) df = pd.DataFrame(zipped, columns=["Prediction", "Reference", "WER"]) wer = wer_metric.compute(predictions = predictions, references = references)  Étape 2.16 - CELLULE 16 : Impression des métriques WER  La seizième et dernière cellule imprime simplement les calculs WER de l'étape précédente. Définissez la seizième cellule sur :   ### CELL 16: Output WER metrics ### pd.set_option("display.max_colwidth", None) print(f"Overall WER: {wer}") print(df)  WER Analyse  Étant donné que le notebook génère des prédictions sur des échantillons aléatoires de données de test, le résultat varie à chaque exécution du notebook. La sortie suivante a été générée lors d'une exécution du notebook avec   défini sur   pour un total de 6 échantillons de test : NUM_LOAD_FROM_EACH_SET 3   Overall WER: 0.013888888888888888 Prediction \ 0 quiero que me reserves el mejor asiento del teatro 1 el llano en llamas es un clásico de juan rulfo 2 el cuadro de los alcatraces es una de las pinturas más famosas de diego rivera 3 hay tres cafés que están abiertos hasta las once de la noche 4 quiero que me recomiendes una dieta pero donde uno pueda comer algo no puras verduras 5 cuántos albergues se abrieron después del terremoto del diecinueve de setiembre Reference \ 0 quiero que me reserves el mejor asiento del teatro 1 el llano en llamas es un clásico de juan rulfo 2 el cuadro de los alcatraces es una de las pinturas más famosas de diego rivera 3 hay tres cafés que están abiertos hasta las once de la noche 4 quiero que me recomiendes una dieta pero donde uno pueda comer algo no puras verduras 5 cuántos albergues se abrieron después del terremoto del diecinueve de septiembre WER 0 0.000000 1 0.000000 2 0.000000 3 0.000000 4 0.000000 5 0.090909  Comme on peut le constater, le modèle a fait un excellent travail ! Il n'a commis qu'une seule erreur avec le sixième échantillon (index   ), en orthographiant mal le mot   comme   . Bien entendu, exécuter à nouveau le notebook avec différents échantillons de test et, plus important encore, avec un plus grand nombre d’échantillons de test produira des résultats différents et plus informatifs. Néanmoins, ces données limitées suggèrent que le modèle peut donner de bons résultats sur différents dialectes espagnols - c'est-à-dire qu'il a été formé sur l'espagnol chilien, mais semble donner de bons résultats sur l'espagnol péruvien. 5 septiembre setiembre  Conclusion  Si vous apprenez simplement à travailler avec les modèles wav2vec2, j'espère que le guide   et ce guide vous ont été utiles. Comme mentionné, le modèle affiné généré par le guide de la première partie n'est pas tout à fait à la pointe de la technologie, mais devrait néanmoins s'avérer utile pour de nombreuses applications. Bonne construction ! Travailler avec wav2vec2 Partie 1 - Réglage fin de XLS-R pour la reconnaissance vocale automatique

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Make resilience your competitive advantage

Travailler avec wav2vec2 Partie 2 - Exécution d'inférence sur des modèles ASR affinés

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Télégramme : le pont de Crypto Island vers le continent

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Télégramme : le pont de Crypto Island vers le continent

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps