Cet article compare les différentes représentations audio implémentées dans TensorFlow et TensorFlowIO .

Chargez le fichier

audio = tfio.audio.AudioIOTensor(filepath)
audioSR = int(audio.rate.numpy())
audio = audio[:]
audio = tf.squeeze(audio, axis=-1)
audio = tf.cast(audio, tf.float32)

plt.figure("Oscillo: " + filepath)
plt.plot(audio.numpy())
plt.show()

      

       Oscillogram of word “go”
      

Spectrogramme: tf.signal.stft ()

frame_step = int(audioSR * 0.008)
spectrogram = tf.abs(tf.signal.stft(audio, frame_length=1024, frame_step=frame_step))
plt.figure("Spect: " + filepath)
plt.imshow(tf.math.log(spectrogram).numpy())
plt.show()

      

       Spectrogram of word “go”
      

Spectrogramme: tfio.experimental.audio.spectrogram ()

spectrogram = tfio.experimental.audio.spectrogram(audio, nfft=1024, window=len(audio), stride=frame_step)
plt.figure("Spect: " + filepath)
plt.imshow(tf.math.log(spectrogram).numpy())
plt.show()

      

       Spectrogram of word “go”
      

MelScale: tfio.experimental.audio.melscale ()

spectrogram = tfio.experimental.audio.spectrogram(audio, nfft=1024, window=len(audio), stride=frame_step)
mel = tfio.experimental.audio.melscale(spectrogram, rate=audioSR, mels=32, fmin=0, fmax=audioSR/2)
plt.figure("Mel: " + filepath)
plt.imshow(tf.math.log(mel).numpy())
plt.show()

      

       MelScale of word “go”
      

MelDB: tfio.experimental.audio.dbscale ()

meldb = tfio.experimental.audio.dbscale(mel, top_db=60)
plt.figure("MelDB: " + filepath)
plt.imshow(tf.math.log(meldb).numpy())
plt.show()

      

       MelDBScale of word “go”
      

Comparons les résultats dans l'apprentissage automatique

Nous avons utilisé un système de prédiction de mots pour comparer chaque représentation. Puisque nous ne formons que quelques fichiers sur un petit nombre d'époques, la valeur du résultat fluctue.

Projet utilisé: https://github.com/aruno14/speechRecognition

Fichier utilisé: https://github.com/aruno14/speechRecognition/blob/main/test_words_compare.py

Spectrogramme: tf.signal.stft ()

Précision après 25 époques: 0,59375

Spectrogramme: tfio.experimental.audio.spectrogram ()

Précision après 25 époques: 0,6625

Nous obtenons un résultat un peu meilleur, mais nous pensons qu'il s'agit d'une différence d'ajustement aléatoire.

MelScale: tfio.experimental.audio.melscale ()

Précision après 25 époques: 0,7125

MelDB: tfio.experimental.audio.dbscale ()

Précision après 25 époques: 0,6687

Conclusion

En ce qui concerne la taille d'entrée (118, 513) VS (118, 32) et la précision qui en résulte, nous pouvons dire que MelScaleDB est la meilleure option pour le système de reconnaissance vocale. Néanmoins, il existe de nombreuses autres représentations et certaines d'entre elles peuvent être encore meilleures que la représentation présentée dans cet article.

Cependant, cela coûte un peu de traitement et la fonction Mel n'est pas largement implémentée, probablement dans l' API Web Audio .

Références

• https://www.tensorflow.org/io/tutorials/audio
• https://aruno14.medium.com/a-journey-to-speech-recognition-using-tensorflow-1fc1169fef99