Artikel ini membandingkan berbagai Representasi Audio yang diterapkan di TensorFlow dan TensorFlowIO .

Muat file

audio = tfio.audio.AudioIOTensor(filepath)
audioSR = int(audio.rate.numpy())
audio = audio[:]
audio = tf.squeeze(audio, axis=-1)
audio = tf.cast(audio, tf.float32)

plt.figure("Oscillo: " + filepath)
plt.plot(audio.numpy())
plt.show()

      

       Oscillogram of word “go”
      

Spektogram: tf.signal.stft ()

frame_step = int(audioSR * 0.008)
spectrogram = tf.abs(tf.signal.stft(audio, frame_length=1024, frame_step=frame_step))
plt.figure("Spect: " + filepath)
plt.imshow(tf.math.log(spectrogram).numpy())
plt.show()

      

       Spectrogram of word “go”
      

Spectrogram: tfio.experimental.audio.spectrogram ()

spectrogram = tfio.experimental.audio.spectrogram(audio, nfft=1024, window=len(audio), stride=frame_step)
plt.figure("Spect: " + filepath)
plt.imshow(tf.math.log(spectrogram).numpy())
plt.show()

      

       Spectrogram of word “go”
      

MelScale: tfio.experimental.audio.melscale ()

spectrogram = tfio.experimental.audio.spectrogram(audio, nfft=1024, window=len(audio), stride=frame_step)
mel = tfio.experimental.audio.melscale(spectrogram, rate=audioSR, mels=32, fmin=0, fmax=audioSR/2)
plt.figure("Mel: " + filepath)
plt.imshow(tf.math.log(mel).numpy())
plt.show()

      

       MelScale of word “go”
      

MelDB: tfio.experimental.audio.dbscale ()

meldb = tfio.experimental.audio.dbscale(mel, top_db=60)
plt.figure("MelDB: " + filepath)
plt.imshow(tf.math.log(meldb).numpy())
plt.show()

      

       MelDBScale of word “go”
      

Mari bandingkan hasil dalam pembelajaran mesin

Kami menggunakan sistem prediksi kata untuk membandingkan setiap representasi. Karena, kami hanya melatih beberapa file dalam sejumlah kecil masa, nilai hasil berfluktuasi.

Proyek bekas: https://github.com/aruno14/speechRecognition

File yang digunakan: https://github.com/aruno14/speechRecognition/blob/main/test_words_compare.py

Spektogram: tf.signal.stft ()

Akurasi setelah 25 periode: 0,59375

Spectrogram: tfio.experimental.audio.spectrogram ()

Akurasi setelah 25 periode: 0,6625

Kami memperoleh hasil yang sedikit lebih baik, namun menurut kami itu adalah perbedaan pemasangan yang acak.

MelScale: tfio.experimental.audio.melscale ()

Akurasi setelah 25 periode: 0,7125

MelDB: tfio.experimental.audio.dbscale ()

Akurasi setelah 25 periode: 0,6687

Kesimpulan

Mengenai ukuran input (118, 513) VS (118, 32) , dan akurasi yang dihasilkan, kami dapat mengatakan MelScaleDB adalah opsi terbaik untuk sistem pengenalan suara. Meskipun demikian, masih banyak representasi lain dan beberapa di antaranya mungkin lebih baik daripada representasi yang disajikan dalam artikel ini.

Namun, biayanya sedikit pemrosesan dan fungsi Mel tidak diterapkan secara luas, kemungkinan besar di API Audio Web .

Referensi

• https://www.tensorflow.org/io/tutorials/audio
• https://aruno14.medium.com/a-journey-to-speech-recognition-using-tensorflow-1fc1169fef99