pythonで音声強調(Speech Enhancement)

概要

今回はpythonを用いて音声データから音声強調(SE: Speech Enhancement)をやってみます。
音声強調はノイズのある音声から音声を強調し、ノイズを抑制する技術です。
雑音がある環境下での音声認識など、音声を強調する技術は今後より重要になっていくと思います。

音声強調は簡単なフィルタリングによるものなどが以前から研究されてましたが、最近では深層学習を用いたものが多いみたいですね。
音源も単チャンネルで行うものや、複数チャンネルを用いるものがあります。

今回はConv-tasnetによる学習済みモデルを用いて簡単に利用する方法を紹介します。
ESPNetのチュートリアルとほとんど同じですが、参考になればうれしいです。

やってみます

ESPNet2を使います。ESPNet2はEnd-to-Endの音声処理に関するモデルを扱うオープンソースツールキットです。音声強調だけでなく、音声に関する最先端のことがたくさんできます。

用いるライブラリはespnet2です。インストールは pip install espnet で。
https://github.com/espnet/espnet
環境はwindows、python3.7です。ちょっとインストールに手間取ったけどメモするの忘れてました。。。

用いるモデルはConv-tasnetで学習したもので、CHiME example pretrained Conv-Tasnet(Googleドライブからダウンロードして解凍します。

音声は日本声優統計学会というところからお借りしました。
https://voice-statistics.github.io/
上村彩子さんの声を用いています。

ノイズにはmixkit.coの音源をお借りしました。
https://mixkit.co/free-sound-effects/city/
mixkit-walking-crowd-at-subway-station-loop-358.wavを用いてます。

プログラム

ざっくり説明すると以下のような感じです。

  1. ライブラリを読み込む
  2. 音声強調のモデルを読み込む
  3. 音声とノイズのデータを読み込み、足し合わせる
  4. 音声強調して出力

実行結果

元の音声

ノイズを合成した音声

音声強調を行った音声

一応波形はこんな感じです。耳で聞いたイメージ通りですね。
無音区間も綺麗に抑制できています。

ちょっと違和感がありますが結構いい感じに雑音が抑制できているなと思いました。
あとは深層学習を用いているので計算時間がちょっとかかるのも障害になる場面が多いのかと思いました。
用途次第で色々な技術を使い分けることが必要だと思いました。

参考

音源分離の話ですが分かりやすかったです↓
https://ys0510.hatenablog.com/entry/single_separation_survey

コメント

タイトルとURLをコピーしました