librosa

Django

声が似てる人を診断するWebアプリ作りました【声質チェッカ】

概要 自分の声が誰に似ているか気になりますよね! 今回はWebアプリにて似ている声の人を診断してくれるアプリを作ってみました。 早速ですが、作ったサイトはこちら↓ 実際の動作 スマホ上でこんな感じで動きます。 仕組み(解析) 入...
機械学習

pythonで自分の声を使って音声合成する

概要 自分の声で音声合成をやってみます。 先人に倣って簡単にやっていきます。 内容としては、tacotron2を用いた転移学習によって自分の声を用いて音声を生成します。 英語の学習済みデータから一度大きな日本語のデータセットで転移学習し...
Python

pythonでリアルタイムのボイスチェンジャーを作る

概要 ボイスチェンジャーをpythonで作ります。 やることは、以下の2つ。 リアルタイムで音声を処理する 音声を変換する 1についてはsounddeviceというライブラリを使います。 2はピッチシフトという技術を使います...
Python

pythonで音声データを読み込んでfftする

今更FFTについてです。たくさんの人がやっているけど自分用メモ。 fft後のデータはdBに変換して各周波数での差が分かればいい場面が多いですが、実際の単位で振幅が知りたい時があります。 周波数成分だけでなく、縦軸の値が知りたいときにはデー...
Python

pythonで音声から感情認識~メルスペクトログラム&CNN~

今回はpythonを用いて音声データから感情認識(Emotion Recognition)をやってみます。 感情認識は音声から話者の感情を認識する技術のことです。 ariXivの論文を参考に実装してみました。 精度よく認識するために...
Python

pythonで音声信号の前処理~VADとウィナーフィルタ~

自分で録音した音声信号や、データセットなどを用いて機械学習や深層学習によって処理を行う需要は多いと思います。 音声を使ったものには話者認識や音声認識、音声生成、音声変換などの様々なアプリケーションがあります。 その際、音声信号をそのまま用い...
Python

pythonで音声分析~メル周波数ケプストラム係数(MFCC)~

以前、音声分析手法としてLPC分析とケプストラム分析をしました。 pythonで音声分析~LPC分析&ケプストラム分析~ 今回は人間の聴覚特性を考慮したケプストラム分析を用いてメル周波数ケプストラム係数(MFCC)を求めます。 MFCCは人...
Python

pythonで音声分析~LPC分析&ケプストラム分析~

今回は音声分析手法であるケプストラム分析とLPC分析をpythonを用いてやってみます。 音声は日本声優統計学会というところからお借りしました。 藤東知夏さんがテキストを読み上げている10秒ほどのデータ(fujitou_normal_00...
Python

pythonで音楽の拍子認識

今回はpythonを用いて音楽の拍子の認識を行います。 この技術はBeat Trackingと呼ばれています。 アルゴリズム 音声信号の節である音節はOnset(子音群)とRhyme(母音群)に分かれています。 このOnsetを用いて拍子認...
Python

pythonで時間周波数解析~メルスペクトログラム~

このブログでは、時間周波数解析としてSTFTとウェーブレット変換、定Q変換をやりました。 今回はメルスペクトログラムをやってみます。 メルスペクトログラムは、周波数が人間の知覚に近いメル尺度(低周波数の音を良く知覚する)に変換されたSTFT...