JuliaTokyo #3 Speech Signal Processing in Julia

1. Juliaで音声信号処理をしばらくやってみた山本りゅういち (@r9y9) 2015/04/25 JuliaTokyo #3 ノートブックとか: https://github.com/r9y9/JuliaTokyo3

2. 自己紹介 • 山本りゅういち (@r9y9) – 音声/音楽の信号処理、機械学習が好き – コンピュータビジョン（初心者） – Julia歴 8ヶ月くらい • ブログ – LESS IS MORE http://r9y9.github.io/

3. 今日の話 1. 音声信号処理に便利なパッケージの紹介 2. 僕が書いたパッケージの紹介

4. dancasimiro/WAV.jl https://github.com/dancasimiro/WAV.jl

5. WAVファイルの読み込み using WAV x, fs = wavread("test16k.wav")

6. JuliaDSP/DSP.jl https://github.com/JuliaDSP/DSP.jl

7. スペクトログラム

8. バンドパスフィルタを掛ける

9. r9y9/WORLD.jl https://github.com/r9y9/WORLD.jl

10. 基本周波数 (Fundamental Frequency; F0)

11. スペクトル包絡 (Spectrum Envelope)

12. 非周期性指標 (Aperiodicity ratio)

13. 音声波形の再合成 ※誤差は、分析条件、分析方法に依存します

14. WORLDの良いところ • 高品質 – 業界デファクトのSTRAIGHTと同等 • BSDライセンス • 高速

15. 応用

16. Robust PCA による歌声分離混合音のスペクトログラム低ランク行列スパースな行列 (歌声) Huang, Po-Sen, et al. "Singing-voice separation from monaural recordings using robust principal component analysis." ICASSP 2012. https://github.com/r9y9/RobustPCA.jl

17. 統計的声質変換 http://r9y9.github.io/blog/2014/11/12/statistical-voice-conversion-code/

18. 画像＋スペクトログラム

19. 所感 • 既存のCライブラリを活用したい場合にラッパーを書く – ccall かんたん慣れれば簡単に感じます（当たり前 • Juliaは本当に速かった – 例えば反復計算を含むアルゴリズムで、C実装のたかだか1.3倍程度 – https://github.com/r9y9/MelGeneralizedCepstrums.jl/blob/35feece 580fb121803ed6ace7f80e6b694c9aa69/perf/mgcep.jl • 音声信号処理全然できるよ！ • パッケージは必要なら自分で書く！！

20. 僕が音声系で使う/作ったパッケージ一覧 • dancasimiro/WAV WAVファイルの読み込み • JuliaDSP/DSP 窓関数、スペクトログラム、STFT、デジタルフィルタ • r9y9/WORLD 音声分析・合成フレームワーク • r9y9/MelGeneralizedCepstrums メル一般化ケプストラム分析 r9y9/SynthesisFilters メル一般化ケプストラムからの波形合成 • r9y9/SPTK 音声信号処理ツールキット • r9y9/RobustPCA ロバスト主成分分析(歌声分離へ応用) • r9y9/REAPER 基本周波数推定 • r9y9/VoiceConversion 統計的声質変換 ※発表中に紹介しなかったものも含む。僕が書いた公式パッケージは現在 WORLDのみです。上から順に、汎用的（だと思います）

JuliaTokyo #3 Speech Signal Processing in Julia

Ryuichi YAMAMOTO

Transcript