音MADをつくっていたりするときの備忘録です。誰かの役に立つかもしれない。

***

　REAPER で動画を編集できるようにする　
新しいPCを買ったらどうやるか忘れてたので。
REAPER は、そのままだと mp4（h.264）の読み書きができない。
ちょっとファイルを足してやる必要がある。

1. 必要なファイルをダウンロード
REAPER のフォーラムに ffmpeg が置いてある。
https://forum.cockos.com/showthread.php?t=82459
(2020/2/17 リンク修正)
自分の環境にあったものをダウンロード。
ウチの場合は Windows 64bit。

2. zipを解凍してファイルを移動
bin フォルダのなかの dll 全部を REAPER と同じフォルダに突っ込む。
大抵の人は C:\Program Files\REAPER になると思う。

3. 起動して試す
mp4 をドラッグアンドドロップしてみたり、
File > Render... > Output Format のなかに Video (ffmpeg/libav encoder) があるのをみたり。
映像はメニューの View から Video Window を表示しておけば見られる。

参考
http://positiveallergy.blog50.fc2.com/blog-entry-542.html

備考
Mute にしたトラックの動画は表示されない。
Solo にしたトラックの動画だけが表示されるわけではない。
動画の表示は上のトラックが上のレイヤーになる。
編集は原則として音声と同様にできる。ピッチも変えられるしVSTもかかるしどこでもカットできるし引き伸ばして再生速度も変えられる。
ただし、Glue items や Reverse items など、アイテムをレンダリングすると動画が失われる。

おまけ①
動画アイテム上で右クリック、Item Properties > (Take media source 内の) Properties から画面を開くと、動画ファイルの情報が見られる。
Transform のプルダウンメニューから Horizontal Flip を選ぶと動画が左右反転する。
この機能を使うと音に合わせての左右反転くらいなら簡単にできる。
ほか、AddFX の画面を開くと All Plugins のなかに Video Processer というのがある。
これも結構いろんな編集ができるのでわりとこれだけで完結させられる。

おまけ②
たとえばYTPMV系の音声を作ってて、音に合わせて小窓とかいっぱい左右反転させたいとき。
1トラック1小窓、と思って作業しておいて、トラック別に動画を書き出してからAviutlに持っていけば作業が楽になる。
ただ、動画は一番上のトラックがレンダリングされてしまうので、不必要な動画はミュートして書き出してやる必要がある。

***
　Spleeter でアニメのBGMとセリフを分離する　
Spleeter https://github.com/deezer/spleeter
機械学習でボーカルを分離するやつ。
アニメの音声に掛けるといい感じにセリフを分離してくれる。
Python で動いている。Anaconda をインストールして README.md の Quick Start にしたがいコマンド実行すればすぐに使える。
が、そのコマンドでちょっと引っかかる部分があるのでそれを補う。

Quick Start に書いてあるコマンドは次の通り：

spleeter separate -i spleeter/audio_example.mp3 -p spleeter:2stems -o output

• spleeter を呼び出す
• separate モードで実行する
• -i の後ろにインプットソースの場所を指定する
• -p の後ろに分離方法を指定する
• -o の後ろにアウトプットの場所を指定する

って感じ。
ところが、この設定のまま分離をかけても最大で10分しか処理してくれない。アニメの音声は30分くらいあるので全然足りない！
最大時間の延長については公式の文書にも記述がなく、Forum の該当記事を読んでようやく解決した。
次のようなコマンドを追加してやるとよい。

-d 1800

-d の後ろに秒数を指定すると、その時間まで処理してくれる。今回は30分なので1800秒。OVAとか映画とかやるなら3600にしたり7200にしたりすればよい。
注意点として、音声をメモリ上に展開しているので長い音声ほど大きいメモリ領域を要求される。
30分の処理なら、たぶん16GBくらい積んでおいて仮想メモリに余裕を持たせておけば大丈夫。
ほか、-p の後ろで分離方法を変えることで、音声分離のモデルを11kHzから16kHzにしたりできる。
現時点では、自分は結局こういう形に落ち着いた。

spleeter separate -i \path\01.wav -p spleeter:2stems-16khz -o output -d 1800

以上。

新曲宣伝しとこ
https://redmuffler.bandcamp.com/track/the-glaive-to-the-riot