| 電王戦出場記念！ | 書籍化されたで！ | 監修したで！(｀ω´) | 絶版なってしもた | 絶版プレミア価格 | 記事書いたで！ | |
|
|
|
|
| YaneuLabs / やねうら王公式 / やねうらおにメール / twitter / プロフィール |
今日からボカロを始めることにした。もちろん、ボカロを作るところからだ。ボカロを含めて音源も自作する。楽器(ハード)も自作する。
音楽理論も自分で構築しなおす。自動作曲のためのプログラムも作る。そうして、やっと自分だけの音楽が完成する。とりあえず、目標はそこだ。
■ ボカロを作るとは？
初音ミクに代表されるようなボーカロイドは、「あ」「い」「う」など、人間がそれぞれの文字を発声したものを録音しておき再生しているだけである。つながりが不自然なところは二文字、ときとして三文字つなげたファイルも持っている。ただそれだけである。私はそういうことをしたいわけではない。声を一から作るところからだ。
順序立てて話そう。
私は高校生のときにアーケードの麻雀の移植のために音声合成の処理を書いたことがある。*1
このプログラムは実際には世に出なかったわけであるが、私はそれ以前から、音をプログラムすることに関して強い関心があった。
Falcomの『イース』の音源ドライバーを中学のときに夏休みを丸ごと潰して解析したのも音に対してすこぶる興味があったからだし*2、BM98を作ったことにしてもその延長線上にある。私はプログラム以上に音に対しての興味があった。
2004年ごろにソニーがPS3の開発に際し、PS1/2のエミュレーションレイヤーの実装のための人員募集をしていた。そういう仕事は大好きなので、応募しようかと思ったのだが、その給料があまりにも安く、当時の自分の給料の何分の一かになってしまうので、ずいぶん悩んだのだが、ついに応募はしなかった。ただ、そのときは応募も本気で考えていたので、小手調べにスーパーファミコンのDSPをソフトウェア実装してみた。
スーパーファミコンのサウンドを一度でも聴いたことがある人は、耳が腐ってでもいない限り、あれがとても特殊なサウンドであることがわかるだろう。ファミコンのそれとは一線を画する、そしてそのあとブームとなるFM音源とも異なる、骨太のサウンドである。実際、FM音源全盛期にスーパーファミコンのゲームを移植しようとした会社が、FM音源のパラメーターをどう調整してもスーパーファミコンっぽい音が出せなくてとても苦労したという話は枚挙にいとまがない。
要するに、スーパーファミコンのDSP(サウンドチップ)とは当時の歴史のなかに本来、技術的に存在してはおかしいようなオーパーツそのものなのである。
何故こんなオーパーツがこの世に存在したのか。実は、このDSPはのちにソニー(SCEI)の社長にもなる久夛良木さんが手がけたものなのだ。*3
久夛良木さんレベルの超天才エンジニアの手がけたハードは自分の手でエミュレーションレイヤーを実装してみて初めてその設計思想、素晴らしさが実感できるわけである。私はもちろん、久夛良木さんレベルのエンジニアではないが、しかし、プログラムを書く能力は人並み以上にあるから、久夛良木さんのDSPを自分の手でソフトウェアで再実装することが出来た。誰しも感動する小説に出会えたときには自分に文字を読む能力があり、そして小説の内容を理解できる能力が備わっていたことに感謝するだろう。それと同じ感動がそこにはあった。あのときだけは、自分がプログラムを書く能力が備わっていたこと、そして、久夛良木さんの天才性の一部であれ、理解できたことに対して神様に感謝してやまなかった。
スーパーファミコンのDSPのどこがそんなに優れているのかについてざっと書いておく。本当は、この部分は本記事にはあまり関係がないのだが、ここを書いておかないと「やねうらおめ、また内容のない薄っぺらい記事を書きやがって！本当はスーファミのDSPのことなんか何も理解していないくせに！」などと勘ぐる輩が出てくるので、あえて書いておく。
※ 技術的な内容なので、興味のない人は読みとばしてください。
上の説明は今ひとつわかりにくいが、DSPとは別に制御用のチップが載っている。6502を拡張した命令セットを持ち、音源ドライバーなどはここに配置する。この音源ドライバーで結構いろいろなことが出来てしまうので、スーファミのサウンドはゲームメーカーによって音色がずいぶん違うと言われるゆえんである。
事前にサンプリングした波形データを復元する機能。PlayStationで使われている圧縮アルゴリズムと同一である。*5
・ADSR
ADSRは、Attack、Decay、Sustain、Releaseの頭文字で、FM音源に見られるようなエンベロープジェネレーターであるが、A,D,S,Rの値はそれぞれ4bit、3bit、5bit、3bitで指定する。(そのあと表引きして実際のA,D,S,Rの値が設定される) 併せて15bitだから16bitに収まっている。いまどきなら、それぞれの値を直接設定できるようにするところだろうが、当時はメモリがもったいないのでこういう設計が好まれた。
ところが、このADSR機能を使わずに直接gain(≒ボリューム)を変更するモードもある。実のことを言うと大手メーカーのスーファミ用の音源ドライバーはADSRモードではなく、こちらのモードを使ってあるものが多い(と思う)。自前の音源ドライバーでADSRよりもっと細かな制御をしたほうが、サウンドに広がりが出てくるからである。なのでADSRはこのDSPの代表的機能ではあるが、スーファミのサウンドの特徴ではないと私は考えている。
・ガウス分布補間
指定した4点を曲線で補間する機能。実装的にはガウス分布テーブルを用いている(表引きしている)ので正確な補間ではないし、さらに計算資源があるならスプライン補間したほうが歪みのないサウンドになるし、いまのPC用にソフトウェアで実装するならそうすべきところではあるのだが、良くも悪くもこの“歪み”自体がスーファミらしいサウンドを形成していると思う。
・ディレイ
ファミコンにはディレイがなかったのでこれは大きな進歩。久夛良木さんの発言によると『ファミコンについてはサウンドトラック4本や音のディレイがないことから「そんなもんで音楽なんてやれませんよね」「普通の人はそれで感動するかというと、ぼくは感動しないと思う」「クリエイターがやりたいと思ってることがやれるかどうかというのがキー」』*6
リバーブにFIR(有限インパルス応答)フィルタ*7までつけてしまうのが恐ろしい。ここの「次数8」というのは、パラメーター(係数)が8個指定できるという意味。FIRフィルタ自体はデジタルフィルタとしては基本的なものなので説明は割愛。
・スーファミのサウンドまとめ
結局のところ、上記のような当時としてはかなり高機能な処理能力を備えたDSPと、このDSPの制御用チップ(ここに各ゲームメーカーが独自のサウンドドライバーを載せた)との組み合わせによりスーファミらしいサウンドがもたらされたわけである。
もうここまで説明すれば話は見えただろう。今回、ボカロを自作するわけであるが、まずそのためにスーファミのDSPのようなソフトウェア実装のサウンドレイヤーを用意する。まあ、人間の肉声に近いサウンドが欲しいわけで、スーファミのDSPよりは少し高機能なものにならざるを得ないが。また、ここは将来的にハードウェア化するかも知れないので、この部分はそのへんも見越しておく。
次に、このDSPに対してプログラムできる必要があるのだが、DSP制御用の命令セットを用意して、その命令によってプログラムすることにする。(将来的なハードウェア化を視野に入れているため)
あと、この自作ボカロをライブで使うような用途を考えているため、この自作ボカロをリアルタイムに歌わせることが出来るような楽器自体を作らなければならない。そのへんもすでに考えてある。
かなり早口な歌でも訓練次第ではリアルタイム演奏が可能である、画期的な楽器(音楽的なデバイス？)となる予定だ。
ついでだからもう少し話を進めよう。コンピューターによるアルゴリズム作曲(自動作曲)についてである。この分野の近年の技術的進歩はめざましく、論文もたくさん出ているし、アルゴリズム作曲は実用的になりつつあると思うのだが、私はそういう方向性でやりたいわけではないのだ。
作曲をやっている人にはわかると思うけど、どこかの段階で対位法とか勉強するわけだ。二声対位法、三声〜八声、厳格対位法、模倣、二重対位法、フーガetc…。そうするとその手の教科書には「禁則」(こういう進行は良くない)が延々と書いてある。和声に関しても、ある程度基礎が出来たのちに、いわゆる芸大和声(asin:4276102057)あたりから勉強するわけだが、「禁則」のオンパレードである。そして、興味深いことに本によって何が「禁則」であるかは定義が異なる。
じゃあ、そもそも「禁則」とは何なのか。
このように「禁則」とすることによって何が得られるのか。
結論的に言うと、その本を書いた人が想定している音楽(それは18世紀のものであったり、それ以前のものであったり、特定の作曲家のものであったりするのだが)が得られるということである。この部分を理解していないと、やみくもに「禁則」だけ覚えることに終始してしまい、自分の作る曲の音楽的な可能性を狭めてしまう。
要するに「禁則」とは、曲の生成アルゴリズムが何かしらあるとしてそのためのルール集合の一部だと考えるとわかりやすいだろう。
例えば、モーツァルトの曲を分析し、そのルール集合が得られれば、そのルール集合からはモーツァルトの曲っぽい曲が自動生成できるということだ。
しかし、自動生成と言っても、単にルール集合に書かれているルールを順番に適用していけばいいという単純なものではない。例えば、前の音符との次の音符との接続される形に良さの点数がつけられるとしたら、その点数を最大化したい。そして一曲通してその点数の合計が最大になるような曲にしたい。そうならないときは前の音符を消して、また別の音符に置き換えて…という作業を繰り返す必要がある。
実はこの部分はコンピューター将棋の探索と全く同じなのである。音符一つ(音符の高さ・音符の長さ)が将棋の指し手に相当し、音符を一つ置くことが将棋ではその指し手で局面を進めることを意味する。将棋で読みのなかで局面をいったりきたりするが、音符を足したり、消したりするのはそういう理由からである。そして、将棋であれば最終的な点数(将棋であれば最善応手列≒読み筋)の末端局面の評価値が最大になるような現局面での指し手を探すが、曲作りのときも、最終的な点数が最大となるような音符の並びを探し出せば良いのである。
つまり、自動作曲は実はルール集合さえ与えれば、コンピューター将棋の探索部によって解決できるのである。
これは何も偶然の一致ではない。人間の知的作業のほとんどは、何らかの点数を最大化するという、探索を伴う最大化問題に帰着されるので、作曲行為自体がコンピューター将棋の探索の問題に還元されるのは何も不思議なことではないのだ。
では人間は何もしなくても曲が出来上がるのかと言うとそれは違う。作曲のためのルール集合自体は人間が考えてやる必要がある。
ルール集合が同じであると似たような曲しか出来ないし、そこがまさに人間にしか出来ない知的作業と言えるわけである。
例えば、坂本龍一(織田信長に「さん」をつけないの同様、歴史レベルの偉人なので敬称をあえて略す)の作曲のための方法論として、自分が考えた作曲アルゴリズムに基づき、自分を作曲機械だとみなしてそのアルゴリズムにより曲を生成し、その曲の良し悪しを音楽家坂本龍一が評価し、そして作曲アルゴリズムの修正を行なうというフィードバックループにより作曲するという主旨のことが『坂本龍一の音楽』(asin:4487801036)に書いてあったと思う。(うろ覚え)
坂本龍一が本当にそうやって作曲しているのかどうかは私は知らないが、そういう視点というのが面白いと思っていたし、この「自分を作曲機械だとみなしてそのアルゴリズムにより曲を生成する」という部分は、私のプログラミング能力であればコンピューターに完全に肩代わりさせることが可能だ。
そうなってくると、「自分が考えた作曲アルゴリズム」が問題となる。従来のアルゴリズム作曲の論文では、この部分が固定に近い形であったので、同じような曲しか作れなかった。自動生成される曲の完成度はともかく、私にはその部分が大いに不満であった。
私は特定のジャンル、特定の種類の曲を大量に生成したいわけではないので、上記のようなフィードバックループをなるべく短い時間で回したいのである。そうすることにより短い時間で自分の作曲アルゴリズムが磨かれるわけである。
そして、最終的にはこのループ自体を少しプログラムと音楽に対して理解のある人であれば誰もが体験できるよう、自動作曲のためのプログラミングフレームワークとして公開したいわけである。
■ まとめ
ということで、私の当面の目標は以下のような感じである。(何年かかるかは知らん)
・ボカロを自作(そのために自分で設計したDSPをソフトウェア実装するところから)
・音源を自作(自分で設計したDSPに対する制御プログラミングにより)
■ あとがき
何故突然こんなことを思ったのかと言うと、電王戦が終わったので友達に借りてる漫画を読んでいたわけである。その友達とは電王トーナメントのエントリーのときにやねうら王の開発者としてもう一人名前が挙がっていたと思うが、彼である。彼は、いつも私をその気にさせる。やねうら王も彼がいたから作ろうという気になったわけである。だから、やねうら王のエントリーのときに共同開発者として彼の名前を入れておいた。
今回、彼が持ってきた漫画は『ナッちゃん東京編 1―下町鉄工所奮闘記』 (asin:4088597001)という漫画で、下町の鉄工所で働く女の子(?)の物語である。この女の子がちょっとした天才で、創意工夫によって無理難題を解決していくわけであるが、これを見ていたら昔のことを思い出したわけだ。
私は小学生の段階ですでに仕事としてやっていける程度にはプログラミング能力があったわけであるが、大学を卒業するころにはプログラミング自体に少し嫌気が刺しており、これを職業にするとプログラミングのことが嫌いになってしまうと考えて、プログラミングとは全く違う分野(製図設計)の仕事に就いたわけである。正直に言えば当時は自分がプログラミングが出来ること自体が、本当に忌々しいと思っていたし、「こんな神がかったプログラミング能力とか要らねえんだよ！俺は、刺身にたんぽぽを乗せるような頭の使わない仕事がしたいんだよ！」と考えていた。
ところが、モノづくりの現場で働くうちに、創意工夫して製品を作る(さらに、それをお客様に届け、喜んでもらう)ということの素晴らしさを知ったわけである。『ナッちゃん東京編 1―下町鉄工所奮闘記』を読んでいると、そんな当時の自分を思い出してしまった。そうだ、何でも工夫すれば作れるんだ。俺には、神がかったプログラミング能力があるんだしな！と思ったわけだ。
※ このブログの愛読者ならば、「神がかった」とか書いてあっても「また今日もやねうらお節、全開だな」ぐらいに理解してもらえるはずなのであるが、そうでない人に言っておくと、「神がかった」というのは、ある種の冗談であり誇張表現の一種である。本気で自分のプログラムを「神がかった」などと思っている人がいたら、それは相当な大馬鹿野郎である。
そして、そのとき、音楽とコンピューター将棋との関係に気づき、点と点が一本の線でつながったわけだ。これは、もうボカロを(作るところから)やるしかないなと。
ちなみに、私の作曲経験だが、自分の作った曲が商用ゲームに使われたことがある。まあ、自分がプロデューサーだったんだから、自分の曲使おうが何を使おうが自由なんだけども。商用ゲームに使われたらプロだという定義だとしたら、私はプロの作曲家である。おお、これはなんか凄くずるい感じがするな！
「プロの作曲家になりたい人は、自分で商用ゲームでもプロデュースすればいいんだよ！」などとテキトーなことを言ってこの記事を終りにしたい。
*1：http://d.hatena.ne.jp/yaneurao/20120226#p1
*2：http://www.4gamer.net/games/001/G000183/20131222001/index_2.html
*3：http://ja.wikipedia.org/wiki/SPU
*4：http://ja.wikipedia.org/wiki/SPU
*5：http://en.wikipedia.org/wiki/Bit_Rate_Reduction
*6：http://ja.wikipedia.org/wiki/%E4%B9%85%E5%A4%9B%E8%89%AF%E6%9C%A8%E5%81%A5
*7：http://ja.wikipedia.org/wiki/%E6%9C%89%E9%99%90%E3%82%A4%E3%83%B3%E3%83%91%E3%83%AB%E3%82%B9%E5%BF%9C%E7%AD%94
> 「何を点に結び付けるか」がぼやける作曲・編曲
例えば、並達８度・並達５度を減点だとか、声部が跳躍したあとはそれと反対側に進まないと減点するだとか、メジャー和音に対しての3rdのdoublingを減点するだとかそういう局所的な話です。どれくらい減点するかは、他の楽譜をもとにパラメーターを調整することもボナメソで十分可能です。
また、自動作曲により完成された曲の点数を自動的につけるという話ではありません。そこは人間が判断すべきところです。ですので曲が量産されることもないです。
あと、自動作曲のためのルールセットは、プロの作曲家が無意識にやっているようなことをルール化しなくてはならないわけで、そのためにはプロの作曲家と同等以上の音楽的センスおよび言語化能力が必要になりますね。
> 声優や歌手、作曲家・編曲家の方々が、だれも路頭に迷わないような配慮も極力した方が良いでしょう。
菅野よう子や上松範康レベルの天才作曲家が出てきたからと言って他の作曲家が廃業になるわけでもなく、初音ミクのような機械の歌い手(?)が出てきたからと言って他の人間の歌手が不要になったわけでもなく、まあ、音楽業界に関してはそのへんは柔軟に受け入れる土壌があると思いますけどね。
いや非常に楽しみです。やねさんの別次元のアプローチで
どんなボカロ（エンジン）が出来るのか。数年後ですか。長いのう・・
ときメモ２のEVSでヒロインがプレイヤーの入力した主人公の名前をコンピュータの作成した合成音声で呼びかけてくれるやつがあってめっちゃドキドキしたんですけど、そういう方向にも進んでいきますかね？
モーツァルトの曲を1フレーズ取り出せば認識できるぐらいの分類器が必要なんでしょうか?なんか、色々な曲を同様の技法で解析すると、作曲家のパクリが疑惑が出て来そうで怖いですね(「?のブーメラン」と「DANZEN!ふたりはプリキュア」、ルールの一致率が80%を超えたからパクリ認定とか)
いつも興味深く拝読させていただいております。
今回の記事、音楽の自動作成と将棋が同じスキームだという話、非常に興味深かったです。
素人質問なのですが、将棋の場合、膨大な量のプロの対局棋譜を入力し、それをもとに評価関数の精度を高めるということをされるかと思いますが、作曲においても、同様に大量の楽譜を入力することにより、どのような旋律、リズム、ハーモニーが心地よい組み合わせか、といった評価関数を作り上げるということも考えておられるのでしょうか。
1. 「声を一から作る」とは、初音ミクのように、本職の声優や歌手からのサンプリングではなく、モデル無しでコンピュータに発声させてしまうのでしょうか？
2. 「つながりが不自然なところは〜」は、辞書ファイルやアドホックな調声無しに全てソフトウェアで行うのでしょうか？
↑*2 ですです。
↑*3 ↑*2が参考になるかと思います。ルール自体は将棋の3駒関係みたいに汎用的な特徴でもいいんです。例えばkey = Cのときに「ソ」の音のあとどこの音に遷移するかをマルコフモデルのようなもので調べて、自動作曲に活かすというアプローチが何十年も前からありますが、「ある音符からある音符への遷移」というのを一つの特徴因子としたり、あるいは「隣り合う声部に対してどのインターバルであるか」などを特徴因子として用いることが出来ます。それらに対して、モーツァルトの曲を食わせてボナメソでそれぞれの特徴因子の点数を算出することによって将棋ソフトで言うところの評価関数のようなものが得られます。
↑*1
> モデル無しでコンピュータに発声
ですです。
> 「つながりが不自然なところは〜」は、辞書ファイル
人工的に合成しているので(つまり、「あ」から「い」のように次の音へも滑らかに遷移できます)、つながり自体が不自然になる問題はあまりないですね。発声そのものが人間の肉声からかけ離れている可能性はあっても。また、本格的にやるのならば辞書的なものは必要だと思いますが、辞書を個人で用意するのは大変なので、そのへんは他のオープンソースのプロジェクトに依存してもいいかなと思ってます。
常人とは、発想が違いますね。
自動作曲が、将棋と同じく探索で実現するとは、目から竜王の鱗です。
私は音楽に関しては、全然詳しくないのですが、以前フリーゲームソフトを作った際には、自動作曲ソフトには随分とお世話になりました。
ただ、作れる曲の範囲に限界がありましたので、神がかった凄いソフトを期待しています。
もっとも、私は音楽に対して理解のある人ではないので、使いこなせないかもしれません。
近い将来、やねうら王を市販化し、解説自動生成したセリフをボカロが喋って、局面に応じた自動作曲ＢＧＭが流れることを期待しておりますｗ
つまり、しばらく前のフレーズを繰り返すようで少し変えたものをおくことが、独特の感興を催させるので、それを一般化したアルゴリズムからどう生み出すかは、難題ではないでしょうか。単にn次マルコフでなんとかなるとは思いがたいです。
私は自動ストーリーテリングに趣味的に関心がありますが、自動作曲にも共通する課題があります。「かみまみた」みたいな反復ネタを、それ専用の機能を組み込むことなく実現するには、という観点で。
現時点での私の見解は、巨視的な構成情報を生成し、そこから再帰的にディテールの作り込みをすることです。ストーリーの場合、最終的に描写、叙述等はそれぞれ特殊なジェネレータが必要ですが、楽曲の場合も、葉ノードでは幾つかのパターンを持たざるを得ないといけないと思います。さもなくば自動作曲にありがちなメリハリのなさに陥る気がします。
> 前のフレーズを繰り返すようで少し変えたものをおくことが、独特の感興を催させる
よく音楽をわかってはりますね。なら、少し専門的なことを書きます。
まず、前フレーズの模倣〜逸脱はある程度機械的に認識が可能です。例えば、5度上で模倣、もしくは、フレーズの最後の部分をわずかに付け足してあるかだとか、前の音符に対する音の高さの上昇・下降の列が一つ前のフレーズと一致するかなどは機械的に判定できます。(例:「ドレミミレ」と「ミファララソ」は一つ前の音符と比べていくとどちらも「↑・↑・→(変化なし)・↓」の順番になっているので一致します。)
機械的に構造を判定できる以上、それを特徴因子として用いることが出来るので、これらに対して点数付けが可能です。
> 巨視的な構成情報と言うと、なんかAA'BAみたいなナイーブなものを想起させますが
例えば、コード進行においてIV M7→V7→IIIm→VImのような王道進行があるとして、サビのところだけV7のあとに#V dim7とか挿入してpassing diminishっぽい感じにすることを考えてみます。
ところが、この#V dim7が曲の冒頭に出現したっきりで、そのあとただの王道進行になっていたら興ざめですね。すなわち、こういう盛り上がるような要素(借用和音のIII7とか、サブドミナントマイナーのIVm7とか)を出して、そのあとに盛り上がる要素が出てきていないことに対してマイナスの点数がついていればこういう曲の構成上の失敗は防ぐことが出来ます。
これは、実際にボナメソでターゲットとする楽譜を食わせてみればすぐに適切な点数がつきます。
このように適切な特徴因子を考えるのが人間の仕事(あるいは、この自動作曲フレームワークを作る人の仕事)であり、そのあと、ターゲットとする楽譜を食わせてそれらの特徴因子の点数を適切なところに持っていくとターゲットの曲のエッセンスの似た曲が生成できます。
あるいは、ボナメソを使わなくとも、人間の判断で、禁則に関しては点数として手で−∞(マイナス∞)にしておきます。そうするとその禁則パターンは自動作曲される曲には決して含まれることはないです。
連載当時はソレを目的に読んでた事もありましたｗ
音楽系はノイズの周波数テーブル作ってMMLで音階が出せるようにしたことくらいしかないチープDIYプログラマですが、それでもこの展開はワクワクしますね！
これ、完成したら販売とかされるのでしょうか？
ちょっと触ってみたいかも・・・