SOMとは？

一般の大きな次元のデータ群を、それらの特徴に基いて、低次元(典型的には1〜2次元)空間に配置する方法。似ているもの(データベクトルがベクトル空間上で近いもの)同士が、低次元空間でも互いに近い位置にマップされるようになる。
ここで、アルゴリズム自身にはデータ量の特徴を与える必要がない。以下に述べる単純で再帰的なアルゴリズムで、データの特徴をとらえた低次元マップが得られる。すなわち、これは1種の教師なし学習である。
また、一つのユニットに収められているベクトルは、マップ上のその位置が表す特徴をもった典型的なベクトルであるので、SOMは一種の生成モデルと言っても良いと思う。

アルゴリズムの概要

分析したいデータが、D次元のベクトルの集合として与えられたとしよう。これを2次元平面にマップする方法を与える。
まず、D次元の要素を持ったユニットを、2次元空間に配置する(競合層と呼ぶ)。各ユニットの値は適当な乱数によって初期化しておく。
この時、データの集合に対して、次の操作を繰り返す。

1. あるデータに対し、それと最も似ている(D次元空間でユークリッド距離の近い)ベクトルを持つユニットを探す。(そのようなユニットをBMU: Best Matching Unitという)
2. BMUとBMUの近傍のユニットを、与えられたデータに近づくよう更新

実際には学習過程におけるパラメータの調整など細かな注意がある。
BMUの更新規則から、頻出するベクトルの特徴が強く競合層に学習される。
また、BMUだけでなく、BMUの近傍ユニットも入ってきたベクトルに近づけるため、競合層において近い位置にあるユニット同士が、似た特徴のベクトルを持つようになる。

実装

今回は3次元のランダムに生成した実ベクトルを2次元の競合層にマップする実験を行った。
2次元平面上の座標をと表し、その上の個のユニットをと表すと、
更新式は次のように与えられる。

ここで添字は学習ステップ(計算機時間)であり、からVのサンプル数までを走る。
右辺の括弧の中が、入力ベクトルと、あるユニットに格納されていたベクトルとの誤差を表している。
ここで、学習パラメータが両方共1であれば、Wが完全にVに更新されてしまうことに注意しよう。
の関数型は次のように与える。

学習の速度を決定するパラメータLは、時間とともに減少する関数である。は時定数である。
は更新するユニットが、どの程度BMUの近傍にいるかを表現している。dはユニットの位置とBMUとの距離であり、d=0の時である。dが大きくなるに従って、は減少する。
ここでは典型的なBMUの近傍を定義する量であり、これも次式によって時間とともに減少するとする。

結果

競合層として、20x20のユニットを用意し、ランダムな3次元ベクトルで初期化した。学習データとしては、ランダムに生成した3次元実ベクトルを10000個用意した。
(なので、学習データの特徴が抽出されるというより、いかに分類されるかに興味を持って結果を見るべき)
学習パラメータは、とした。

3次元の実ベクトルは、RGB強度と解釈できるので、視覚的に学習を観察できる。学習前の競合層は以下の図のようであった。ユニット間の相関はないため、色がランダムに各マス目に配置されているのがわかる。

1万回の学習ステップを繰り返したあとの競合層は下図のようになった。隣り合うグリッドには似た色が並んでおり、うまく色分けできているように見える。

コンピュータはもともと、3次元の色ベクトルの意味を知っていたわけではない。(例えば(1,0,0)が赤である、とか。)ところが、いまやそれらの近いもの同士のマップを得たので、例えば赤とピンクの色コードを与えてやれば、それがどの程度近いのか、マップ上の距離で判定することができる(半教師なし学習)。また、与えた色コードから類似色を類推することも可能である。

最後に、学習過程をもう少し詳しく見る。10回目と20回目の更新後のマップの様子を下に並べた。
マップのランダム性は速やかに薄れていき、全体として同じような色が並んでいる。これは、学習過程の早い時期では、BMUを中心とした大きな円の内側で強い近傍学習が行われているためである。

次に50回めと90回めの更新後のマップを示す。
50回目の更新後のマップは、まだ全体として似たような色をしているが、少しずつ色分けの効果を見ることができる。90回目になるとその傾向がさらに顕著になる。

1000回目、2000回目の更新後のマップを以下に示す。学習パラメータが時間の減少関数であるため、学習はゆっくりしたものであるが、次第に最後のマップのように、マス目の間の色の区別がはっきりしていくのが見て取れる。