【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、発声した音節もしくは発声しようとイメ
ージした音節を、発声直前もしくは発声しようとイメー
ジした時の脳波トポグラフィパターンから神経回路網に
よって認識して呈示する脳波トポグラフィによる音節認
識装置に関するものである。

脳波トポグラフィは、第９図に示すように、国際電極
配置法（10−20法）で単極導出した12〜16（図では12）
チャンネルの脳波から、補間関数を用いて電極間の電位
を推定するものであり、この結果をもとに一定電位幅で
の段階付けを行い、カラーやドットパターンで２次元等
電位分布図を作成するものである。

なお、第９図で、〜は測定点を示し、●印は前記
測定点〜のデータに基いて補間する点であり、Ｈは
頭部を示す。

人や動物が運動を始めるにあたって、脳の中に運動の
準備状態が作られるであろうことはKornhuberら（196
4）が運動準備電位を記録したころから想定されてい
た。これは、人が手や足を動かす動作をするとき、頭皮
上に電極を置き、運動開始時点を基準として信号を加算
して得られるものである（塚原仲晃、脳の情報処理、18
64年、p180参照）。音声を発するという動作も随意運動
であり、同じく運動準備電位が記録できる。

アメリカ、ミズーリ大学メディカルセンターのドナル
ド・ヨークと、シカゴ大学のトム・ジェンセンは、1985
年脳波と言語の相関関数を被験者に単語を発声させる形
で調査した結果、単語を発音する直前、同じ発音の単語
に対しては同じ脳波パターン（この場合は被験者の頭皮
上で電極により記録した発声直前の準備電位のパター
ン）が現れたことを確認し、15の英単語に対しては20人
の間に波形の一致が確認され脳波辞書が作られた。

また、その後のジェンセンの研究では、英語圏の被験
者とイラン南部の地方語圏の被験者に同じ英単語を発声
させて同様な実験をしたところ、使用する言語の相違に
かかわらず単語を発声する直前の脳波パターン（準備電
位パターン）はまったく同じであった。したがって、発
声においては発音する音節レベルに対して、脳の中枢プ
ログラムは人種に関わらない共通した処理が行われてい
るものと考えられる（金子隆一、最近脳科学1988年10月
p179〜180参照）。

しかし、実験的に示された発音する音節に対する時系
列脳波パターンを認識するにあたっては、従来はStepwi
se discriminant analysis（SWDA）やPrincipal compon
net analysis（PCA）等の学習機能のない時間軸波形に
対する解析手段に限定されており、空間的な広がりが意
味を持つトポグラフィパターンの判別は困難であった。
また、被験者に発生した運動準備電位の脳波トポグラフ
ィパターンから被験者が頭でイメージした音節を認識さ
せるにあたって、神経回路網によって認識させるという
従来の技術は存在しない。

神経回路網は、第10図にユニットを示すように、生物
の神経素子の働きを模した多入力多出力の人工的神経ユ
ニットを多数結合することにより、信号処理，情報処理
の機能を実現する電気回路網の総称である、近年、神経
回路網にあるパターンを分類させてみて間違った場合に
は、結合の重みを修正するということを繰り返すことに
よって最終的に全てのパターンを正しく識別できるよう
にする誤り訂正型の教師あり学習の方法（バックブロパ
ケーション学習法）が公知の技術として各種提案されて
いる（D.E.Rumelhart,J.L.Moclelland and the PDP Res
earch Group,Parallel distributed processing,Vol.1
＆2,MIT Press,1986、および麻生英紀、ニューラルネッ
トワーク情報処理、産業図書、1988参照）。

この発明の目的は、脳波トポグラフィによる音節認識
にあたって、神経回路網の学習性と雑音に強い処理機構
を導入し、発声した音声信号そのものの認識がいらな
い、あるいは音声の発生を必要としない脳波トポグラフ
ィによる音声認識装置を提供することにある。

この発明にかかる脳波トポグラフィによる音節認識装
置は、多数の電極とそれら電極からのデータをもとに脳
波を検出する脳波検出手段と、脳波検出手段において検
出された脳波を２次元のトポグラフィパターンに変換す
る脳波処理手段と、２次元トポグラフィパターンを入力
としてそのパターンに対応する音節データを出力する認
識手段と、音節データの呈示手段と、学習用音節データ
をもとに認識手段に対して教師データを生成する音声デ
ータ教示部と、前記各部の制御を行う制御部とから構成
されている。

さらに認識手段を複数のユニットとそれらユニットを
結ぶ重み付きのリンクからなる神経回路網で構成したも
のである。

この発明においては、人がある音節を発声したとき、
その直前もしくはある音節の発声をイメージしたとき、
その直前に生じる脳波トポグラフィパターンを神経回路
網に複数回教師あり学習させ、神経回路網の学習後は、
脳波トポグラフィパターンに対して対応する音節を自動
的に認識，呈示する。

第１図はこの発明の一実施例を説明する図、第２図は
この発明の処理の流れ図である。

第１図において、１は多数の電極、２は脳波計、３は
脳波トポグラフィパターン作成装置、４は２次元トポグ
ラフィパターンを入力としてそのパターンに対応する音
節データを出力する認識手段としての神経回路網、５は
教示データを生成する音節データ教示部、６は音節呈示
部、７は全体を制御する制御部、８は音声検出装置、９
は脳波トポグラフィパターンの神経回路網４への入力前
処理装置である。また、ａは前記多数の電極１により検
出された検出信号、ｂは脳波信号、c1は脳波トポグラフ
ィパターン信号、c2は前処理された脳波トポグラフィ信
号、ｄは音節データ教師信号、ｅは音節データ呈示信
号、f,g,h,i,kは制御信号、ｊは音声トリガ信号であ
る。

第２図はこの発明における処理の流れ図である。この
図において、Ａは音節発声時の準備電位トポグラフィパ
ターンと対応する音節データの学習モード、Ｂ−１は音
節発声時の準備電位のトポグラフィパターン認識による
音節の認識モード、Ｂ−２は音節発声イメージ時の準備
電位のトポグラフィパターン認識による音節の認識モー
ドである。

第３図は脳波トポグラフィパターンの神経回路網４へ
の入力の概要を示す図で、（ア）は入力層、（イ）は隠
れ層、（ウ）は出力層、（エ）は５×５の数値マトリク
スデータである。

第４図（ａ），（ｂ）は音節発声時の時系列準備電位
パターンの一例を示し、第５図（ａ）〜（ｆ）は音節発
声直前の準備電位トポグラフィーパターンの一例を示す
図で、10階調の濃淡で示したもので、濃度の大きい部分
が濃度の薄い部分より準備電位の大きいことを示してい
る。第６図は神経回路網４への入力にあたり前処理され
た脳波トポグラフィパターンの数値マトリクスで、２次
元トポグラフィパターンである。第７図は神経回路網４
の構成概要であり、第３図と同じく（ア）は入力層、
（イ）は隠れ層、（ウ）は出力層であり、点線はユニッ
ト間の重み付けの更新を示している。

以下、第１図，第２図に基づき神経回路網４の学習モ
ードＡと、ある発声した音節を発声直前の準備電位トポ
グラフィから神経回路網４によって認識する認識モード
Ｂ−１、ある音節を発声しようとイメージしたときの準
備電位トポグラフィから神経回路網４によって音節を認
識する認識モードＢ−２の３つに大別してこの発明の動
作の説明を行う。

はじめに神経回路網４の学習モードＡから説明する。
まず、適宜の人にある音節を発声させる。この発声の最
中に第１図の多数の電極１によって検出された検出信号
ａは、脳波計２によって時系列の脳波信号ｂとして検出
され、脳波トポグラフィパターン作成装置３に送られ
る。ここで、音声検出装置８により発声の瞬間はトリガ
され、トリガ信号を基準に発声前後の脳波を加算して背
景脳波を消去する。ここで、発声から信号の加算までの
一連の操作がＮ回繰り返しされると、Ｎ回加算された多
チャンネル時系列準備電位パターンができあがる（ここ
でＮは数十回未満である）。いま、音節“あ”と“げ”
を発声したときのこの多チャンネル時系列準備電位パタ
ーンの典型的な一例を第４図（ａ），（ｂ）に示す。こ
の時系列パターンは本例では発声前準備電位のpeak to
peakが最大なるときのみピーク時脳波トポグラフィパタ
ーン信号c1として脳波トポグラフィパターン作成装置３
によって、入力前処理装置９に出力される。いま、音節
“あ”と“げ”を発声したときのピーク時トポグラフィ
パターンを第５図（ａ）〜（ｃ）と（ｄ）〜（ｆ）に示
す。入力前処理装置９に入力されたパターンは、脳波ト
ポグラフィ数値マトリクスとして神経回路網４に入力さ
れる。この数値マトリクスの一例を第６図に示す。同時
にこのイメージした音節が何であるかは音節データ教示
部５から神経回路網４に音節データ教示信号ｄとして教
示される。学習を継続する場合は以上の動作を同じ音節
あるいは異なる音節に対して複数回繰り返す。学習を終
了する場合は以上で学習モード終了とする。

次に神経回路網４の認識モードＢ−１について説明す
る。認識モードＢ−１とは、人が実際にある音節を発声
したときの準備電位トポグラフィパターン（第６図）か
ら神経回路網４によって発声音節を認識するモードであ
る。まず、学習モードＡと同じ人に対して既に神経回路
網４が学習済みの音節のうちのどれか１つを１回ないし
複数回としてＮ回連続して発声してもらう。この発声中
に第９図の多数の電極１によって検出された信号ａは脳
波計２によって時系列脳波信号ｂとして検出され、音声
検出装置８による発声時のトリガ信号を基準にして発声
前後の信号脳波が加算され、この発声から加算までの操
作をＮ回繰り返す。加算が繰り返された時系列準備電位
は、脳波トポグラフィに変換されて、入力前処理装置９
により処理されて、脳波トポグラフィ信号c2となってか
ら神経回路網４へ入力される。神経回路網４は入力され
た脳波トポグラフィパターンを数値マトリクスとして認
識して、既に学習した脳波トポグラフィパターンに基づ
き対応する音節を出力ｅとして音節呈示部６へ送信す
る。認識モードＢ−１による方法を音節“あ”と“げ”
の発声時に適用し、学習済みの神経回路網４に対して未
学習のそれぞれの音節に対するトポグラフィパターンを
認識させた一例を第８図に示す。ここで、横軸は各音節
に対するトポグラフィパターンの種類、縦軸は神経回路
網４の出力ユニットの各パターンに対する発火率であ
る。いま、発火率の高低でのみ識別を行うとすれば、10
パターン中10パターンに対して認識が可能なることが示
されている。なお、神経回路網４は３層のバックブロバ
ゲーションで入力層（ア）が25ユニット、隠れ層（イ）
が10ユニット、出力層（ウ）が２ユニットで各層間は全
結合である。概略を第７図に示す。

次に認識モードＢ−２について述べる。認識モードＢ
−２とは、人がある音節を発声しようとイメージしたと
きの準備電位トポグラフィパターンから神経回路網４に
よって発声しようとした音節を認識するモードである。
脳波信号の取り込みを開始してから、被験者は神経回路
網４に学習モードＡにおいてすでに被験者自身が学習さ
せた音節を発声し、それをＮ回繰り返す。これにより、
多チャンネル時系列準備電位パターンがシーケンシャル
に記憶される。この時系列データに対して、種々の音節
に対してそれぞれ認識モードＢ−１において加算された
多チャンネル時系列準備電位パターンの代表的な任意の
パターンの１つを、テンプレートとして認識モードＢ−
２において適応相関平均法によって複数回の音節発声イ
メージに対する準備電位パターンを、基準となるトリガ
信号なしで時間軸を揃えた上で加算して、多チャンネル
の時系列準備電位パターンが形成される。このパターン
は入力前処理装置９に入力されて認識モードＢ−１時と
以下同様に処理される。

この実施例では、脳波トポグラフィパターンをある音
節発声の準備段階におけるある発声時と発声時から１秒
前の間のpeak to peakを認識した例を示した。すなわ
ち、ここでは準備電位振幅がpeak to peakで最大になる
ときのトポグラフィパターンによって対応する音節を認
識したが、時間軸によって離散化した多数の連続した数
値マトリクスを、神経回路網４に入力して神経回路網４
を学習させて、かつ認識も連続した数値マトリクスを対
象として行うことも同様に可能である。また、第６図に
示す数値マトリクスは、第５図にアナログ的に示す準備
電位トポグラフィパターンをディジタル的に表現したも
ので、２次元トポグラフィパターンであることは明白で
ある。

以上説明したようにこの発明は、人が音節を発声もし
くは発声をイメージしたときの脳波トポグラフィパター
ンを神経回路網によって学習し、学習後に神経回路網に
よって脳波トポグラフィパターンからその人が発声もし
くはイメージしている音節を認識して自動的に呈示する
ので、パターンの特徴の自動抽出、類似パターンの高識
別化、高耐性を実現することができ、ある音節の発声を
イメージしたときの脳波トポグラフィから音節を識別す
るモードにおいては、脳波トポグラフィパターンから従
来不可能であったその人がイメージしている音節の自動
認識を音節を実際には発声しなくても認識を行えるとい
う利点がある。

この発明の応用分野としては、従来のキーボード，タ
ッチペン，マウスにかわる入力の動作を必要としない入
力装置としての利用、音声認識入力に代わる周囲雑音に
影響されない入力装置としての応用等が考えられ、具体
的には雑音環境下で、かつ手等の動作部位を使えない状
況における入力手段、ろう唖者の意志伝達手段としての
福祉分野への応用、体の保持手段がない無重量の空間内
で動作を必要とする入力デバイスが使えず、かつ雑音で
音声認識が使えないような宇宙ステーション内作業時の
入力装置、航空機パイロットの操縦装置の入力手段とし
ての応用等が考えられる。

第１図はこの発明の脳波トポグラフィパターンによる音
節認識装置のブロック図、第２図はこの発明における処
理の流れ図、第３図は脳波トポグラフィパターンの神経
回路網への入力の概要の説明図、第４図は音節発声時の
時系列準備電位パターンの一例を示す図、第５図は音節
発声直前の準備電位トポグラフィパターンの一例を示す
図、第６図は脳波トポグラフィパターンの数値マトリク
スの一例を示す図、第７図は神経回路網の概要を示す構
成図、第８図は学習済みの神経回路網に未学習の脳波ト
ポグラフィパターンを入力したときの神経回路網出力ユ
ニットの発火率の一例を示す図、第９図は国際電極配置
法による脳波測定の電極配置図、第10図は神経素子の概
要を示す構成図である。 図中、１は電極、２は脳波計、３は脳波トポグラフィパ
ターン作成装置、４は神経回路網、５は音節データ教示
部、６は音節呈示部、７は制御部、８は音声検出装置、
９は入力前処理装置である。