自動運転において、コックピットのHMI（Human Machine Interface）に注目が集まっている。レベル3（条件付運転自動化）以上では機械が運転の責任を負うのは一定条件下のみであるため、ドライバーに運転モードを認識させること、車両の制御をスムーズに引き継ぐための表示・アラート・操作指示をどうするかについて、UI/UX関連の研究が進みつつある。
オムロンでは「京阪奈イノベーションセンタ」（京都府木津川市）において、この課題に応える「ドライバーモニタリングシステム」を開発している。その最先端技術の開発に携わるエンジニアに話を聞いた。
「レベル5の完全自動運転」以外はドライバーの操作が必要。ドライバーの状態をシステムでどう監視するのか
オムロンが開発中の「ドライバーモニタリングシステム」は、ドライバーを近赤外線カメラで撮影し、運転への集中度を判定する。バスやトラックなど旅客運送業務では、運行管理システムとともに、ドライバーの健康管理や居眠り運転防止のために類似の技術を取り入れているところがある。ドライバーの意識の有無に加え、運転への集中度の判定は、自動運転レベルが進むにつれて欠かせない技術となっている。オムロンのシステムは、運転への集中度を顔、目の状態、上半身の動きなどから判定する。
そのドライバーモニタリングシステムの研究開発に携わっているのが、西行健太さん（技術・知財本部 センシング研究開発センタ 画像センシング研究室）だ。西行さんは、奈良先端科学技術大学院大学で画像認識の研究を行い、現在はオムロンのR&D中核拠点である京阪奈イノベーションセンタに勤務するエンジニアである。
自動運転支援や自動運転は、いかなる条件でも無人走行が可能であるレベル5以外では、緊急時にはドライバーが運転を正しく引き継ぐ必要がある。つまり、自動運転といっても、すべてを機械に任せられるわけではない。従って「アクセルやブレーキ、ハンドルを今誰が制御しているか」は、ドライバーとして搭乗している限り把握しておく必要がある。
また、クルマ側もそれをドライバーに伝え、意識させる必要がある。人間の介入が必要になったり、人間に制御を戻す必要があったりした場合、ドライバーが運転を引き継げる状態にあるかどうかを、クルマが判断しなければならない。自動運転中にドライバーの状態を監視・把握して、適切な情報提供や注意喚起を行うシステムが不可欠なのだ。
西行さんによれば、オムロンのドライバーモニタリングシステムは、ドライバーの集中度（レディネスと呼ぶ）についてHigh（運転の準備ができている）／Mid（短時間で運転に復帰できる）／Low（運転に復帰するまで時間がかかる）の3段階に分けて認識しているという。集中度が低下した場合のシステムの役割は、アラートを上げてドライバーに注意を促したり、覚醒させたりすることだ。これを進化させれば、走行状況とドライバーの状態を監視・予測しながら、適切なタイミングで安全に制御の切り替えを行うことができる。
画像認識技術に使う長年の研究データはありつつも、開発課題は「ドライバーに関するより多くのデータ収集」
ドライバーモニタリングシステムの特徴は、光学式のカメラではなく近赤外線カメラを利用することだ。その理由は「夜間の暗い状態、サングラスをした人の動きや顔・目の状態などを把握する必要があるから」と西行さんは説明する。ハンドルやフロントガラス付近に近赤外線カメラを置き、主にドライバーの上半身を撮影して、画像センサーから得た顔の向き、視線、目の開閉度、上半身の動きなどを分析し、集中度に関する詳細な情報を得る。
オムロンの画像認識技術の特徴は、機械学習に欠かせないタグ付けされた大量のデータを持っていることである。
「実は、オムロンは20年以上前から顔画像センシング技術を研究しています。顔画像センシング技術『OKAO Vision』の技術開発・研究が代表的ですね。当初は笑顔なのか、怒っているのか、人の表情を読み取る技術を開発していました。その歴史もあり『顔の情報を得る』という技術やそれを基にしたデータが蓄積されています」
OKAO® Vision｜技術紹介｜オムロン人画像センシングサイト：＋SENSING
「技術・知財本部ではこの研究を続けてきており、大量の画像データがタグ付けされた状態で管理されています。機械学習をしている人にはこの意義や重要性を分かっていただけると思います。ドライバーモニタリングシステムの開発のために、実機に近い写真を撮れるコックピットシミュレータを開発したり、画像処理と機械学習のためのタグ付け処理を行う部隊がいたりと、開発リソースも充実しています」
最近のデジタルカメラには、被写体の顔認識や笑顔認識などが一般的な機能として備わっているが、そのエンジン部分に、オムロンの画像認識技術を採用するメーカーは少なくない。CEATECや東京モーターショーなどでプロトタイプやドライバーモニタリングシステムのコンセプトモデルについて参考展示を行っているが、要素技術として自動車完成車メーカーや大手サプライヤーからの問い合わせも増えているという。西行さんは展示会で、来場者のフィードバックや意見をダイレクトに聞き、より実用的な技術へと意識を向けている。
目下の開発課題は、やはり機械学習用のさらなるデータの収集だそうだ。
「長年の機械学習や画像認識の研究から、ドライバーモニタリングシステムの設備や体制は整いつつあるのですが、課題は大きく分けて3つあります。まず、自動運転はまだ広く普及しているわけではないので、自動運転時にドライバーが実際にはどんな行動や反応をするのかが分からないことです。2つ目は、これから市場に出てくるレベル3の自動運転車について実車によるデータ採集が難しく、ノイズのないデータでの学習やチューニングが大変で、シミュレータに頼っているという問題があります。3つ目は、そもそも人間の行動や動きが多様で、データ取得が難しいことです。動きがまったく予想できず、大きさや人種、性別などの違いも画像認識に影響を及ぼします。クセなどの個人差も大きいですね」
また、ドライバーの状態を正しく認識するには、サンプリングごとのスナップショットで判定するだけでは不十分だ。一連の動きのパターン、つまり動画情報から、よそ見なのか安全確認なのか、危険な状態なのか集中しているのか、動作のコンテキストを判断する必要がある。
課題は多いがやりがいのある画像認識技術
西行さんは最初から自動運転関連の技術に携わるつもりでオムロンに入社したわけではない。もともとAI（人工知能）に興味を持っており、奈良先端科学技術大学院大学の修士課程を卒業後、半導体メーカーで画像認識システムの開発、英会話教材の会社で音声認識など、一貫して機械学習やAIの研究に従事していた。大学で研究していた時代に、オムロン 技術・知財本部 センシング研究開発センタ 諏訪正樹氏の存在を知る。画像認識の分野の第一線で活躍する研究者だ。技術・知財本部の研究者募集を転職サイトでたまたま見つけ、自分の持つ技術を高めて社会に貢献できると思い、すぐに応募したという。
画像認識は結果がすぐに目に見えて分かるため、やりがいのある研究だと西行さんは語る。課題は少なくないが、研究職に対する会社のバックアップもあり、非常に充実しているという。以前の職場では国際会議に参加する機会はなかったというが、現在はICCV（International Conference on Computer Vision）への参加、学会活動が可能になったそうだ。
また、西行さんは、会社が支援する社会人博士の取り組みを利用し、2016年10月から中部大学で博士号を取得すべく研究活動も行っている。専攻は奈良先端科学技術大学院大学時代と同じ情報科学だ。AIや機械学習など画像認識につながる部分もあり、仕事にも役立っていると話す。博士号を取り、海外の学会や国際会議で自分の研究成果を発表するのが目標とのことだ。
西行さんに、京阪奈イノベーションセンタという職場についてどう感じているかを尋ねた。
「風通しがよく、話しやすい環境です。周囲の人たちの技術力が高く、より高度な技術に関する議論ができます。自分自身をさらに磨かなければならないと感じます。業務エリアの中央部には『プロムナード』というオープンスペースがあって、ホワイトボードを活用して立ったままその場で議論したり、PCを持ち歩いて話をしたり。私は中途入社ですが、研修制度が充実していてオムロンのことをしっかり知ることができるとともに、他のグループの人たちと関わる機会も増えました」
「研究室には何十人も所属していて、同じグループには20人ほどいます。キャリアパスは、マネジメントとは別に技術の専門職が設置されていて、希望すれば技術の専門職からマネジメントへの異動も可能です。技術者にとって良い会社だと思います。現在のグループリーダーは技術者出身の人ですね」
京阪奈地区にはさまざまな企業の研究開発部門が置かれているが、そこで意識することもあるという。「研究分野については学会への参加などでカバーできていますが、オープンな勉強会はやはり東京の方が人数、回数ともに母数が多いですね。AIの研究開発拠点を東京に作る計画が進んでいるので、今後もっとエンジニアのコミュニティとの関わりを深められると思います」
西行さんがドライバーモニタリングシステムの開発にこだわる理由が、もうひとつある。
「エンジニア一個人としても、実用的な技術開発にこだわりを持っています。技術的な複雑さや高度な技術かどうかよりも、人の役に立つ技術かどうか、お客様に喜んでもらえるかどうかを大事にしたいと考えています。実は、祖父は元タクシードライバーでした。最近は自分で運転できなくなり、自転車で苦労しながら移動しています。病院などの送迎においても運転支援や自動運転がもっと広がれば、自動車は高齢者でも乗れる乗り物としてもっと便利になると考えています」
まさに身をもって技術の必要性を感じ、オムロンという場で開発に臨んでいる西行さん。目下の目標は、まずドライバーモニタリングシステムを完成、普及させること。「自分の技術が実際の車両に搭載されるまでやりきりたいと思っています」と力強く語った。
執筆者プロフィール
中尾 真二（なかお しんじ）
フリーランスのライター、エディター。
アスキーの書籍編集から始まり、翻訳や執筆、取材などを紙、ウェブを問わずこなす。IT系を軸にセキュリティ、自動車、教育関連の媒体でフリーランスとして活動中。インターネット（とは当時は言わなかったが）はUUCPの頃から使っている。
読み込み中