オムロンは6月6日、オムロン独自の画像センシング技術に最先端のAI（時系列ディープラーニング）技術を組み合わせ、運転手の多種多様な行動や状態をセンシングし、安全運転に適した状態かを判定する「ドライバー運転集中度センシング技術」を搭載した、世界初の車載センサーを開発したと発表した。
＜ドライバー運転集中度センシング技術の概要図＞
「ドライバー運転集中度センシング技術」は、オムロン独自の高精度な画像センシング技術に最先端のAI技術「時系列ディープラーニング」を取り入れることにより、カメラで撮影した映像から、運転手が運転に適した状態かをリアルタイムにレベル分けして判定する技術。
この技術により、車は運転手の状態に合わせた制御を行うことが可能となる。
自動運転と手動運転の安全な切り替えや、運転手の異常発生時に車を安全に停車させるなど、運転手の安全運転を支援し、車社会の安全性を高めることができる。
この技術を搭載した車載センサーを、2019年～2020年に発売される自動運転車などへの採用を目指す。
＜シング技術による運転復帰レベルの判定例＞
＜危険度レベルの判定例＞
技術の特徴では、高速道路の自動運転時に、運転手の多種多様な行動/状態を「どれくらいの時間で運転に復帰できるか」を基準に「運転復帰レベル」として、リアルタイムにレベル別に判定する。
手動運転時には、運転手の多種多様な行動/状態を「どれくらい安全に運転を行える状態か」を基準に「危険度レベル」として、リアルタイムにレベル別に判定する。レベル分けの段階・基準は、顧客の要望によって変更が可能であり、幅広い車種に対応できる。
従来、運転手の多様な状態を把握するには、顔の向きなどを検知するカメラ、心拍など生体情報を検知するセンサー、ハンドルの動きを検知するセンサーなど、複数のカメラやセンサーから得られる情報を組み合わせる必要があった。
「局所的な顔映像」と「大局的な動作映像」の2つの映像として処理することで、居眠り、脇見、スマートフォン操作、読書など、さまざまな運転手の状態を手のひらサイズのコンパクトなカメラ1台で判定できる。
従来、時系列ディープラーニングは、連続したデータを扱うために、比較的大規模なサーバーシステムへの接続が必要だった。
カメラから取得した映像データを、「高解像度の局所的な顔映像」と「低解像度の大局的な動作映像」に一旦分離した上で、2つの映像を効果的に組み合わせることで画像処理量を低減。「時系列ディープラーニング」を、車載の組込環境でもリアルタイムで実行可能にした。
大規模サーバーシステムへの接続が不要となり、車にネットワークへの接続環境を求めないため、既存車への後付けや、低価格帯の車への搭載も可能としている。