顔認証装置を用いた保育園のソーシャルグラフ生成に関する研究

顔認証装置を用いた保育園のソーシャルグラフ生成に関する研究

1. 1. 顔認証装置を用いた保育園の ソーシャルグラフ生成に関する研究 東京電機大学工学部情報通信工学科 阿部隼也，浅野純也，飯田亘，春若美理，長谷川誠
2. 2. 目次 1. 園児の個人認証と表情認識 2. ソーシャルグラフ生成方法 3. 先行研究 4. 保育園として考えられるメリット 5. 個人情報保護 6. 予備実験 7. まとめと今後の課題 2
3. 3. 園児の個人認証と表情認識 • 保育士による認識装置の携帯 • 園児の撮影；複数園児の個人認証・表情認識 保育士による装置の携帯 さきちゃん 笑顔(80%) はるとくん 笑顔(75%) 複数園児の個人認証・表情認識 認識装置 メガネ型ビデオカメラ 3
4. 4. ソーシャルグラフ生成方法 • 同一シーンに複数園児；園児間のリンク生成 • 保育士と園児とのリンク生成 ななこ先生 さきちゃん 笑顔(80%) はるとくん 笑顔(75%) ソーシャルグラフ生成同一シーン 保育士と園児リンク 園児どうし リンク 認識装置 メガネ型ビデオカメラ ななこ先生 はるとくん 喜怒哀楽の回数 さきちゃん 喜怒哀楽の回数 園児どうし リンク 保育士と園児 リンク 4
5. 5. 保育園のソーシャルグラフ • 関係（ネットワーク構造）の図示・数値化 • 分析と記録（グループ・孤立児・保育士の接し方） • 変化時に警報 • 改善と評価 仲良しグループ 仲良し グループ さきちゃん 喜怒哀楽回数 はるとくん ゆいちゃん はるかちゃん ゆうとくん （孤立児 一人でしか 写っていない） かいとくん （孤立児 写真に写って いない） ななこ先生 みさき先生 連結度 連結度 ソーシャルグラフ 5
6. 6. 研究目的（人間関係の可視化） 人間関係 • 我々人類にとって重要な関心事 • 顔を合わせことによって構築されるもの （コンピュータビジョンによる人間関係の分析） • 複雑；曖昧 • 喜びや悲しみ • ストレスの原因 • 情報化社会；希薄化 先行研究：SNSによる 人間関係の分析） 人間関係 http://human-being.biz/ 6
7. 7. SNSによるソーシャルグラフ（先行研究） • Twitter，Facebook，mixi，LINE（代表的なSNS） • グラフによる友人関係等の可視化（ビッグデータ） • 仮想空間の人間関係 facebookのソーシャルグラフ TouchGraph http://www.touchgraph.com/ 7
8. 8. ソシオメトリー（先行研究） • 集団内の人間関係を測定する方法 • Jacob Levy Moreno（心理療法家；1930年代） • 質問紙（ソシオメトリック・テスト）：倫理上問題あり • ソシオグラム（関係図） • カウンセリング 西山美瑳子，”ソシオメトリーの理論と実験的方法” Jacob Levy Moreno http://knightlab.northwestern.edu/ 8
9. 9. 保育園として考えられるメリット • 状況の図示・数値化 • 分析と記録（言葉による保育記録に加えて） • 実験で撮影した映像の活用 • 安全・安心への取り組み（客観評価の１つとして） • イメージ戦略（情報化に積極的な保育園） • 広報（学会発表・新聞・雑誌・ニュース等） 保育園 9
10. 10. 個人情報保護 • 東京電機大学ヒト生命倫理委員会による審査済み • 研究代表者による説明（いつでも） • 同意書による参加者の意思確認（いつでも撤回可能） • 映像情報のすべてを保育園へ提出 • データ管理の徹底 • 公開する成果（論文等）の保育園による事前確認 • 個人が特定できるデータは非公開 （一部の映像を学会で公開する場合，別途必ず確認） 10
11. 11. 東京電機大学人生命倫理審査委員会 11
12. 12. 予備実験（撮影装置） メガネ型ビデオカメラ サンコー「ミタマンマメガネH.264」 6時間の充電で約40分の撮影可 ピンホール カメラ内蔵 保育士視点で園児の撮影可能 園児への違和感小（最初のみ園児意識） 保育業務への支障小 12
13. 13. 予備実験（認識装置） 認識装置 オムロン「HVC-P」 顔認証，表情推定，視線推定 （性別，年齢，顔の向き， 目つむりの認識可） 映像をテレビ表示 認識装置で顔識別，表情認識 耐誤認識（要検討） テレビ 認識装置 13
14. 14. 予備実験（顔認証・表情認識） Execute 人体:On 手:On 顔:On 顔向き:On 年齢:On 性別:On 視線:On 目つむり:On 表情:On 認証:On Result 応答時間:4613ms リターンコード:00 人体 検出数:0 手 検出数:0 顔 検出数:1 Index:0 X:323 Y:304 サイズ:184 信頼度:765 顔向き LR:2 UD:4 Roll:-1 信頼度:936 年齢 年齢:44 信頼度:400 性別 性別:男性 信頼度:574 視線 LR:-3 UD:4 目つむり 左:179 右:325 表情 表情:真顔 スコア:91 ネガポジ度:0 認証 長谷川誠 信頼度:1000 認証・認識結果 14
15. 15. 予備実験（大学生を園児とみなして） 認識結果 15
16. 16. • ２つの仲良しグループ • 「たくろう君」，「たつひろ君」，「よしひろ君」は目立ちたがり屋 • 「たくろう君」と「よしひろ君」は中心人物 • 「まこと君」と「じゅんや君」は孤立児 • 「たくろう君」は友達多い • 「かつき君」は 「みさとちゃん」が必要 • 「たくろう君」はいつも 泣いている • 「みさとちゃん」は いつも驚いている • 「とおる君」は無表情 ソーシャルグラフ生成結果 16
17. 17. 実証実験（予定） • Rainbow Wings International Nursery & Preschool 保育園（千葉県印西市千葉ニュータウン） • 成願寺付属中野たから幼稚園（東京都中野区） http://www.rainbow-wings-i.com/ http://www.nakanotakaray.ed.jp/ （白石さん紹介） 17
18. 18. まとめ • 顔認証によるソーシャルグラフ生成の提案 • メガネ型ビデオカメラと認識装置を用いたシステム 提案 • 学生を園児とみなした予備実験 18
19. 19. 今後の課題 • 実証実験・システム開発・実用化検討 • 表情認識・視線認識の活用 • ウエアラブル端末（リストバンド）による園児の活動 量計測・心拍計測（事故防止） • ロボットの導入 • マルチメディア教材の開発 ロボットの導入マルチメディア教材 19
20. 20. （参考）心拍・活動量計 園児の活動量把握 • ブレスレット型（妖怪ウォッチ） • 移動距離・歩数（園庭と屋内，天候；消費カロリ） • 運動能力の測定 • アクティブな日時 • 心拍数 • 睡眠状態 ブレスレット型 活動量計 20