IkaLog osc2016tf

IkaLog osc2016tf

1. 1. 本スライド中に登場するスプラトゥーン関連画像は任天堂株式会社の著作物です。
2. 2. 2004 | 2011 2011 | 2014 2014 | SEサービス プリセールス @ So+ware Research Associates, Inc. システム構築、客先のシステム運用、提案でキャリアをスタート → プリセールス〜PMを担当するインフラエンジニア システムアーキテクト @ Trigence Semiconductor, Inc. エンベデッド開発支援からITシステム管理まで多岐に対応 セールスエンジニア @ Fusion-io, Inc. 高速半導体ストレージ ioDrive / ioMemory シリーズの SE として活動
3. 3. –  –  –  –  –  –  –  –  – 
4. 4. 様々なステージとルール •  １６のステージ、４つのルール •  勝利に向けチームで立ち向かう 多様な楽しみ方 •  90以上のブキから好きなものを 選んでプレイ
5. 5. •  •  •  Nintendo WiiU ＆ スプラトゥーン { “kills”: 5, “deaths”: 1 } IkaLog 映像 解析結果 ログファイル出力 外部ツール連携 外部Webサイト連携 蓄積／出力先
6. 6. HDMI キャプチャデバイス IkaLog 実行用PC
7. 7. 引用元　hRp://piroz.hatenablog.com/entry/2016/03/03/215511
8. 8. hRps://www.youtube.com/watch?v=iVMmSDWHmEo 各シーンへのリンク 味方・敵の構成、成績等
9. 9. 録画ソフト 自動制御 AmaRecTV カラーLED連動 Fluentd 転送 スプラトゥーン戦績記録SNS CSV/JSONファイル保存 スクリーンショット保存 SNS投稿 IkaLog
10. 10. •  • 
11. 11. 20
12. 12. 自分が倒されて 行動不能だった時間 イカ（味方／敵　計８匹）の生死状況 チームのスペシャル発動、キル／デス 自分の塗り面積
13. 13. 目標物の 確保状況 敵チームの ポイント 自チームの ポイント 逆転の瞬間
14. 14. データソース hRps://stat.ink/en_re/user 【ピーク】 24時間あたり 370ユーザ、約15,000ゲームを分析 毎日 約200ユーザが利用 24時間あたり平均4500ゲームを処理
15. 15. ユーザー 開発者 hasegaw/ikaLog stat.ink ダウンロード 記録 送信 hasegaw 一部データ (QA用) 　開発、 　stat.inkデータに 　　よる機械学習 Windows版 実行ファイル生成 （本スライド中の画像の一部はイメージであり実際のものとは異なります。） PR モ ツ 鍋
16. 16. ソース映像 マスク画像 加算画像 + = = 正しいマスクを加算すると画像が真っ白になる 違うマスクを加算すると画像が真っ白にならない
17. 17. 31
18. 18. 32
19. 19. 34
20. 20. •  –  –  •  – 
21. 21. •  •  •  •  •  •  •  •  •  文字として 認識されないことも
22. 22. ● ● ● ● ■ ■ ■ ■ ? ▲ ▲ ▲ ▲ ? ? ? ? とてもシンプルな機械学習 標本　　　　の傍にあるサンプルがどれかで 分類する。 K=1 の場合は最寄りのサンプルがある クラスに分類される。 K=3 の場合は近くに3つのサンプルがある クラスに分類される。
23. 23. •  –  •  •  –  – 
24. 24. 問題図形をランダムに 生成 K近傍法を用いて、学習済みの 図形から、もっとも近い図形を調べる 仕分ける ○ △ □ ○ 学習済み図形 ○ △ □
25. 25. •  –  –  •  –  – 
26. 26. •  –  –  •  –  –  votes={ 'supershot': 6, 'carbon_deco': 1, 'bucketslosher': 1, 'octoshooter_replica': 1, 'splashshield': 1, 'sshooter_collabo': 5, 'hotblaster': 2, 'pablo': 1, 'nzap89': 6, 'sharp_neo': 3, 'hotblaster_custom': 2, '96gal_deco': 18, '52gal': 1, 'hokusai': 1 }
27. 27. WiiU の画面を取り込む
28. 28. クラス分類したい部分の画像を抜き出す
29. 29. 特徴画像に変換 （ラプラシアンフィルタ＆画像縮小）
30. 30. sschooter_collabo （スプラシューターコラボ） K近傍法でクラス分類
31. 31. –  –  –  – 
32. 32. スクリーンでは視認しにくいが、ユーザーが様々な解像度の画像を送ってくる「現実」
33. 33. Thanks @itoooon
34. 34. –  –  –  – 
35. 35. 57
36. 36. •  ❌ ⭕ –  •  •  –  •  • 
37. 37. （本スライド中の画像の一部はイメージであり実際のものとは異なります。） オブジェクト ストレージ 作業用 インスタンス on IaaS １年以上のデータを蓄積 総データ量 4TB以上 IkaLogユーザ stat.ink hasegaw
38. 38. •  アスペクト比が 壊れている なぜか画像がズレている リファレンス画像 （入力してほしい画像）
39. 39. 0 1 2 3 .. .. n 0 1 2 3 … 89 90 Input Layer Output Layer Hidden Layer 52gal 52gal_deco 96gal 96gal_deco … Sschooter_wasabi wakaba
40. 40. •  –  –  •  –  – 
41. 41. K近傍法 既存ImageNet 新ニューラルネット 認識効率 一部ユーザでは 低い 99.9+% 99.9+% モデルサイズ 20MB（現時点） 400MB (AlexNet) 100MB (GoogleNet) 50MB (Float32) 25MB (Float16) 分類にかかる時間 とても高速 ~300ms ~100ms •  • 
42. 42. 64
43. 43. HDMI キャプチャデバイス IkaLog 実行用PC
44. 44. FPGAボード
45. 45. Processor: Dual-Core ARM Cortex-A9 FPGA: 1.3 M reconfigurable gates Memory: 512MB DDR3 / FLASH Storage: Micro SD card slot Video: HDMI In and HDMI Out Audio: Mic in, Line Out Network: 10/100/1000 Ethernet Expansion: USB Host connected to ARM PS Interfaces: 1x Arduino Header, 2x Pmod (49 GPIO) GPIO: 16 GPIO (65 in total with Arduino and Pmods) Other I/O: 6x User LEDs, 4x PushbuRons, 2x Switches Dimensions: 3.44” x 4.81” (87mm x 122mm)
46. 46. •  –  –  •  –  – 
47. 47. 71 HDMI 信号 つらい。
48. 48. MacBook （イカ動画出力） PYNQ （ARM搭載FPGAボード） Intel Compute S_ck (音声合成, Terminal） ゲーム映像 出力モニタ