ソフトとかハードとか関係ございません

ソフトとかハードとか関係ございません株式会社マイクロアド佐藤由紀 http://engineer.microad.jp/strawberry/

はじめに

森は、海の恋人１９８９年に宮城県気仙沼で始まった活動漁民が山で広葉樹の植林を行うなぜ漁民が山で？ ↓ 豊かな海を作るには豊かな森が必要

マングース導入の失敗ハブ駆除のため奄美大島にマングースを導入 ↓ ハブは駆除されずウサギ等の固有種が減少

まとめると海は海、山は山、と別々に考えずハブとマングースだけを入れた檻の中だけを考えず山が良くなれば海が良くなると全体として考えるせめて、島全体まで考える

部分最適解と全体最適解は異なるこれは、自然科学における常識システムの世界でも同じでは？

ひとつの表現として・・・システムは「ソフトウェア」「ハードウェア」「ネットワーク」で構成されるということができるソフトウェア＝アプリケーション／ミドルウェア。ハードウェア＝OS／サーバ

アプリケーションエンジニアソフトウェアハードウェアサーバエンジニアネットワークネットワークエンジニアスペシャリスト

ソフトウェアアプリケーションエンジニアハードウェアサーバエンジニアネットワークセクショナリズムネットワークエンジニアと混同？スペシャリスト

そろそろ、ソフトかハードかフロントエンドかバックエンドかそんなセクショナリズムを打破しませんか？

この提言のため、ＦＰＧＡをｗｅｂサービスへ導入することの可能性についてお話します

本日の流れ一．ＦＰＧＡとは二．ＦＰＧＡとの出会い三．使い道の可能性四．ＦＰＧＡ導入への第一歩

一、ＦＰＧＡとは

一．ＦＰＧＡとは Field-Programmable Gate Array 現場で内部処理を書き換え可能な論理回路チップ

一．ＦＰＧＡとはデータウェアハウス（Ｎｅｔｅｚｚａ）  液晶ディスプレイの制御  超音波診断のリアルタイム表示  高速ネットワーク処理（ルータ等）  などに使われる、夢のチップ！

ＦＰＧＡ評価キットのボードＦＰＧＡ

ソフトウェアＦＰＧＡハードウェア実現できる機能ネットワークモデルが簡易すぎ、わかりにくい再構築 ⇒ ⇒

レイヤ機能ソフトウェアハードウェアネットワーク

ＦＰＧＡソフトウェア機能もハードウェア機能もネットワーク機能も実現可能

ソフトウェア、ハードウェア、ネットワークの機能を実現できるＦＰＧＡ誰が扱うの？アプリケーションエンジニア？そんな議論はサーバエンジニア？不毛だとはネットワークエンジニア？思いませんか？

もう一度・・・そろそろ、ソフトかハードかフロントエンドかバックエンドかそんなセクショナリズムを打破しませんか？

二、ＦＰＧＡとの出会い

ＭｉｃｒｏＡｄにて２０１１年に導入したＮｅｔｅｚｚａにＦＰＧＡが利用されている事からその有用性を知るＮｅｔｅｚｚａは、アプライアンスのデータウェアハウス

通常のデータウェアハウス select/insert Ｎｅｔｅｚｚａ select/insert ＜専用＞ネットワークコントローラ特定処理のためだけに最適化されている＜汎用＞きめ細かに多種多様な CPU 事ができる OS FPGA FPGA メモリコントローラメモリＳＡＴＡコントローラ HDD メモリ HDD

通常の反応反射（ＣＰＵ的）（ＦＰＧＡ的） ③脳【判断/指示】 ①刺激 ①刺激 ②脊髄 ②脊髄【既定の動作を指示】ＦＰＧＡは反射の際の脊髄のように、瞬時に既定の動作を行う

大量のデータを用い、高速化が必要な処理にＦＰＧＡを活用できる ↓ ＭｉｃｒｏＡｄのシステムと特徴が合致！

三、使い道の可能性

ＭｉｃｒｏＡｄのご紹介自社でプラットフォームシステムを開発し、広告配信事業を行う会社広告をオークション形式で配信 100円主催参加system system Ａ参加system 30円ＷｅｂユーザＢ

オークション参加システム「広告を見る人」人 × 広告主サイト相性「表示ページ」 “どの広告”を “いくら”で入札するかを決定広告 × 配信ページ相性人 × デモグラ情報性別、居住地域、年代人 × 広告閲覧回数どの広告を何回見たか等・・・

ＭｉｃｒｏＡｄのシステムの特徴大量リクエスト(６０億件/日)に対し  大量データ(１０億件を１０セット)を参照し  高速にレスポンス（５ミリ秒)する  ＦＰＧＡが使えるかも？！

使い道の可能性大量リクエストのフィルタリング/正規化/ 処理の分岐  参照する大量データのＫＶＳとして  妄想オークション処理全てをＦＰＧＡ上で実現できたら、すごく面白いかもしれない

状況昨年１２月より検証開始し、２０１４年夏には一部導入予定。検証は、こんな場所で実施しています

ＧＡＲＡＧＥ

東京湾付近某所

小休止

小休止：StormとHBaseの活用事例 StormとHbaseを活用したシステムを開発し、２０１３年９月より稼働実現機能：メインプロダクトに搭載した、新しいリターゲティング機能

リターゲティングとは再来訪を促す広告配信手法 (1)広告主サイト訪問成約 (4)再来訪 (2)離脱 (3)追跡他のサイトで広告を掲載サイトを離れる

ＭｉｃｒｏＡｄのリターゲティングの変遷初代【リリース時期】２００７年【特徴】細やかなリタゲ設定が可能二代目【リリース時期】２０１１年【特徴】リアルタイム性を向上三代目【リリース時期】２０１３年【特徴】最も細やかなリタゲ設定ができ、その上、リアルタイム(５０ミリ秒) なデータ反映を実現

三代目リターゲティングの特徴（１） “細やかなリタゲ設定”とは設定の一例（ファッションＥＣサイトの例）Ａ）女性服のページに三か月以内に５回～９回Ｂ）子供服のページに昨年の１１月に２回以上５回～９回三か月前現在２回以上 11/1 11/30 Ｃ）二か月以内に購入二か月前「Ａ and Ｂ not Ｃ」や「Ａ and Ｂ and Ｃ」などの指定が可能（もっと細やかな設定も可能）現在

処理時に参照するデータの量細やかな設定を実現３６５日分１日分３時間分初代二代目三代目

三代目リターゲティングの特徴（２） “50ミリ秒でのデータ反映” 広告主サイトに訪問した瞬間(５０ｍｓ) データが反映される ↓ 直後から、その広告主の広告が配信される (1)広告主サイト訪問 (2)離脱 (3)追跡

データ反映タイムラグリアルタイム化を実現２４時間２時間初代二代目５０ミリ秒三代目

基盤となるミドルウェアの変遷初代二代目三代目 MapReduce Hive データ集計・反映データ蓄積 HDFS,MySQL HDFS Storm 広告配信時 MySQL 参照データ KyotoTycoon KyotoTycoon HBase

システム構成の概要 ※数値は2014年2月1日時点 120億件 (300GB) 6,000QPS （3億件/日） Storm KyotoTycoon 4.4億件

 運用のポイント  MQに余裕を持たせることで、Stormや HBaseのメンテナンスがしやすい  Zabbixで各種統計情報を取得し、パフォーマンス解析に活用  現状の課題  キャッシュ破棄等で、HBaseのパフォーマンスが劣化するタイミングがある

四．ＦＰＧＡ導入への第一歩

必要な知識・スキルソフトウェア 1. ＨＤＬ(ハードウェア定義言語) 2. ＦＰＧＡの仕組みハードウェア 3. 論理電子回路ネットワーク

この二つが分かっていれば、「論理電子回路」はとても簡単です 1. 2. 論理演算(AND,OR・・・) ２進数計算 →調べてみてください

あとは、入門キット(20,000円~)を購入し、ＨＤＬでコーディング/コンパイルできたけど・・・さっきの妄想を実現するには程遠い

次はもうちょっと本格的な評価キットを購入し、新たなコーディングここまで出来れば、ＦＰＧＡの扱いはＯＫ！

参考：本格的なアプローチ 1. 回路設計 →回路ＣＡＤのスキルも必要 2. パターン設計 →アナログ/デジタル回路のスキルも必要 3. 4. 基板/部品組み立ての発注ＨＤＬでコーディング/コンパイル ※実は、アプライアンス製品を買っちゃう方法もありますよ。

最後にもう一度・・・そろそろ、ソフトかハードかフロントエンドかバックエンドかそんなセクショナリズムを打破しませんか？

ありがとうございました株式会社マイクロアド佐藤由紀 http://engineer.microad.jp/strawberry/

ソフトとかハードとか関係ございません

by MicroAd, Inc. on Feb 14, 2014

Statistics

Views

Actions

2 Embeds 413

Accessibility

Categories

Upload Details

Usage Rights

Report content

ソフトとかハードとか関係ございません Presentation Transcript

http://engineer.microad.jp	399
https://twitter.com	14