Cloud Datastore 活用術

7 June 2016

Profile

Cloud Datastore Update

• XG Tx (25 Entity Groups)
• New Pricing Start 2016/07

Indexの数は考慮されず、操作したEntityの数のみがカウントされるように変更

Entity Reads   : $0.06 per 100,000 entities
Entity Writes  : $0.18 per 100,000 entities
Entity Deletes : $0.02 per 100,000 entities

Cloud Datastoreらしい構成

Kind 設計

• 正規化は必ずしも正ではない
• QueryするPropertyは1つのKindに含める
• 検索しないValueはJsonで突っ込むこともある

Key 設計

• 意味のある値がKeyの方が良い
• 単純な連番は苦手
• Requestの値から生成できたほうが良い

type User struct {
    ID          int // key value
    AccountName string
    NickName    string
    Email       string // uniqueにするのが難しい
}

// Login時に利用するKind
type EmailToUser struct {
    Email    string // key value
    UserID   int
    Password string
}

タブレットサーバの分割問題

• Keyが近いと短い時間に大量にデータを登録した場合に、タブレットサーバの分割が頻繁に起こる

pagenationは苦手

• 基本的にCursorでやりとりするので、Readmoreの方が得意
• ☓ offset

q := datastore.NewQuery("Item").Order("-UpdatedAt").Limit(limit)
if len(cursorParam) > 0 {
    cursor, err := datastore.DecodeCursor(cursorParam)
    if err == nil {
        q = q.Start(cursor)
    }
}

Query

Query Price

• Datastore Write Ops $0.06 per 100,000 operations
• Datastore Read Ops $0.06 per 100,000 operations
• Datastore Small Ops Free

Datastore Write Ops

• 書き込み時のオペレーション数
• Entity数
• Index数

Datastore Read Ops

• 読み込み時のオペレーション数
• 1 read + 取得したEntity数

Datastoer Smaill Ops

• Keys Only Query

Keys Only Query ?

• 条件に一致したEntityのKeyのみ取得するQuery
• 1 read Only

q := datastore.NewQuery("Item").KeysOnly()

Indexの節約

Queryに使わないIndexはoffに

• 1 propertyに付きDatastore Write Opsが2減る
• Indexを貼り直す場合は、get, putする

type Item struct {
    Title     string    `json:"title" datastore:",noindex"`
}

InMemory Filter & Sort

• 全ての条件をDatastoreのQueryでやるのではなく、Memoryの処理も組み合わせる
• 1000件以内への絞り込みはQueryで、残りはMemoryでやるなど
• 20件ずつ表示とかはやりにくい

Custom Index or Kind分割 (1)

• 論理削除フラグとかを追加するとQueryにCustom Indexがやたらと必要になる
• DelFlg(asc) * UpdatedAt(asc)
• DelFlg(asc) * UpdatedAt(desc)
• DelFlg(asc) * UpdatedAt(asc) * Category(asc)
• DelFlg(asc) * UpdatedAt(desc) * Category(asc)

type Item struct {
    KeyStr    string    `json:"key" datastore:"-"`
    Title     string    `json:"title" datastore:",noindex"`
    Category  string    `json:"category"`
    DelFlg    bool      `json:"delFlg"`
    CreatedAt time.Time `json:"createdAt"`
    UpdatedAt time.Time `json:"updatedAt"`
}

Custom Index or Kind分割 (2)

• 論理削除した場合は、データを別Kindに移す with XG Tx

• Item Kind, ItemTrash Kind

type Item struct {
    KeyStr    string    `json:"key" datastore:"-"`
    Title     string    `json:"title" datastore:",noindex"`
    Category  string    `json:"category"`
    CreatedAt time.Time `json:"createdAt"`
    UpdatedAt time.Time `json:"updatedAt"`
}

Batch操作

Batch操作 Bad !

• loopが回る数だけ、DatastoreへのRPCが走る
• 100回の場合、 100 * 40ms = 4000ms

for key := range keys {
    err := datastore.Get(ctx, key, dst)
}

Batch操作 Good !

• DatastoreへのRPCは1回

err := datastore.GetMulti(ctx, keys, dst)

集計

集計はMemcacheやPull Queueを活用する

• Count
• Sum
• Average

集計はputされる時に、やることが多い。

集計 Bad !

• request 数 * datastore put
• datastore write opsが多くなる

集計 Good ! (1)

• request時はpull queueとmemcacheにput

集計 Good ! (2)

• AsyncでDatastoreにまとめて保存する
• メモリ上でpull queue taskをまとめて集計すれば、datastore writeを減らせる

Task Queueの活用

重たい処理はUser Requestの外で

• UserのResponseに関係ない処理はPush Queueを使って後で行う
• 例えば、イベントが登録された時に、興味のあるユーザへ通知をするなど
• 動作させるModuleもUserのRequestを受けるModuleとは別にする

自作IndexをTQで作る

• 検索用のIndexを作る場合は、TQ側で作成する

大量のデータ更新もTQで

• cursorを持ち回りながらくるくる回す
• 失敗しても続きから再開できる

非同期処理

非同期処理

• RPC呼び出しを複数回行う時は非同期に行う
• DatastoreはJoinは無いので、KindごとにQueryが必要
• 1回ずつ同期していると、RPCのResponseが返ってくるまで暇

Example

同期で呼んだ場合 (code)

var entries []Entry
var comments []Comment
var friends []Friend
var footprint []Footprint
_, err := datastore.NewQuery("Entry").GetAll(ctx, &entries)
_, err = datastore.NewQuery("Comment").GetAll(ctx, &comments)
_, err = datastore.NewQuery("Friend").GetAll(ctx, &friends)
_, err = datastore.NewQuery("Footprint").GetAll(ctx, &footprint)

同期で呼んだ場合 (trace)

非同期で呼んだ場合 (code)

var entries []Entry
var comments []Comment
var friends []Friend
var footprint []Footprint
errc := make(chan error)
go func() {
    _, err := datastore.NewQuery("Entry").GetAll(ctx, &entries)
    errc <- err
}()
go func() {
    _, err := datastore.NewQuery("Comment").GetAll(ctx, &comments)
    errc <- err
}()
go func() {
    _, err := datastore.NewQuery("Friend").GetAll(ctx, &friends)
    errc <- err
}()
go func() {
    _, err := datastore.NewQuery("Footprint").GetAll(ctx, &footprint)
    errc <- err
}()
err1, err2, err3, err4 := <-errc, <-errc, <-errc, <-errc

非同期で呼んだ場合 (trace)

Advanced Technic

Keyに全てを

• Keys OnlyならEntity数に応じたOperationはFree！
• Keyの中に全データを入れてしまおう！
• まったく変わることの無いマスタデータの一覧画面などに有効

datastore.NewKey(c, "Item", fmt.Sprintf("%s-_-%s-_-%s", uuid.New(), title, category) , 0, nil)

1 Entityに集約

• Datastore Read Opsは、取得したEntity数によって変わる
• じゃぁ、限界まで1Entityにぶっこもう！
• Serializeしてbyte列でぶっこんだり, JsonにしてLong Textにぶっこんだり
• Entity Size Max 1MB

Advertise

GCPUG

Google Cloud Platform Training

Google Cloud Platform Training in Japan

Topgate 求人情報

Topgate GCPコンサルティング

最強クラウド

Resource

GCP エッジキャッシュ

YAPC Asia 2015「Google Cloud Platformの謎テクノロジーを掘り下げる」のまとめ

High Performance Apps with Go on App Engine

Cloud Datastore Fundamentals

Datastoreで検索エンジンを作る

Thank you