41.
RDBへのデータ連携が出来ると後が楽
外部システム A
外部システム B
S3
Embulk等
Semi Realtime
Replication
Couchbase利用システ
ム
横断検索
Search API
FTP
MySQL Replication
データ外部連携システム
外部システム C
※このAPIも外出しは可能
※更新差分データ提供
47.
N1QL Index上のデータ参照方法
USE INDEXを利用したクエリを発行し、SELECTの中身にINDEX中で指定したカラムのみを指定することで、実
データへのアクセスをせずに、Index上のデータを取得することが可能。(Explainで確かめる)
Explain SELECT max(_microtime)
FROM `【バケット名】` USE INDEX (`idx_doctype_microtime`)
WHERE doctype='N1QL_INDEX_CHECKER’;
→ “expr”: “cover((`accountpf-ph1`.`_microtime`))”となっている場合は、Index上のデータをそのまま利
用している。
そうなっていない場合は実データへのアクセスが発生している。
48.
それでも、やっぱりRDBへの投入って遅れるよね
N1QLで更新差分データのみをN件抽出
Data Service
Index Service
非同期でIndex更新
同一トランザクションでN件全部Replace
データ更新遅延
高負荷時においても
5分以内に更新完了
Couchbase利用システ
ム
Query Service
49.
リソース使用状況
(RDSレプリケーション用WRITEスループット)
予めcouchbaseバケットに対して各テーブル
1000万件程度のデータを投入していた状態
のレプリケーション状況。
RDS for MySQLを利用した場合、レプリケー
ション開始から暫くの間は数千records/sec
でのレプリケーションがされるが、途中から
Write Operationに上限が観測され、
300records/sec程度でのレプリケーション
しか行えなくなっている。
これをインスタンスタイプをスケールダウンし、
1000PIOPSを確保すると、スループットの向
上が見受けられ、2000req/sec程度のレプ
リケーションが可能となった。
MySQL r3.2xlarge MySQL m4.xlarge
1000PIOPS
Write operationに上限が観測され
る
暫くは速い
安いインスタンスのほうが速い
50.
RDS for MySQLは高負荷状態が続くと
WriteOperation速度に制限がかかってしまう。
※短期間の場合はOKであることに注意
→インスタンスタイプを下げてでもPIOPSを購入することでこの状態の
解消が可能だが、この状態ではまだ遅い。
Clipping is a handy way to collect and organize the most important slides from a presentation. You can keep your great finds in clipboards organized around topics.
Be the first to comment