さくらの{VPS,クラウド}で作る WordPress クラスタリング

1. さくらの{VPS,クラウド}で作る WordPress クラスタリング 2017/02/28 これで一撃！ KUSANAGI x さくらのVPS 発表資料 1 @nullpopopo

2. 2 さくらの{VPS,クラウド}で作る WordPress クラスタリング自己紹介

3. 3 さくらの{VPS,クラウド}で作る WordPress クラスタリングけものフレンズロゴジェネレータ！より作成

4. 4 さくらの{VPS,クラウド}で作る WordPress クラスタリングぽぽなぎ #とは by @herl_saga さん

5. 5 さくらの{VPS,クラウド}で作る WordPress クラスタリング濱田康貴所属というか肩書というか : プライム・ストラテジー株式会社クラウドインテグレーション事業本部シニアエンジニアゆで太郎神田橋店エバンジェリスト気が付いたらぽぽなぎアイコンが作られる謎キャラプライベートでの活動とか : USP友の会さくらクラブ明るいですマーチ研究会ペアプログラミング合コン (の中の人) KUSANAGI-UG プライベートで作ったもの : ICHIGEKI (KUSANAGI運用に忙しくメンテナンス止まってる…)

6. 6 さくらの{VPS,クラウド}で作る WordPress クラスタリング濱田康貴 BLOG (すべてKUSANAGI @ さくらのVPS で運用中。): https://nullpopopo.blogcube.info/ https://cycle.blogcube.info/ https://sakura-rentalserver-wordpress.blogcube.info/ https://togoshiginger.com/ https://heisha5f.com/ Twitter : @nullpopopo @heisha_5f Facebook : @nullpopopo

7. 7 さくらの{VPS,クラウド}で作る WordPress クラスタリング濱田康貴書いたもの : • USP MAGAZINE Vol.0 • USP MAGAZINE 2014 April vol.12 • USP MAGAZINE 2014 June vol.14 • USP MAGAZINE 2014 August vol.16 • USP MAGAZINE 2014 October vol.18 特集インフラエンジニアのお仕事 • USP MAGAZINE 2014 December vol.20 • シェルスクリプトマガジン vol.2 特集北のDC探訪記!&USP友の会出張一撃勉強会レポ • シェルスクリプトマガジン vol.27 CodeZineでも書かせていただきました。 https://codezine.jp/author/1496

8. 8 さくらの{VPS,クラウド}で作る WordPress クラスタリングかつてこんなことも話しましたっけ・・・ 2013/02/22 OSC 2013 Tokyo/Spring の OSC.cms でW○rdPressからBASH製CMSへ1日で移行した話をしました。シェルスクリプト高速開発入門 (USP研究所監修、上田隆一、後藤大地著出版社: KADOKAWA/アスキー・メディアワークス(2014/7/1) ) https://www.amazon.co.jp /dp/4048660683 でコトの顛末が書かれております。

9. 9 さくらの{VPS,クラウド}で作る WordPress クラスタリング

10. 10 さくらの{VPS,クラウド}で作る WordPress クラスタリングところで皆さん

11. 11 さくらの{VPS,クラウド}で作る WordPress クラスタリング桜葉あいちゃんと佐倉まりなちゃんのどちらが好きですか？

12. 12 さくらの{VPS,クラウド}で作る WordPress クラスタリング Introduction

13. 13 さくらの{VPS,クラウド}で作る WordPress クラスタリング WordPressとは

14. 14 さくらの{VPS,クラウド}で作る WordPress クラスタリング超高速WordPress仮想マシン「KUSANAGI」についてプライム・ストラテジー株式会社が開発・構成する、WordPressを高速に動作させるための仮想マシンおよびそのイメージです。WordPressの実行時間3ミリ秒台、秒間1000リクエストをページキャッシュ非使用で実現する世界最高速クラスのWordPress実行環境です(*1)。 *1 最大性能時。実行する仮想マシンインスタンスの性能やWebサイトの内容（機能、データ量など）に依存します。

15. 1515 さくらの{VPS,クラウド}で作る WordPress クラスタリング安全だよ！ KUSANAGIにおけるセキュリティ施策 (by Satoru Miyazaki) より借りパk(ry

16. 1616 さくらの{VPS,クラウド}で作る WordPress クラスタリング実はWordPressだけじゃないよ！ • オプション --WordPress を指定すると、WordPress をプロビジョニングします。 • オプション --concrete5 を指定すると、Concrete5 をプロビジョニングします。 • オプション --drupal8 を指定すると、Drupal8 をプロビジョニングします。 • オプション --lamp を指定すると、LAMP(Linux+Apache+MySQL+PHP) もしくは LEMP(Linux+NGINX+MySQL+PHP)で使用するための設定のみをプロビジョニングします。 • 上記オプションを指定しない場合は、WordPress をプロビジョニングします。

17. 17 さくらの{VPS,クラウド}で作る WordPress クラスタリング仮想マシン構成・WordPress 最新版（KUSANAGI 専用プラグイン同梱）・CentOS 7 ・Nginx 1.11 ・Apache 2.4 ・HHVM 3.15 ・PHP 7.0（php-fpm, Cli）・PHP 5.6（php-fpm, Cli）・MariaDB Galera Server 10.0 ※PHP7.0の利用は、WordPress4.4以上、および対応プラグインが必須です。

18. 18 さくらの{VPS,クラウド}で作る WordPress クラスタリング KUSANAGIがご利用いただけるパブリッククラウド KUSANAGI for Microsoft Azure(新ポータル) KUSANAGI for Microsoft Azure(旧ポータル) KUSANAGI for SoftLayer KUSANAGI for AWS KUSANAGI for さくらのクラウド KUSANAGI for ConoHa KUSANAGI for Z.com KUSANAGI for S-Port KUSANAGI for IDCF クラウド KUSANAGI for Cloudn KUSANAGI for ALTUS KUSANAGI for NIFTY Cloud

19. 19 さくらの{VPS,クラウド}で作る WordPress クラスタリング KUSANAGIがご利用いただけるハイブリッドクラウド KUSANAGI Runs on Docker KUSANAGI for Vmware KUSANAGIがご利用いただけるVPS KUSANAGI for EX-CLOUD KUSANAGI for さくらのVPS

20. 20 さくらの{VPS,クラウド}で作る WordPress クラスタリング社内で一番最初にさくらのVPSを申し込んだ自慢を社内チャットでする @nullpopopo

21. 21 さくらの{VPS,クラウド}で作る WordPress クラスタリングさくらのVPSニュース

22. 22 さくらの{VPS,クラウド}で作る WordPress クラスタリング

23. 23 さくらの{VPS,クラウド}で作る WordPress クラスタリング KUSANAGIで構築したクラスタリング事例

24. 24 さくらの{VPS,クラウド}で作る WordPress クラスタリング https://yomidr.yomiuri.co.jp/

26. 26 さくらの{VPS,クラウド}で作る WordPress クラスタリング VPC Availability Zone A Availability Zone C admin.example.com www01.example.com www02.example.com www.example.com をALBで振り分ける構成例 /wp-admin 以下、 /wp-login.php のみ admin インスタンスへ振り分け (優先度を高め) admin インスタンス死亡時には /wp-admin 以下、 /wp-login.php を www2 インスタンスへ振り分け nginx php-fpm or hhvm MariaDB Galera Cluster nginx php-fpm or hhvm MariaDB Galera Cluster nginx php-fpm or hhvm MariaDB Galera Cluster

28. 28 さくらの{VPS,クラウド}で作る WordPress クラスタリング WordPress というか WEBサービスを冗長化する理由

29. 29 さくらの{VPS,クラウド}で作る WordPress クラスタリングそもそもサービスを落としたくない • サービス ≠ サーバー • ダウンタイムは機会損失 • メンテナンスは計画的に (夜中に自宅対応したくないですもんね)

30. 30 さくらの{VPS,クラウド}で作る WordPress クラスタリング解決

31. 31 さくらの{VPS,クラウド}で作る WordPress クラスタリング 1. データ同期の仕組みを作る 2. ロードバランサの配下に組み込むたったこれだけ！

32. 32 さくらの{VPS,クラウド}で作る WordPress クラスタリングデータ同期って、そもそも何を同期すればよいの？

33. 33 さくらの{VPS,クラウド}で作る WordPress クラスタリングクラスタ化するにあたって同期する対象たったのこれだけ!!! データベースドキュメントルート以下

34. 34 さくらの{VPS,クラウド}で作る WordPress クラスタリング構築時の注意事項 (おもにネットワーク) • 各ノード間で以下の疎通が取れるようにしてあげましょう。 •TCP 873(rsync) •TCP 22(SSH) •TCP 3306(MySQL) •TCP 4444 4567 4568(MariaDB Galera Cluster)

35. 35 さくらの{VPS,クラウド}で作る WordPress クラスタリングドキュメントルート以下の同期について

36. 36 さくらの{VPS,クラウド}で作る WordPress クラスタリングドキュメントルート以下の同期方法 lsyncd+rsyncで同期する。

37. 37 さくらの{VPS,クラウド}で作る WordPress クラスタリングどういうこと？

38. 38 さくらの{VPS,クラウド}で作る WordPress クラスタリングドキュメントルート以下の同期方法 •lsyncdはinotifyの仕組みを用いてファイルやディレクトリの変更を検知するので、これをトリガーにrsyncでファイルの転送を行う。

39. 39 さくらの{VPS,クラウド}で作る WordPress クラスタリング /etc/lsyncd.conf 設定例 -- # admin.example.com me <--> www01.example.com sync { default.rsync, source = "/home/kusanagi/www.example.com", target = "www01:/home/kusanagi/www.example.com", delay = 2, delete="running", init = false, exclude={ "*.swp", "/log/" }, rsync = { archive = true, compress = false, rsh = "/usr/bin/ssh -i /root/.ssh/id_rsa -o StrictHostKeyChecking=no" } }

40. 40 さくらの{VPS,クラウド}で作る WordPress クラスタリング /etc/lsyncd.conf 設定例 delay = 2, delete="running", init = false, を忘れないで！！！ここ、テストに出るからな？

41. 41 さくらの{VPS,クラウド}で作る WordPress クラスタリングドキュメントルート以下の同期方法 •/home/kusanagi/<PROFILE NAME> から下位のディレクトリを同期対象にするのを推奨。ただし、ログのディレクトリ ( /home/kusanagi/<PROFILE NAME>/log ) はexclude必須！＞＜

42. 42 さくらの{VPS,クラウド}で作る WordPress クラスタリングファイル同期の注意点 • lsyncdが動いているだけではダメ (ryncdもね) • inotifyの仕組みを使う関係上、 DocumentRoot以下のファイル数に注意。

43. 43 さくらの{VPS,クラウド}で作る WordPress クラスタリング • lsyncd設定注意点… •{l,r}syncdはデーモンとして起動。

44. 44 さくらの{VPS,クラウド}で作る WordPress クラスタリング • lsyncd設定注意点… •rsyncに必須なので、rootユーザーでsshログインできるようにしましょう。 ( /etc/ssh/sshd_configでPermitRootLoginをyes or forced-commands-onlyにする )

45. 45 さくらの{VPS,クラウド}で作る WordPress クラスタリング • lsyncd設定注意点… • DocumentRootのファイル数に注意 • find /home/kusanagi/<Profile Name>/DocumentRoot -type f | wc -l • ↑これで8192を超えているか、近い将来超える見込みならカーネルパラメータのチューニングを！

46. 46 さくらの{VPS,クラウド}で作る WordPress クラスタリング • ファイル同期でその他気を付けることなど… • /etc/sysctl.d/00-fs.inotify.max_user_watches.conf あたりに fs.inotify.max_user_watches = 114514 とでも書いておきましょう。 (デフォルトは8192) そしておもむろに sysctl –p で反映。

49. 49 さくらの{VPS,クラウド}で作る WordPress クラスタリング • MariaDB Galera Clusterのメリット • 導入コストが低い (KUSANAGIだと設定ファイル書いて順序よく起動してあげればOK) • 最初からマルチマスタ構成で構築できる • アプリケーションはwsrep (Write Set REPLICATION) API経由でDBへアクセスするので、PHPが動くAPサーバーとMariaDBが動くサーバーが同一筐体であれば、wp-config.phpに書く接続先DBは define(‘DB_HOST’, ‘localhost’); と書いてあげればよい

50. 50 さくらの{VPS,クラウド}で作る WordPress クラスタリング弊社MSPクラスター

51. 51 さくらの{VPS,クラウド}で作る WordPress クラスタリング • なぜ3台構成か？ • クラスタ分断時、3台構成で1台が分断されると、2台のほうが正しいものとして動作が継続される https://mariadb.com/kb/en/mariadb/getting-started-with-mariadb-galera-cluster/ より Minimal cluster size In order to avoid a split-brain condition, the minimum recommended number of nodes in a cluster is 3. Blocking state transfer is yet another reason to require a minimum of 3 nodes in order to enjoy service availability in case one of the members fails and needs to be restarted. While two of the members will be engaged in state transfer, the remaining member(s) will be able to keep on serving client requests.

52. 52 さくらの{VPS,クラウド}で作る WordPress クラスタリング While two of the members will be engaged in state transfer, the remaining member(s) will be able to keep on serving client requests.

53. 53 さくらの{VPS,クラウド}で作る WordPress クラスタリング障害系ノード弊社MSPクラスター

54. 54 さくらの{VPS,クラウド}で作る WordPress クラスタリング • 確認方法 $ mysql -e "SHOW GLOBAL STATUS LIKE 'wsrep_cluster_size';" +--------------------+-------+ | Variable_name | Value | +--------------------+-------+ | wsrep_cluster_size | 3 | +--------------------+-------+

55. 55 さくらの{VPS,クラウド}で作る WordPress クラスタリング • 確認方法 $ mysql -e "SHOW GLOBAL STATUS LIKE 'wsrep_incoming_addresses';" +--------------------------+--------------------------------+ | Variable_name | Value | +--------------------------+--------------------------------+ | wsrep_incoming_addresses | admin:3306,www1:3306,www2:3306 | +--------------------------+--------------------------------+

56. 56 さくらの{VPS,クラウド}で作る WordPress クラスタリング • /etc/my.cnf.d/server.cnf の抜粋 [galera] wsrep_provider='/usr/lib64/galera/libgalera_smm.so' wsrep_cluster_address=gcomm://www01,www02 wsrep_node_address=www03 binlog_format=row default_storage_engine=InnoDB innodb_autoinc_lock_mode=2 wsrep_on=ON

57. 57 さくらの{VPS,クラウド}で作る WordPress クラスタリング • wsrep_provider • Galera Replication プラグインへのPATHを定義する • wsrep_cluster_address • ノードがクラスタに接続する際に使用するバックエンドのスキーマ、 IPアドレス、ポート、およびオプションを定義する • wsrep_node_address • ノードのIPアドレスとポートを定義する • binlog_format • row一択で！(詳細は次のページで)

58. 58 さくらの{VPS,クラウド}で作る WordPress クラスタリング • なんで binlog_format=row 一択なん？ While binlog_format is checked on startup and can only be ROW (see Binary Log Formats), it can be changed at runtime. Do NOT change binlog_format at runtime, it is likely not only cause replication failure, but make all other nodes crash. https://mariadb.com/kb/en/mariadb/mariadb-galera-cluster-known-limitations/ 意訳: binlog_format は起動と同時にチェックされ ROW だけが使えますが、ランタイムで変更できます。絶っっっっっっっっ対に binlog_format をランタイムで変更してはいけません。レプリケーションの失敗の原因となるだけでなく、他のすべてのノードをクラッシュさせます。

59. 59 さくらの{VPS,クラウド}で作る WordPress クラスタリング • default_storage_engine • InnoDB (Galera Clusterに対応しているのがInnoDBのみなので) • innodb_autoinc_lock_mode • 2 (Garelaを使用するために、モード2に設定する必要がある) • wsrep_on • ONにすることで、現在のセッションで行われた更新をクラスタに複製するようになる

60. 60 さくらの{VPS,クラウド}で作る WordPress クラスタリング MariaDB起動時の注意

61. 61 さくらの{VPS,クラウド}で作る WordPress クラスタリング CentOS7ですが、 systemdではなく、 SysV init (serviceコマンド)からの起動です

62. 62 さくらの{VPS,クラウド}で作る WordPress クラスタリングクラスター初期ノードだけは以下のように起動します [(っ´∀｀)っ @ぽぽぽ ~]$ sudo service mysql start --wsrep-new-cluster

63. 63 さくらの{VPS,クラウド}で作る WordPress クラスタリング初期ノード起動後はふつうに service mysql start で起動。

64. 64 さくらの{VPS,クラウド}で作る WordPress クラスタリング chkconfigはoff推奨

65. 65 さくらの{VPS,クラウド}で作る WordPress クラスタリングここまでできたら、次はロードバランサ！ www1 www2 www3

66. 66 さくらの{VPS,クラウド}で作る WordPress クラスタリングさくらのクラウドさくらのVPSで利用できるロードバランサは2種類ロードバランサ (さくらのクラウドでのみ使用可) GSLB(広域負荷分散アプライアンス)

67. 67 さくらの{VPS,クラウド}で作る WordPress クラスタリングロードバランサの特徴「ロードバランサ」機能は、仮想的なアプライアンス機器として動作するロードバランサを提供するサービスです。コントロールパネルからの操作で、クラウド上に構築済みの環境へ素早く容易にロードバランシング環境を導入することが可能となります。処理性能ごとに「標準プラン」と「ハイスペックプラン」、さらに冗長化の有無で「シングル構成」と「冗長構成」が選択可能です。さくらのクラウドニュース > ロードバランサより引用

68. 68 さくらの{VPS,クラウド}で作る WordPress クラスタリングロードバランサの仕様構成 DSR(Direct Server Return)方式ロードバランサの冗長化 VRRPを用いた冗長化に対応仮想IPアドレス(VIP)、ポート番号最大4個まで設定可能な実サーバ数最大40台性能目安(最大値) 標準プラン送信トラフィック: 100Mbps 受信トラフィック: 100Mbps セッション数: 4,000セッション毎秒接続数: 100cps程度ハイスペックプラン送信トラフィック: 1Gbps 受信トラフィック: 500Mbps セッション数: 10,000セッション毎秒接続数: 3,000cps程度 ※いずれも最大値の目安となります。必ずしもこの性能値を保証するものではありません。さくらのクラウドニュース > ロードバランサより引用

69. 69 さくらの{VPS,クラウド}で作る WordPress クラスタリング GSLB(広域負荷分散アプライアンス) の特徴「GSLB」は、さくらのクラウドのリージョン間のみならず、「さくらのVPS」や「さくらの専用サーバ」などの他サービスに跨ったロードバランシング環境が実現できるアプライアンスです。さくらのクラウドニュース -> GSLB(広域負荷分散アプライアンス) より引用

70. 70 さくらの{VPS,クラウド}で作る WordPress クラスタリング「ロードバランサ」との相違点「ロードバランサ」アプライアンスとの主な相違点は以下の通りさくらのクラウドニュース -> GSLB(広域負荷分散アプライアンス) より引用ロードバランサ GSLB 負荷分散方式 DSR(Direct Server Return) GSLB(Global Server Load Balancing) 設置箇所お客様作成スイッチ / ルータ+スイッチ配下さくらのクラウド各リージョン内グローバルネットワーク冗長構成作成時に選択可冗長構成のみ ※石狩リージョン / 東京リージョン(各拠点内で冗長構成) 負荷分散対象同一スイッチ / ルータ+スイッチ配下のサーバグローバルIPアドレスを持つホスト (さくらインターネット様ネットワーク外ホスト設定可) 外部着信先仮想IPアドレス DNS(GSLBに個別に付与されたFQDN)

71. 71 さくらの{VPS,クラウド}で作る WordPress クラスタリング GSLB(広域負荷分散アプライアンス) の仕様 (1) さくらのクラウドニュース -> GSLB(広域負荷分散アプライアンス) より引用対応ネットワーク層プロトコル IPv4 (IPv6未対応) GSLB1台あたりに登録可能な実サーバ数最大6個 DNS応答時のTTL 10秒(固定) 実サーバへの重み付け(weight)設定実サーバごと1～10000の整数値で重み値を設定可

72. 72 さくらの{VPS,クラウド}で作る WordPress クラスタリング GSLB(広域負荷分散アプライアンス) の仕様 (2) 全ての実サーバFAIL時の応答 (1)有効化された実サーバがあり、ソーリーサーバが設定されている場合有効化された実サーバが1つでもアップの状態では、アップ状態のIPアドレスを返します。有効化された実サーバが全てダウンした状態では、ソーリーサーバのIPアドレスを返します。 (2)有効化された実サーバがなく、ソーリーサーバが設定されている場合ソーリーサーバのIPアドレスを返します。さくらのクラウドニュース -> GSLB(広域負荷分散アプライアンス) より引用

73. 73 さくらの{VPS,クラウド}で作る WordPress クラスタリング GSLB(広域負荷分散アプライアンス) の仕様 (3) 設定可能なヘルスチェックの種類 HTTP / HTTPS / PING / TCP 設定可能なヘルスチェックの間隔 10～60秒 (※1秒単位で設定可) 設定可能なヘルスチェックオプション HTTP / HTTPS: Hostヘッダ / パス / ステータスコード TCP: ポート番号さくらのクラウドニュース -> GSLB(広域負荷分散アプライアンス) より引用

74. 74 さくらの{VPS,クラウド}で作る WordPress クラスタリングロードバランサとGSLBの使い分け

75. 75 さくらの{VPS,クラウド}で作る WordPress クラスタリングさくらのクラウド「のみ」に実サーバーがあって、一元管理したい -> ロードバランサ ※ ※ ロードバランサは、さくらのクラウドで「ルータ+スイッチ」または「スイッチ」を使用して構築されたネットワーク内にのみ設置可能。共用セグメントへの設置は不可。

76. 76 さくらの{VPS,クラウド}で作る WordPress クラスタリングさくらのVPS またはさくらのVPSとさくらのクラウドが混在、さらに言えば「ついうっかり共用ネットワークにさくらのクラウドのサーバーを建ててしまった」的な構成の場合 -> GSLBでの負荷分散推奨 (というかGSLB一択)

78. 78 さくらの{VPS,クラウド}で作る WordPress クラスタリング • ドキュメントルート以下は lsyncd + rsync で同期しよう • データベースは MariaDB Galera Cluster で同期しよう • KUSANAGIにはすでにこれらミドルウェアがインストールされているので、設定ファイルを書き換えれば楽々構築 • クラスタができたらロードバランサの配下に組み込もう

79. 79 さくらの{VPS,クラウド}で作る WordPress クラスタリング君は一撃でKUSANAGIクラスタリング環境が構築できるフレンズなんだね！

80. 80 さくらの{VPS,クラウド}で作る WordPress クラスタリングさくらの{VPS,クラウド}でKUSANAGI クラスタリング環境が構築できる！わーい！すごーい！たーのしー！

81. 81 さくらの{VPS,クラウド}で作る WordPress クラスタリング質疑応答

さくらの{VPS,クラウド}で作る WordPress クラスタリング

Yasutaka Hamada

さくらの{VPS,クラウド}で作る WordPress クラスタリング