OSC北海道2014_JPUG資料

日本PostgreSQLユーザ会 1 PostgreSQL バックアップ & リカバリ入門オープンソースカンファレンス2014 Hokkaido 2014-06-14 日本PostgreSQLユーザ会佐藤　千佳

日本PostgreSQLユーザ会 2 自己紹介佐藤千佳（さとう　ちか）@nasa_chik 2007 年ごろからPostgreSQLを触っています機能調査、周辺ツールを含めた性能評価を実施していますときどきPostgreSQLのイベントやユーザ会の勉強会などで話をしています

日本PostgreSQLユーザ会 3 本日のながれ 1. PostgreSQL の紹介 2. バックアップ&リカバリとは 3. PostgreSQL で使用可能なバックアップ&リカバリ 4. PostgreSQL のアーキテクチャ 5. PostgreSQL のバックアップ&リカバリ方法 6. ツールの紹介

日本PostgreSQLユーザ会 4 PostgreSQL の紹介

日本PostgreSQLユーザ会 5 PostgreSQL とは...（１）代表的なオープンソースの ORDBMS PostgreSQL ライセンスで配布 BSD ライセンスに類似 Linux をはじめほとんどの UNIX 系 OS で動く Windows や Mac OS X でも動く日本語サイトが充実している最新版の日本語ドキュメントがすぐにリリースされる活発な意見交換の場（ML/勉強会/懇親会という名の...）皆さん親切 … 等

日本PostgreSQLユーザ会 6 日本語ドキュメントサイト PostgreSQL とは...（２）

日本PostgreSQLユーザ会 7 PostgreSQLのポータルサイト「Let's Postgres」 PostgreSQL とは...（３）

日本PostgreSQLユーザ会 8 PostgreSQLのポータルサイト「Let's Postgres」詳しくは Web で！ PostgreSQL とは...（３）

日本PostgreSQLユーザ会 9 バックアップ & リカバリとは

日本PostgreSQLユーザ会 10 バックアップ・リカバリとは...（１）バックアップとは不測の事態に備え、データベースの内容を別ファイルに保存しておくこと物理バックアップデータベースを構成するファイル群を物理的に別の媒体へコピーする論理バックアップ表の定義や格納されているデータなどをファイルに出力する

日本PostgreSQLユーザ会 11 バックアップとはデータベースの内容を別ファイルに保存しておくこと物理バックアップデータベースを構成するファイル群を物理的に別の媒体へコピーするバックアップデータベース DB1 DB2 データベース DB1 DB2 バックアップ領域バックアップ・リカバリとは...（２）

日本PostgreSQLユーザ会 12 データベース社員表をバックアップ --- 社員表テーブル定義 CREATE TABLE 社員( ・・・ ); --- 社員表のデータ 100 田中 101 佐藤 102 鈴木・・・バックアップとはデータベースの内容を別ファイルに保存しておくこと論理バックアップ表の定義や格納されているデータなどをファイルに出力する社員表の表定義と格納されていたデータがバックアップされるバックアップ・リカバリとは...（３）

日本PostgreSQLユーザ会 13 （リストア＆）リカバリとは失ったデータをバックアップファイルを使って復旧することユーザーによるオペレーションミスメディア障害システム障害自然災害ディスクのミラーリングだけで安心していませんか ? ・オペレーションミスは救えません・ミラーリングはバックアップではありません … 等バックアップ・リカバリとは...（４）

日本PostgreSQLユーザ会 14 バックアップ領域時間バックアップ表の定義や格納されているデータなどを抽出日曜日金曜日データベース DB1 DB2 データベース DB1 DB2 データベース DB1 DB2 --- 社員表テーブル定義 CREATE TABLE 社員( ・・・ ); --- 社員表のデータ INSERT INTO 社員( 101, 佐藤 ); ・・・リストアバックアップデータを再ロード論理バックアップのイメージと用語リストア後のデータベースはバックアップ取得時点の内容

日本PostgreSQLユーザ会 15 時間バックアップデータベースを構成するファイルのコピーを別の場所に保存日曜日金曜日データベース DB1 DB2 データベース DB1 DB2 データベース DB1 DB2 リストアバックアップファイルを破損したファイルの代わりに配置物理バックアップのイメージと用語バックアップ領域データベース DB1 DB2 変更ログ変更ログリカバリバックアップ取得以降にデータベースに行われた変更ログを反映

日本PostgreSQLユーザ会 16 時間バックアップデータベースを構成するファイルのコピーを別の場所に保存日曜日金曜日データベース DB1 DB2 データベース DB1 DB2 データベース DB1 DB2 リストアバックアップファイルを破損したファイルの代わりに配置物理バックアップのイメージと用語バックアップ領域データベース DB1 DB2 変更ログ変更ログリカバリバックアップ取得以降にデータベースに行われた変更ログを反映リストアのみの場合　データベースはバックアップ取得時点の内容リカバリまで行った場合　データベースはクラッシュ直前の内容まで戻せる　（変更ログが残っている場合）

日本PostgreSQLユーザ会 17 PostgreSQLで使用可能なバックアップ・リカバリ

日本PostgreSQLユーザ会 18 PostgreSQLで使用可能なバックアップ・リカバリ（１）物理バックアップとリストア設定ファイルから丸ごとバックアップできる！コールドバックアップとリストア論理バックアップとリストアメジャーバージョンアップ時のデータ移行や、異なるCPU アーキテクチャ環境への移行にも使える！ホットバックアップとリストア

日本PostgreSQLユーザ会 19 物理バックアップとPITR 最新の状態から任意の時点まで、好みに合わせてリカバリできる！ポイント・イン・タイム・リカバリ（Point-In-Time Recovery） PostgreSQLで使用可能なバックアップ・リカバリ（２）

日本PostgreSQLユーザ会 20 ① コールドバックアップとリストア ② ホットバックアップとリストア ③ ポイント・イン・タイム・リカバリ PostgreSQLで使用可能なバックアップ・リカバリ（３）

日本PostgreSQLユーザ会 21 PostgreSQL のアーキテクチャ

日本PostgreSQLユーザ会 22 PostgreSQL アーキテクチャ　「超」入門（１）アプリケーション各種プロセス群トランザクションログアーカイブログデータベース・クラスタ $PGDATA データベースデータベースデータベース PostgreSQL 問い合わせ書き込み読み込み書き込み書き込み

日本PostgreSQLユーザ会 23 データベース・クラスタのファイル構造の一部～ $PGDATA ～・・・データベース・クラスタ・・・トランザクション・ログ格納ディレクトリ・・・パラメータ・ファイル・・・クライアント認証設定ファイルデータベース・クラスタで共有するテーブルの格納ディレクトリ postmaster.pid pg_hba.conf postgresql.conf global/ pg_tblspc/ base/ テーブルスペースへのシンボリックリンク格納ディレクトリ・・・・・・データベース格納ディレクトリ・・・起動中のPostgreSQL のプロセスID 記録ファイル（サーバ起動時のみ存在）・・・ PostgreSQL アーキテクチャ　「超」入門（２） pg_xlog/

日本PostgreSQLユーザ会 24 データベース・クラスタのファイル構造の一部～ $PGDATA ～・・・データベース・クラスタ・・・トランザクション・ログ格納ディレクトリ・・・パラメータ・ファイル・・・クライアント認証設定ファイルデータベース・クラスタで共有するテーブルの格納ディレクトリ postmaster.pid pg_hba.conf postgresql.conf global/ pg_tblspc/ base/ テーブルスペースへのシンボリックリンク格納ディレクトリ・・・・・・データベース格納ディレクトリ・・・起動中のPostgreSQL のプロセスID 記録ファイル（サーバ起動時のみ存在）・・・ PostgreSQL アーキテクチャ　「超」入門（２） pg_xlog/ データベースに対する変更履歴の記録ファイルを格納 ⇒一般的にトランザクションログとよばれている PostgreSQL 界ではこのディレクトリに格納されているファイルを WAL （ワル）とよぶ ⇒Write Ahead Log の略

日本PostgreSQLユーザ会 25 PostgreSQL アーキテクチャ　「超」入門（３）アプリケーション各種プロセス群 pg_xlogアーカイブログデータベースデータベースデータベース PostgreSQL 問い合わせ書き込み読み込み書き込み書き込み＄PGDATA

日本PostgreSQLユーザ会 26 PostgreSQL アーキテクチャ　「超」入門（３）アプリケーション各種プロセス群アーカイブログデータベースデータベースデータベース PostgreSQL ＄PGDATA WAL WALWAL pg_xlog

日本PostgreSQLユーザ会 27 PostgreSQL アーキテクチャ　「超」入門（４）アプリケーション各種プロセス群アーカイブログデータベースデータベースデータベース PostgreSQL WAL WALWAL pg_xlog

日本PostgreSQLユーザ会 28 WAL（トランザクションログ）とアーカイブログ WAL 1 WAL 2 WAL 3 WAL 4 WAL 2 WAL 3 WAL 4 WAL 5 これでは過去の変更ログがなくなってしまう！！上書き（回収）されるたまった WAL は PostgreSQL に不要と判断されると… PostgreSQL アーキテクチャ　「超」入門（５）

日本PostgreSQLユーザ会 29 WAL(トランザクションログ)とアーカイブログ WAL 1 WAL 2 WAL 3 WAL 4 WAL 2 WAL 3 WAL 4 WAL 5 WAL 1 これがアーカイブログ（WALアーカイブ）上書きされる前に WAL をコピー！ PostgreSQL アーキテクチャ　「超」入門（６）

日本PostgreSQLユーザ会 30 PostgreSQL アーキテクチャ　「超」入門（７）各種プロセス群データベースデータベースデータベース PostgreSQL ＄PGDATA WAL WALWAL pg_xlog WAL をコピーしたものデータベースへの変更ログ用語の整理 WAL アーカイブコピー WALコピー WAL コピー WAL

日本PostgreSQLユーザ会 31 PostgreSQL のバックアップ & リカバリ方法

日本PostgreSQLユーザ会 32 PostgreSQL のバックアップ & リカバリ方法 ① コールドバックアップとリストア ② ホットバックアップとリストア ③ ポイント・イン・タイム・リカバリ

日本PostgreSQLユーザ会 33 PostgreSQL のバックアップ & リカバリ方法 ① コールドバックアップとリストア ② ホットバックアップとリストア ③ ポイント・イン・タイム・リカバリ

日本PostgreSQLユーザ会 34 コールドバックアップとリストア（１）バックアップの流れ 1.データベースを停止 2.$PGDATA を丸ごとコピー $ pg_ctl stop -w -D $PGDATA waiting for server to shut down.... done server stopped $ rsync -av $PGDATA/ $BACKUP/pgdata cpコマンド, tarコマンド, rsyncコマンド … 等

日本PostgreSQLユーザ会 35 リストアの流れ 1.データベースを強制終了 2.既存の$PGDATAを退避 3.バックアップファイルで$PGDATAを置き換える $ pg_ctl stop -m immediate -D $PGDATA waiting for server to shut down.... done server stopped $ rm -rf $PGDATA $ rsync -av $BACKUP/pgdata/ $PGDATA コールドバックアップとリストア（２）

日本PostgreSQLユーザ会 36 時間 $PGDATA ① 日曜日バックアップ取得 ② 金曜日　障害発生この間のデータは失われる ③ $PGDATAをバックアップファイルで置き換える日曜日時点のデータ $PGDATA データベース停止データベース起動データベース起動データベース停止リストア時間バックアップ取得時間コールドバックアップとリストア（３）バックアップファイル

日本PostgreSQLユーザ会 37 良いところ手順がシンプルデータベース・クラスタ全体をバックアップした場合、他のバックアップ方法と比較して処理が短時間で済む注意点データベースを停止する必要があるバックアップを取得したタイミングにしか復旧できないバックアップ・リストア対象はデータベース・クラスタ全体（テーブル単位、データベース単位の操作はできない）コールドバックアップとリストア（４）

日本PostgreSQLユーザ会 38 ① コールドバックアップとリストア ② ホットバックアップとリストア ③ ポイント・イン・タイム・リカバリ PostgreSQL のバックアップ & リカバリ方法

日本PostgreSQLユーザ会 39 ホットバックアップとリストア（１）バックアップの流れ 1.データベースが起動していることを確認　 2.PostgreSQL のツールの1 つ pg_dump または pg_dumpall コマンドでバックアップ $ pg_ctl status pg_ctl: server is running (PID: xxxxx) $ pg_dump mydb > mydb_dump.sql

日本PostgreSQLユーザ会 40 pg_dump と pg_dumpall の違い論理バックアップには 2 つの方法がある pg_dump テーブル単位、データベース単位にバックアップ pg_dumpall データベース・クラスタに格納してある全てのデータベースをバックアップホットバックアップとリストア（２）

日本PostgreSQLユーザ会 41 pg_dump と pg_dumpall の違い（つづき） pg_dump には 4 種類のバックアップ形式がある 1. 平文形式 SQL 文によるスクリプトファイルを作成（デフォルト）　　 2. カスタム形式バイナリ形式の圧縮されたバックアップを作成 $ pg_dump --format=plain mydb > mydb_dump.sql $ pg_dump --format=custom mydb > mydb_dump.custom ホットバックアップとリストア（３）

日本PostgreSQLユーザ会 42 pg_dump と pg_dumpall の違い（つづき） 3. ディレクトリ形式バイナリ形式のバックアップを作成テーブル単位で圧縮されたバックアップファイルを作成　　　　 4. tar 形式バイナリ形式のバックアップを作成テーブル単位でバックアップファイルを作成 $ pg_dump --format=directory mydb -f mydb_dump.directory $ pg_dump --format=tar mydb > mydb_dump.tar ホットバックアップとリストア（４）

日本PostgreSQLユーザ会 43 pg_dump と pg_dumpall の違い（つづき） pg_dumpall のバックアップ形式は 1 種類 1. 平文形式 SQL文によるスクリプトファイルを作成 $ pg_dumpall > mydb_dumpall.sql ホットバックアップとリストア（５）

日本PostgreSQLユーザ会 44 リストアの流れ 1.データベースが起動していることを確認 2.psql または pg_restore コマンドでリストア $ pg_ctl status pg_ctl: server is running (PID: xxxxx) $ psql -f mydb_dump.sql 必要に応じて、データベース・クラスタやデータベースは事前に作成しておくホットバックアップとリストア（６）

日本PostgreSQLユーザ会 45 リストアコマンドの違いバックアップ形式によってリストア方法が異なる平文形式で取得した場合 : psql コマンド平文形式で以外で取得した場合 : pg_restore コマンド $ pg_restore -C -d postgres < mydb_dump.custom $ psql -f mydb_dump.sql ホットバックアップとリストア（７）

日本PostgreSQLユーザ会 46 バックアップコマンドバックアップ単位出力形式リストアコマンド pg_dump テーブル単位データベース単位平文（SQL) psql カスタム pg_restoreディレクトリ tar pg_dumpall 全てのデータベース平文(SQL) psql コマンド対応表ホットバックアップとリストア（８）

日本PostgreSQLユーザ会 47 時間 $PGDATA ① 日曜日バックアップ取得 ② 金曜日　障害発生この間のデータは失われる ③ psql または pg_restore コマンドでリストア日曜日時点のデータ $PGDATA データベース起動データベース停止リストア時間バックアップファイルホットバックアップとリストア（９）

日本PostgreSQLユーザ会 48 良いところバックアップ取得時にデータベースを停止する必要がないクライアント環境から実行できる CPU アーキテクチャの異なるマシンにリストアできる PostgreSQL のメジャーバージョンアップに使用できるデータのみ、スキーマのみでのバックアップが可能データベース単位、テーブル単位でバックアップが可能（pg_dumpのみ）注意点バックアップを開始したタイミングにしか復旧できない他のバックアップ・リストアと比較すると処理時間が長い設定ファイルなどのバックアップが別途必要になるホットバックアップとリストア（１０）

日本PostgreSQLユーザ会 49 ① コールドバックアップとリストア ② ホットバックアップとリストア ③ ポイント・イン・タイム・リカバリ PostgreSQL のバックアップ & リカバリ方法

日本PostgreSQLユーザ会 50 バックアップファイル時間障害発生バックアップ取得バックアップファイルデータべースへの変更ログ pg_start_backup() pg_stop_backup() ポイント・イン・タイム・リカバリ（１）ポイント・イン・タイム・リカバリの流れ＄PGDATA WAL データベース

日本PostgreSQLユーザ会 51 $ cat $PGDATA/postgresql.conf ~~ 略 ~~ wal_level = archive　　# PostgreSQL9.0 ~ のパラメータ archive_mode = on archive_command = '/bin/cp -i %p /mnt/server/archivedir/%f' WAL をアーカイブするように設定ベースバックアップの取得 ① パラメータの変更ポイント・イン・タイム・リカバリ（２） pg_xlog データベース＄PGDATA ※ 注意 ※ このパラメータを変更した場合、PostgreSQL の再起動が必要！！

日本PostgreSQLユーザ会 52 $ psql -c "SELECT pg_start_backup(label)" pg_start_backup ----------------- 0/13000020 (1 row) （）の中はメモ。取得日時などに設定しておくと分かりやすいベースバックアップの取得 ② バックアップの開始を記録するポイント・イン・タイム・リカバリ（３） pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 53 $BACKUP/pgdata $ rsync -av --delete --exclude=pg_xlog --exclude=postmaster.pid $PGDATA/ $BACKUP/pgdata ③ $PGDATA をコピーベースバックアップの取得 rsync での取得がオススメポイント・イン・タイム・リカバリ（４）ストレージスナップショットなどもOK! pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 54 $ psql -c "SELECT pg_stop_backup()" pg_stop_backup ---------------- 0/130000A8 (1 row) ④ バックアップの終了を記録するベースバックアップの取得ポイント・イン・タイム・リカバリ（５） $BACKUP/pgdata ベースバックアップ pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 55 ベースバックアップ時間 ② ベースバックアップ取得ポイント・イン・タイム・リカバリ（６） ② pg_stop_backup()① pg_start_backup() pg_xlog データベース＄PGDATA ベースバックアップの取得

日本PostgreSQLユーザ会 56 ベースバックアップ時間ポイント・イン・タイム・リカバリ（６）データベース＄PGDATA ベースバックアップ取得中… ② pg_stop_backup()① pg_start_backup() ベースバックアップの取得

日本PostgreSQLユーザ会 57 WAL1 WAL2 WAL3 WALアーカイブ WAL1 WAL2 WAL3 WAL4 pg_xlog 時間ポイント・イン・タイム・リカバリ（６）データベース＄PGDATA ベースバックアップ取得中… ② pg_stop_backup()① pg_start_backup() ベースバックアップの取得

日本PostgreSQLユーザ会 58 ベースバックアップの取得 WAL1 WAL2 WAL3 WALアーカイブ WAL1 WAL2 WAL3 WAL4 pg_xlog 時間ポイント・イン・タイム・リカバリ（６）データベース＄PGDATA ベースバックアップ取得中… ② pg_stop_backup()① pg_start_backup() ベースバックアップ＋ WALアーカイブ＋ WAL のセットで整合性の取れたデータ

日本PostgreSQLユーザ会 59 ベースバックアップの取得について PostgreSQL 9.1 から pg_basebackup コマンドを使ってベースバックアップの取得が可能！！コマンド 1 つでベースバックアップを取得クライアント環境からも実行可能バックアップ取得用のデータベースサーバのOSアカウントが不要 REPLICATION権限があればスーパーユーザでなくても利用可能ポイント・イン・タイム・リカバリ（７） $ pg_basebackup -D $BACKUP/pgdata -X s -P -h dbserver1 -U repl 102640/102640 kB (100%), 1/1 tablespace

日本PostgreSQLユーザ会 60 ベースバックアップの取得について PostgreSQL 9.1 から pg_basebackup コマンドを使ってベースバックアップの取得が可能！！コマンド 1 つでベースバックアップを取得クライアント環境からも実行可能バックアップ取得用のデータベースサーバのOSアカウントが不要 REPLICATION権限があればスーパーユーザでなくても利用可能ポイント・イン・タイム・リカバリ（７） max_wal_senders パラメータを変更 ※ 注意 ※ このパラメータを変更した場合、PostgreSQL の再起動が必要！！ $ pg_basebackup -D $BACKUP/pgdata -X s -P -h dbserver1 -U repl 102640/102640 kB (100%), 1/1 tablespace

日本PostgreSQLユーザ会 61 PITR 時間ベースバックアップ WAL 1 WAL 2 WAL 3 WAL 4 ポイント・イン・タイム・リカバリ（８） pg_xlog データベース＄PGDATA ① 日曜日バックアップ取得 ② 金曜日　障害発生 WAL 5 WAL アーカイブ WAL 1 WAL 2 WAL 3

日本PostgreSQLユーザ会 62 PITR ① データベースの強制終了 $ pg_ctl stop -m immediate -D $PGDATA waiting for server to shut down.... done server stopped ポイント・イン・タイム・リカバリ（９） pg_xlog データベース＄PGDATA ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3

日本PostgreSQLユーザ会 63 WAL 1 WAL 2 WAL 3 WAL 4 WAL 5 ポイント・イン・タイム・リカバリ（１０） pg_xlog データベース＄PGDATA ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 PITR

日本PostgreSQLユーザ会 64 アーカイブされる前の WAL ポイント・イン・タイム・リカバリ（１０） pg_xlog データベース＄PGDATA ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 WAL 1 WAL 2 WAL 3 WAL 4 WAL 5 PITR

日本PostgreSQLユーザ会 65 pg_xlog データベース＄PGDATA アーカイブされる前の WAL を含むディレクトリ（pg_xlog）ポイント・イン・タイム・リカバリ（１０）ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 WAL 1 WAL 2 WAL 3 WAL 4 WAL 5 PITR

日本PostgreSQLユーザ会 66 WAL 1 WAL 2 WAL 3 WAL 4 WAL 5 ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 ② アーカイブされる前のWALを含む pg_xlog ディレクトリを　バックアップ $ rsync -av $PGDATA/pg_xlog/ $BACKUP_XLOG ＄PGDATA pg_xlog データベース＄PGDATA $BACKUP_XLOG WAL 4 WAL 5 ポイント・イン・タイム・リカバリ（１０） PITR

日本PostgreSQLユーザ会 67 pg_xlog データベース＄PGDATA PITR $ tar cvfh $SAVE/pgdata_old.tar $PGDATA $ rm -rf $PGDATA ③ 既存のデータベース・クラスタを退避後破棄するポイント・イン・タイム・リカバリ（１１）ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5

日本PostgreSQLユーザ会 68 PITR $ rsync -av $BACKUP/pgdata/* $PGDATA ④ $PGDATAをベースバックアップで　　置き換える日曜日時点のデータベースポイント・イン・タイム・リカバリ（１２）ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5 pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 69 PITR $ rsync -av $BACKUP/pgdata/* $PGDATA ④ $PGDATAをベースバックアップで　　置き換える日曜日時点のデータベースポイント・イン・タイム・リカバリ（１２） $PGDATA のパーミッションは 700 ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5 pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 70 $BACKUP_XLOG WAL 4 WAL 5 ＄PGDATA pg_xlog データベース＄PGDATA PITR $ rm -rf $PGDATA/pg_xlog $ rsync -av $BACKUP/pgxlog/pg_xlog $PGDATA ⑤ 手順②で取得したＷＡＬファイルを $PGDATA/pg_xlog 配下に配置ポイント・イン・タイム・リカバリ（１３）ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3

日本PostgreSQLユーザ会 71 $BACKUP_XLOG WAL 4 WAL 5 ＄PGDATA pg_xlog データベース＄PGDATA PITR $ rm -rf $PGDATA/pg_xlog $ rsync -av $BACKUP/pgxlog/pg_xlog $PGDATA ⑤ 手順②で取得したＷＡＬファイルを $PGDATA/pg_xlog 配下に配置ベースバックアップに古い pg_xlogが含まれている場合は事前に削除するポイント・イン・タイム・リカバリ（１４）ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3

日本PostgreSQLユーザ会 72 $ cat $PGDATA/recovery.conf ~~ 略 ~~ restore_command = 'cp /mnt/server/archivedir/%f "%p" ' PITR ⑥ recovery.conf の作成ポイント・イン・タイム・リカバリ（１５） recovery_target_time パラメータを指定することでリカバリしたい”任意の時刻”を指定することもできるベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5

日本PostgreSQLユーザ会 73 PITR ⑦ PostgreSQL の起動 $ pg_ctl start -D $PGDATA server starting ポイント・イン・タイム・リカバリ（１６）＄PGDATA pg_xlog データベース＄PGDATA ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5

日本PostgreSQLユーザ会 74 PostgreSQL 起動後の内部の動き PITR WAL アーカイブ WAL 1 WAL 2 WAL 3 日曜日時点のデータベースポイント・イン・タイム・リカバリ（１７）＄PGDATA pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 75 PostgreSQL 起動後の内部の動き＄PGDATA pg_xlog データベース＄PGDATA WAL アーカイブ WAL 1 WAL 2 WAL 3 ① ベースバックアップ取得以降に発生した WAL アーカイブを適用（recovery.conf で指定）ポイント・イン・タイム・リカバリ（１７） PITR

日本PostgreSQLユーザ会 76 PostgreSQL 起動後の内部の動き WAL アーカイブ WAL 1 WAL 2 WAL 3 ポイント・イン・タイム・リカバリ（１７）＄PGDATA pg_xlog データベース＄PGDATA WAL3 まで適用されたデータベース PITR

日本PostgreSQLユーザ会 77 PostgreSQL 起動後の内部の動き WAL アーカイブ WAL 1 WAL 2 WAL 3 ② アーカイブされなかった最新のWAL を適用ポイント・イン・タイム・リカバリ（１７）＄PGDATA データベース＄PGDATA WAL3 まで適用されたデータベース pg_xlog PITR

日本PostgreSQLユーザ会 78 ⑧ リカバリ完了リカバリが完了し、データベースに接続できるようになると、 PostgreSQL のログに以下のメッセージが出力される LOG: archive recovery complete LOG: database system is ready to accept connections ポイント・イン・タイム・リカバリ（１８） pg_xlog データベース＄PGDATA PITR ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5

日本PostgreSQLユーザ会 79 ⑨ データベースの内容を確認ポイント・イン・タイム・リカバリ（１９） PITR ベースバックアップ日曜日に取得 WAL アーカイブ WAL 1 WAL 2 WAL 3 $BACKUP_XLOG WAL 4 WAL 5 pg_xlog データベース＄PGDATA

日本PostgreSQLユーザ会 80 良いところサービスを継続したままベースバックアップが取得できる指定した任意の時刻まで復旧できる障害発生直前の ”最新” の状態まで復旧できる注意点手順が複雑 WALアーカイブを取得している必要があるバックアップ・リカバリ対象はデータベース・クラスタ全体（テーブル単位、データベース単位の操作はできない）ポイント・イン・タイム・リカバリ（２０）

日本PostgreSQLユーザ会 81 コールドバックアップとリストアホットバックアップとリストアポイント・イン・タイムリカバリバックアップタイプ物理バックアップ（オフライン）論理バックアップ物理バックアップ（オンライン）バックアップ方法 cpコマンド, tarコマンド, rsyncコマンド, ストレージスナップショットなど pg_dump / pg_dumpall ① pg_start_backup() ② cpコマンド, tarコマンド, rsyncコマンドなど ③ pg_stop_backup() / pg_basebackup (PostgreSQL9.1～) （リストア）リカバリ方法特になし pg_restore / psql （PITR 機能）どこまで戻せるかバックアップ時点バックアップ時点任意の時点バックアップの最小単位データベースクラスタテーブル(pg_dump) データベースクラスタ WALアーカイブ不要不要必要バックアップ中のデータベースの停止必要不要不要クライアント環境からの実行不可可能不可（pg_basebackup可能）まとめ

日本PostgreSQLユーザ会 82 コールドバックアップとリストアホットバックアップとリストアポイント・イン・タイムリカバリバックアップタイプ物理バックアップ（オフライン）論理バックアップ物理バックアップ（オンライン）バックアップ方法 cpコマンド, tarコマンド, rsyncコマンド, ストレージスナップショットなど pg_dump / pg_dumpall ① pg_start_backup() ② cpコマンド, tarコマンド, rsyncコマンドなど ③ pg_stop_backup() / pg_basebackup (PostgreSQL9.1～) （リストア）リカバリ方法特になし pg_restore / psql （PITR 機能）どこまで戻せるかバックアップ時点バックアップ時点任意の時点バックアップの最小単位データベースクラスタテーブル(pg_dump) データベースクラスタ WALアーカイブ不要不要必要バックアップ中のデータベースの停止必要不要不要クライアント環境からの実行不可可能不可（pg_basebackup可能）まとめさまざまな制約事項の中から、そのシステムにあったバックアップ・リカバリ方法を！！

日本PostgreSQLユーザ会 83 ツールの紹介

日本PostgreSQLユーザ会 84 pg_rman

日本PostgreSQLユーザ会 85 pg_rman PostgreSQL のバックアップとリカバリを管理するツール PostgreSQL の外部ツール Sourceforge からダウンロード可能複雑な PITR の手順をコマンド 1 つで簡単に実行増分バックアップや世代管理も可能自動メンテナンス機能付きストレージ・スナップショットをサポート Linux などの UNIX 系 OS で動きます

日本PostgreSQLユーザ会 86 事前準備（バックアップカタログの初期化）　　バックアップ取得フルバックアップの取得　　　　　　バックアップの検証 [satock@server2]$ pg_rman init -B /array_1/satock/pg_rman/sever2 -D ~/pgdata INFO: ARCLOG_PATH is set to '/home/satock/arc' INFO: SRVLOG_PATH is set to '/home/satock/pgdata/pg_log' [satock@server2]$ pg_rman backup –b full -B /array_1/satock/pg_rman/server2 -D ~/pgdata INFO: database backup start NOTICE: pg_stop_backup complete, all required WAL segments have been archived [satock@server2]$ pg_rman validate -B /array_1/satock/pg_rman/server2 -D ~/pgdata INFO: validate: 2014-05-29 11:29:01 backup and archive log files by CRC pg_rmanバックアップの流れ

日本PostgreSQLユーザ会 87 リストア（&リカバリ）その他の管理コマンド pg_rman delete DATE 指定した DATE より前に取得したバックアップを削除削除対象に最新のフルバックアップが含まれる場合は削除できない pg_rman show バックアップ履歴を表示 pg_rman show timeline 取得済みバックアップのタイムラインとバックアップモードを表示 [satock@server2]$ pg_rman restore -B /array_1/satock/pg_rman/server2 -D ~/pgdata INFO: validate: 2014-05-29 11:29:01 backup and archive log files by SIZE INFO: validate: 2014-05-29 11:50:39 backup and archive log files by SIZE INFO: restore complete. Recovery starts automatically when the PostgreSQL server is started. [satock@server2]$ pg_ctl start -D ~/pgdata pg_rmanリストアの流れ

日本PostgreSQLユーザ会 88 Barman

日本PostgreSQLユーザ会 89 Barman PostgreSQL のバックアップとリカバリを管理するツール PostgreSQL の外部ツール Sourceforge からダウンロード可能複雑な PITR の手順をコマンド 1 つで簡単に実行ローカル、リモートでのバックアップ取得複数サーバのバックアップ取得自動メンテナンス機能付きバックアップ時のI/O、ネットワーク帯域の上限指定 Linux などの UNIX 系 OS で動きます

日本PostgreSQLユーザ会 90 バックアップ取得（リストア＆）リカバリ [satock@backup]$ barman backup dbserver1 Starting backup for server dbserver1 in /array_1/satock/barman/dbserver1/base/20140521T145558 Backup start at xlog location: 1/23000020 (000000070000000100000023, 00000020) Copying files. Copy done. Asking PostgreSQL server to finalize the backup. Backup end at xlog location: 1/230000A8 (000000070000000100000023, 000000A8) Backup completed Barmanバックアップ、リカバリの流れ [satock@backup]$ barman recover --remote-ssh-command "ssh satock@dbserver2" dbserver1 ¥ 20140524T195903 /home/satock/recover_pgdata

日本PostgreSQLユーザ会 91 参考文献書籍 PostgreSQL 完全攻略ガイド（技術評論社）オンラインドキュメント類 PostgreSQL 9.3.2文書 http://www.postgresql.jp/document/9.3/html/index.html Let's Postgres バックアップの概要と方式一覧 http://lets.postgresql.jp/documents/technical/backup ストリーミング・レプリケーション http://lets.postgresql.jp/documents/technical/replication/ オープンソースカンファレンス講演資料 http://lets.postgresql.jp/documents/report/osc2011-kansai/talks pg-rman http://sourceforge.net/projects/pg-rman/ Barman http://sourceforge.net/projects/pgbarman/

日本PostgreSQLユーザ会 92 ご清聴ありがとうございました

OSC北海道2014_JPUG資料

by Chika SATO

on Jun 16, 2014

Statistics

Views

Actions

1 Embed 1

Accessibility

Categories

Upload Details

Usage Rights

Report content

OSC北海道2014_JPUG資料 Presentation Transcript