MySQLバックアップの基本

MySQLバックアップの基本日本MySQLユーザ会山崎由章 @yyamasaki1 ※バックアップ勉強会#3 (#bkstudy) での発表資料です。 2012年11月21日に開催したバックアップ勉強会#2 (#bkstudy) での発表資料を少し修正したものです。

免責事項 • 本内容は個人の見解であり、所属組織を代表するものではありません。

アジェンダ • バックアップ手法の違い • バックアップ対象のファイル • バックアップ/リストア例 – OSコマンドによる物理バックアップ – mysqldumpによるバックアップ – バイナリログを使用したポイントインタイムリカバリ

バックアップ手法の違い

バックアップ手法の違い • ホットバックアップ or コールドバックアップ • 論理バックアップ or 物理バックアップ • フルバックアップ or 差分/増分バックアップ ※スタンバイサイトを利用する – ホットスワップとしての利用 – バックアップ取得先としての利用

ホットバックアップ or コールドバックアップ • ホットバックアップ(オンラインバックアップ) – データベースを停止せず、稼働したままでバックアップデータを取得する • コールドバックアップ(オフラインバックアップ) – データベース停止中にバックアップデータを取得する

ホットバックアップ or コールドバックアップ • ホットバックアップ(オンラインバックアップ)の例 – トランザクションの仕組みを利用してバックアップを取得 • mysqldumpでInnoDBテーブルをバックアップする – ロックを利用してバックアップを取得 • mysqldumpでMyISAMテーブルをバックアップする – OSやハードウェアのスナップショットを利用する • LVMでスナップショットを取得してバックアップする(※) – 独自の方法でバックアップを取得する • MySQL Enterprise Backup(有償ツール)でバックアップする(※) (旧名称：InnoDB Hot Backup) ※参考：漢(オトコ)のコンピュータ道より MySQLバックアップ頂上決戦！！ LVMスナップショット vs InnoDB Hot Backup

ホットバックアップ or コールドバックアップ • コールドバックアップ(オフラインバックアップ)の例 – MySQLサーバをシャットダウンして、データディレクトリ以下のディレクトリとファイルを全てOSのコマンドでコピー

論理バックアップ or 物理バックアップ • 論理バックアップ – データベースからデータを抜き出してバックアップする – MySQLの場合は、SQLベースのバックアップを取得可能 – mysqldumpで取得可能 – 利点 • バックアップファイルを編集できる • 移植性が高い（他バージョン、他のRDBMS） – 欠点 • 物理バックアップに比べてサイズが大きくなる • バックアップ、リストアに時間がかかる (バイナリ⇔テキストの変換が入るため)

論理バックアップ or 物理バックアップ • 物理バックアップ – 物理的なファイルのバックアップ – OSファイルのコピー、MySQL Enterprise Backup等で取得可能 – 利点 • 最小限のサイズで取得できる • バックアップ/リストアの速度が速い (データの変換が無い/もしくは少ないため) – 欠点 • バックアップ/リストアの単位はツールしだい • 異機種間、バージョン間で互換性が取れない場合がある(※) ※主な注意事項 - テーブル名に日本語文字を使用している場合 - 浮動小数点が混じっている場合 - テーブル名に大文字/小文字が混在している場合 (小文字の使用を強制： lower_case_table_names=1)

フルバックアップ or 差分/増分バックアップ • フルバックアップ(全体バックアップ) – データベース全体をバックアップする • 差分/増分バックアップ(部分バックアップ) – 直近のバックアップ以降に更新されたデータのみをバックアップする – 差分バックアップ • 直近のフルバックアップ以降に更新されたデータをバックアップ – 増分バックアップ • 直近のバックアップ(種別はフルとは限らない)以降に更新されたデータをバックアップする

フルバックアップ or 差分/増分バックアップ • フルバックアップ(全体バックアップ) – 利点 • リストア処理が単純 (バックアップデータが1カ所にまとまっているため) – 欠点 • バックアップにかかる時間が長くなる (データベース全体をバックアップするため) る • バックアップデータのサイズが大きくなる (データベースに対する更新量が少なくても、データベース全体をバックアップする) 1回目 ① ① 2回目 ① ② ① ② 3回目 ① ② ③ ① ② ③

フルバックアップ or 差分/増分バックアップ • 差分/増分バックアップ(部分バックアップ) – 利点 • バックアップ時間が短くなる (更新したデータだけを対象にするため) • バックアップデータのサイズが小さくなる (更新したデータだけを対象にするため) – 欠点 • リストア処理の手順が複雑になる (フルバックアップと部分バックアップを使ってリストア) 1回目 ① ① 2回目 ① ② ② 3回目 ① ② ③ ③

フルバックアップ or 差分/増分バックアップ • MySQLでの差分/増分バックアップ手法 – バイナリログを増分バックアップとして利用する – MySQL Enterprise Backup(有償ツール)でInnoDBデータの増分/差分バックアップを取得する

ポイントインタイムリカバリとバイナリログ • ポイントインタイムリカバリ – 特定の日時の状態にデータを復旧すること (障害発生直前の状態まで復旧する) – MySQLでは、バックアップファイルとバイナリログファイルを利用して、ポイントインタイムリカバリが可能 (バックアップファイルに対して、バイナリログファイルを使ってロールフォワードリカバリする) • バイナリログ – 発行されたクエリのうち、更新系のSQL文のみを記録しているログファイル – “--log-bin” オプションを設定することで出力できる – コミット時にバイナリログに同期書き込みするためには、 ”sync_binlog=1” を設定する

スタンバイサイトを利用する • レプリケーション機能を利用して、スタンバイサイトを構築しておき、障害発生時はフェイルオーバーする – 利点 • 復旧時間が短い – 欠点 • 復旧ポイントは障害発生直前の状態のみ(※) • 人的ミスに対する対策にはならない(※) ※MySQL5.6では、遅延レプリケーション機能で、意図的にスタンバイサイトを遅延させることも可能 • スタンバイサイトをバックアップ取得先として利用することも可能（本番環境に影響を与えずにバックアップ取得可能）

レプリケーション • MySQLの標準機能 – シンプルな設定で利用可能 – 多数のWebサイトで実績あり • 同期方式：非同期 or 準同期 • 特長 – 参照性能を向上させる構成 – バックアップ用途でも利用可能 – バイナリログを利用して、更新内容をスレーブに伝搬

バックアップ対象のファイル

バックアップ対象 • データディレクトリまたはデータ全体 – フルバックアップ – 論理または物理バックアップ • ログファイル(バイナリログ) – 増分バックアップ – ポイントインタイムリカバリに利用 • 設定ファイル – my.cnf

データディレクトリ • データベース内容、ログ、およびステータスファイルの格納先 • デフォルトのディレクトリはインストール形式による • /usr/local/mysql/data/ (tar形式) • /var/lib/mysql (RPMパッケージ) • サーバ起動オプションで設定可能 • datadir=/path/to/datadir/ • サーバが利用しているディレクトリは下記コマンドで確認可能 • mysql> SHOW VARIABLES like 'datadir'; ※InnoDB関連ファイルのデータパスをデータディレクトリ以外に設定している場合は、バックアップ時にそれらも取得する

バイナリログ • 発行されたクエリのうち、更新系のSQL文のみを記録しているログファイル – クエリ実行日時などのメタデータも記録 – トランザクションのコミット時に同期的に記録(sync_binlog=1) • バイナリ形式で記録 – mysqlbinlog コマンドにてテキスト化が可能 • 起動オプションを指定して、出力する – --log-bin[=file_name] – 通常の運用時には利用することを推奨 – データディレクトリとは別のディスクに出力することを推奨 • ログファイル名の拡張子に通し番号を記録例）file_name-bin.001, file_name-bin.002, etc. – 現在利用中のログ番号はインデックスファイルに記録 (file_name.index)

バイナリログの管理 • SHOW MASTER STATUS コマンドで現在使用中のバイナリログファイル名とポジションを確認 • SHOW MASTER LOGS コマンドで全てのバイナリログファイル名を列挙 • FLUSH [BINARY] LOGS コマンドまたはMySQL サーバの再起動でログファイルのローテーション • PURGE MASTER コマンドで特定の時点までのバイナリログを削除 • RESET MASTER コマンドで全てのバイナリログを削除

バイナリログの管理 mysql> PURGE MASTER LOGS TO 'MySQL.000003'; Query OK, 0 rows affected (0.06 sec) mysql> mysql> SHOW MASTER LOGS; +--------------+-----------+ | Log_name | File_size | +--------------+-----------+ | MySQL.000003 | 2315 | | MySQL.000004 | 628 | | MySQL.000005 | 1090 | | MySQL.000006 | 126 | | MySQL.000007 | 146 | | MySQL.000008 | 107 | +--------------+-----------+ 6 rows in set (0.00 sec)

補足：ストレージエンジンごとの特性について • MyISAM – 3つのファイルからなる(frm、MYD、MYI) – ファイルとして書込み禁止(FLUSH TABLES WITH READ LOCK)すればファイルコピーできる – クラッシュセーフでは無い (MySQLサーバやOSのクラッシュ時にはrepairが必要) – ロックはテーブル単位

補足：ストレージエンジンごとの特性について • InnoDB – 共有テーブルスペースファイルとInnoDBログファイルの組で 1つの単位。innodb_file_per_table設定時は *.ibd も必要 • 共有テーブルスペースファイル：ibdata1、ibdata2、… • InnoDBデータファイル：.ibdファイル • InnoDBログファイル：ib_logfile0、ib_logfile1、… • テーブル定義ファイル：.frmファイル – ファイルコピーだけでは移動は出来ない(※) – クラッシュセーフ、トランザクション対応 – ロックは行単位 – MySQL Enterprise Backup(旧名称 InnoDB Hot Backup)でホットバックアップ可能 ※MySQL5.6ではトランスポータブル表領域機能を利用して、移動可能

バックアップ/リストア例

前提 my.cnf の配置先/usr/local/mysql/data/my.cnf [mysqld] datadir=/usr/local/mysql/data socket=/usr/local/mysql/data/mysql.sock user=mysql log-bin=MySQL

OSコマンドによる物理バックアップ例 1．MySQLサーバを停止 $ mysqladmin --user=root --password=root ¥ --socket=/usr/local/mysql/data/mysql.sock shutdown 2．コールドバックアップを取得する $ cp -rp /usr/local/mysql/data /backup/mysql-20140904 3．MySQLサーバを起動する $ mysqld_safe --defaults-file=/usr/local/mysql/data/my.cnf &

物理バックアップのリストア例 1．マシンやディスクが壊れている場合は復旧する 2．MySQLサーバが起動している場合は停止する 3．既存のデータベース領域を削除する $ rm -rf /usr/local/mysql/data 4．バックアップファイルをリストアする $ cp -rp /backup/mysql-20140904 /usr/local/mysql/data 5．MySQLサーバを起動する $ mysqld_safe --defaults-file=/usr/local/mysql/data/my.cnf &

mysqldumpによるバックアップ例 • 全てのテーブルをロックしてデータベース全体のバックアップを取得 $ mysqldump --user=root --password=root --master-data=2 ¥ --socket=/usr/local/mysql/data/mysql.sock ¥ --hex-blob --default-character-set=utf8 --all-databases ¥ --lock-all-tables > mysql_bkup_dump.sql • InnoDBのトランザクションを使用してデータベース全体のバックアップを取得 $ mysqldump --user=root --password=root --master-data=2 ¥ --socket=/usr/local/mysql/data/mysql.sock ¥ --hex-blob --default-character-set=utf8 --all-databases ¥ --single-transaction > mysql_bkup_dump.sql

mysqldumpによるバックアップ例 • --master-data=2 – バックアップ取得のバイナリファイル名とバイナリファイル内の位置(Position)をコメントとしてバックアップファイルに記録 • --hex-blog – バイナリ型(BINARY、VARBINARY、BLOG) とBIT型のデータを 16進数表記で出力 • --default-character-set – mysqldumpがデフォルトで利用するキャラクタセットを指定。基本的にはシステム変数default-character-setと同じものを指定すれば良い • --all-databases – 全てのデータベースをバックアップ • --lock-all-tables – 全てのテーブルをロックしてバックアップを取得する • --single-transaction – InnoDBがサポートしているトランザクションの仕組みを利用して、 InnoDBテーブルに限り一貫性のとれたバックアップを取得する

注意事項：mysqldumpによるバックアップ • データの整合性を保つために、バックアップ取得中は、テーブルに関するDDL文(※)を実行しないこと ※ALTER TABLE, CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE • マニュアルの“--single-transaction”オプションの説明部分より引用 – 「While a --single-transaction dump is in process, to ensure a valid dump file (correct table contents and binary log coordinates), no other connection should use the following statements: ALTER TABLE, CREATE TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE.」

mysqldumpからのリストア例 1．マシンやディスクが壊れている場合は復旧する 2．MySQLサーバが起動している場合は停止する 3．既存のデータベース領域を削除後、再作成する (必要に応じて事前にバックアップを取得) $ rm -rf /usr/local/mysql/data $ mkdir /usr/local/mysql/data 4．バイナリログの出力を停止 (my.cnfからlog-binをコメントアウト※) ※この例の場合は、バックアップしておいたmy.cnf を /usr/local/mysql/data 配下に配置してから、log-binをコメントアウト

mysqldumpからのリストア例 5．権限テーブルとネットワーク接続を無効化した状態で MySQLサーバを起動 $ mysqld_safe --defaults-file=/usr/local/mysql/data/my.cnf ¥ --skip-networking --skip-grant-tables & 6．バックアップファイルに記述されたSQL文を実行 $ mysql --default-character-set=utf8 ¥ --socket=/usr/local/mysql/data/mysql.sock < mysql_bkup_dump.sql 7．バイナリログの出力を再開して、正常に再起動 $ mysqladmin --user=root --password=root ¥ --socket=/usr/local/mysql/data/mysql.sock shutdown $ mysqld_safe --defaults-file=/usr/local/mysql/data/my.cnf &

mysqldumpからのリストア例 ※MySQL5.5からはperformance_schemaという特殊なデータベースが存在するが、この手順では作成されず、エラーログにperformance_schemaが無いというエラーが出力される。 [回避策] 1．サーバ再起動前に、performance_schemaディレクトリをdatadir 配下にコピーする (インストールディレクトリ/data/performance_schema) 2．MySQLサーバ再起動後、mysql_upgredeを実行する $ mysql_upgrade --user=root --password=root ¥ --socket=/usr/local/mysql/data/mysql.sock

バイナリログを使用したポイントインタイムリカバリ 1．ネットワーク接続を無効化した状態でMySQLサーバを起動 $ mysqld_safe --defaults-file=/usr/local/mysql/data/my.cnf ¥ --skip-networking & 2．バイナリログからロールフォワード用SQL文を生成し、生成した SQL文を実行する(ファイル名とポジションは、適切なものを指定) $ mysqlbinlog --disable-log-bin --start-position=1017 ¥ MySQL.000010 MySQL.000011 > recover.sql $ mysql --user=root --password=root ¥ --socket=/usr/local/mysql/data/mysql.sock ¥ --default-character-set=utf8 < recover.sql

バイナリログを使用したポイントインタイムリカバリ 3．正常に再起動 $ mysqladmin --user=root --password=root ¥ --socket=/usr/local/mysql/data/mysql.sock shutdown $ mysqld_safe --defaults-file=/usr/local/mysql/data/my.cnf &

おまけ (MySQL Enterprise Backupの紹介)

MySQL Enterprise Backup • 旧称 “InnoDB Hot Backup” • オンラインバックアップ & リカバリ • フル or 差分バックアップ • フルインスタンスバックアップ(設定も含めてバックアップ) • ポイントインタイムリカバリ • バックアップデータの圧縮 • テーブル単位でのバックアップ/リストア • マルチプラットフォーム(Windows, Linux, Unix) • クラウドストレージへのバックアップ (2014年9月時点ではAmazon S3のみ対応) • MySQL Enterprise Backup の特徴と利点

高速なバックアップ mysqldumpより49倍速い

高速なリストア mysqldumpより80倍速い

MySQL Enterprise Backup • MySQL Enterprise Editionで使える機能です。 – MySQL Enterprise Editionでは、MySQL Enterprise Backup 以外にも、運用監視ツール、監査ログ取得機能など、便利な機能がまとめて使えます。(詳細はこちらを参照下さい) – MySQL Enterprise Editionでは、パフォーマンスチューニングに関するサポートなど、コンサルティング的なサポートも受けられます。(詳細はこちらを参照下さい)

http://blog.kimuradb.com	1279
https://twitter.com	182
http://s.deeeki.com	64
http://nuevospowerpoints.blogspot.com	11
http://nuevospowerpoints.blogspot.com.es	8
http://kimuradb.jugem.jp	7
http://webcache.googleusercontent.com	5
http://cloud.feedly.com	3
https://si0.twimg.com	3
http://slideshare-download.seesaa.net	3
http://twitter.com	2
https://web.tweetdeck.com	1
http://safe.txmblr.com	1
http://nuevospowerpoints.blogspot.com.ar	1
http://localhost	1

MySQLバックアップの基本

by yoyamasaki

on Nov 21, 2012

Statistics

Views

Actions

15 Embeds 1,571

Accessibility

Categories

Upload Details

Usage Rights

Report content

MySQLバックアップの基本 Presentation Transcript