仕事で使えるシェルスクリプト

Transcript

• 1. 仕事で使えるシェルスクリプト仕事で使えるシェルスクリプト USP 友の会 今泉光之 @bsdhack http://bsdhack.org
• 2. 仕事で使えるシェルスクリプト 2 講師講師 ● 今泉光之 　UNIX/Linux環境でのプログラミングを中心に、ネットワークや インフラなども含め20年以上に渡る経験だけは積んできました。 　当初はC言語でコンパイラ、Xサーバ、ドライバ、TCP/IPによる 通信などシステム系のプログラミングが主でしたが、最近はPerl やPHPなどのWeb向けのLLも使っています。
• 3. 仕事で使えるシェルスクリプト 3 POSIXPOSIX についてについて ● POSIX とは – Portable Operating System Interface – 各種 UNIX OS を始めとする異なる OS 実装に共通の API を定め、移植性の高いアプリケーションソフト ウェアの開発を容易にすることを目的として IEEE が策定したアプリケーションインタフェース規格 – 名前はリチャード・ストールマン提案による
• 4. 仕事で使えるシェルスクリプト 4 なぜなぜ POSIXPOSIX かか ● 元々は Bourne Shell のみだったので互換性は問題なし ● シェルスクリプトは様々な環境で動作した ● csh 、 tcsh 、 ksh 、 bash 、 zsh などの登場により機能は増加し たが互換性は減少した ● ソフトウェア製品を様々なベンダーの数ある unix システムで 動作させるために互換性を意識する必要がある
• 5. 仕事で使えるシェルスクリプト 5 どんな時にどんな時に POSIXPOSIX を意識するのかを意識するのか ● ソフトウェア製品の開発 – 色々な環境で動作させる事で開発コストが下がる ● 監査が厳しい状況 – 金融業界などは導入するソフトに制限がある ● そもそも bash は標準シェルじゃない
• 6. 仕事で使えるシェルスクリプト 6 checkbashismscheckbashisms ● シェルスクリプトの lint(1) 的存在 – 引数で指定されたシェルスクリプトを解析して POSIX に準拠していない部分を指摘する – http://sourceforge.net/projects/checkbaskisms/ – Sourceforge からダウンロードできます – 残念ながら perl スクリプト
• 7. 仕事で使えるシェルスクリプト 7 POSIXPOSIX を気にしないを気にしない ● POSIX を気にしない場面も必要 – アプライアンスサーバを作る場合 ● 全て自前で揃える必要がある ● 組み込みに近いので独自仕様を優先する ● サイズや速度に制限がある場合もある
• 8. 仕事で使えるシェルスクリプト 8 POSIXPOSIX を気にしないを気にしない ● OS 固有の処理（起動スクリプトなど） – redhat 系 ● パラメタは /etc/sysconfig 以下にファイルを設置 ● 起動スクリプトは /etc/rc.d/init.d 以下にファイルを設置 ● 起動制御は chkconfig で指定 – FreeBSD ● パラメタ・起動制御は /etc/rc.conf に指定 ● 起動スクリプトは /usr/local/etc/rc.d 以下にファイルを設置
• 9. 仕事で使えるシェルスクリプト 9 POSIXPOSIX まとめまとめ 基本は POSIX を意識するが 必要があれば 敢えて POSIX を無視する必要もあります
• 10. 仕事で使えるシェルスクリプト 10 フィルターコマンドフィルターコマンド ● 標準入力から入力を受け取り結果を標準出力に 出力するコマンド。 – パイプによりコマンドを連続で実行できる – unix のコマンドでは基本的な動作（例外あり） – 余計な出力はせずに必要なデータのみ出力 – エラーは標準エラー出力に
• 11. 仕事で使えるシェルスクリプト 11 シェル変数シェル変数 ● シェル組み込みの set コマンドを活用する事で シェルスクリプトの開発や運用が 32 倍 ( 当社 比 ) 捗ります – マニュアル（オンラインマニュアル）を活用しよう – できれば原文（英語）でマニュアルを読もう
• 12. 仕事で使えるシェルスクリプト 12 シェル変数シェル変数 -e-e ● スクリプト実行時に制御文以外でエラーが発生 した場合に スクリプトを終了させる。 $ cat foo.sh #!/bin/sh set -e files=`la ${tmpdir}` echo "FILES: ${files}" $ sh foo.sh foo.sh: line 3: la: command not found
• 13. 仕事で使えるシェルスクリプト 13 シェル変数シェル変数 -x-x ● コマンドが実行される前にコマンドと変数の展 開結果を stderr に出力する。 $ cat foo.sh #!/bin/sh set -x files=`ls ${tmpdir}` echo "FILES: ${files}" $ sh foo.sh ++ ls + files='bar baz 以下略
• 14. 仕事で使えるシェルスクリプト 14 シェル変数シェル変数 -v-v ● シェルの入力行を stderr に出力する。 $ cat foo.sh #!/bin/sh set -v files=`ls ${tmpdir}` echo "FILES: ${files}" $ sh foo.sh files=`ls` ls echo "FILES: ${files}" 以下略
• 15. 仕事で使えるシェルスクリプト 15 シェル変数シェル変数 -n-n ● コマンドの実行を抑止する。文法チェックや前 述の -v と組み合わせて使用すると便利。 $ cat foo.sh #!/bin/sh set -vn files=`ls ${tmpdir}` echo "FILES: ${files}" $ sh foo.sh files=`ls` echo "FILES: ${files}"
• 16. 仕事で使えるシェルスクリプト 16 シェル変数シェル変数 -u-u ● シェル変数を展開した時に値が設定されていな い場合はエラーとする。 $ cat foo.sh #!/bin/sh set -u tmpdir="/tmp" rm -r ${tnpdir}/* $ sh foo.sh foo.sh: line 4: tnpdir: unbound variable
• 17. 仕事で使えるシェルスクリプト 17 変数展開変数展開 ● シェルによる変数展開を活用しよう – ${parameter:-word} デフォルト値への置換 – ${parameter:=word} デフォルト値の代入 – ${parameter:?[word]} 値の検査とエラー – ${parameter:+word} 代替値の使用 – ${#parameter} 文字列長の取得 – ${parameter%word} 最短後置パターンの削除 – ${parameter%%word} 最長後置パターンの削除 – ${parameter#word} 最短前置パターンの削除 – ${parameter##word} 最長前置パターンの削除
• 18. 仕事で使えるシェルスクリプト 18 デフォルト値への置換デフォルト値への置換 ● ${parameter:-word} – ${parameter} が NULL の場合 word に置換される。 $ echo ${foo} $ echo ${foo:-HOGE} HOGE $ echo ${foo} $ foo=FUGA $ echo ${foo:-FOO} FUGA
• 19. 仕事で使えるシェルスクリプト 19 デフォルト値の代入デフォルト値の代入 ● ${parameter:=word} – ${parameter} が NULL の場合 word に置換され parameter に代入される。 $ echo ${foo} $ echo ${foo:=HOGE} HOGE $ echo ${foo} HOGE $ echo ${foo:=FUGA} HOGE
• 20. 仕事で使えるシェルスクリプト 20 値の検査とエラー値の検査とエラー ● ${parameter:?[word]} – ${parameter} が NULL の場合 word かデフォルトの値を 表示しシェルをエラー終了させる。 $ echo ${foo} $ echo ${foo:?HOGE} HOGE
• 21. 仕事で使えるシェルスクリプト 21 代替値の使用代替値の使用 ● ${parameter:+word} – ${parameter} が NULL 以外の場合 word に置換される $ echo ${foo:+HOGE} $ echo ${foo} $ foo=FUGA $ echo ${foo} FUGA $ echo ${foo:+HOGE} HOGE
• 22. 仕事で使えるシェルスクリプト 22 文字列長の取得文字列長の取得 ● ${#parameter} – ${parameter} の文字列としての長さに置換される。 $ echo ${foo} $ echo ${#foo} 0 $ foo=HOGE $ echo ${foo} HOGE $ echo ${#foo} 4
• 23. 仕事で使えるシェルスクリプト 23 最短後置パターンの削除最短後置パターンの削除 ● ${parameter%word} – ${parameter} の右から word で示されるパターンの最短 部分を削除する。 $ echo ${foo} $ echo ${#foo} 0 $ foo=HOGE $ echo ${foo} HOGE $ echo ${#foo} 4 $ foo=/hoge/fuga/moge $ echo ${foo%/*} /hoge/fuga $ foo=hoge.c $ echo ${foo%.*} hoge $ foo=fuga $ echo ${foo%.*} fuga
• 24. 仕事で使えるシェルスクリプト 24 最長後置パターンの削除最長後置パターンの削除 ● ${parameter%%word} – ${parameter} の右から word で示されるパターンの最長 部分を削除する。 $ foo=hoge.fuga.moge $ echo ${foo%%.*} hoge $ foo=http://hoge.fuga.moge:8888/ $ echo ${foo%%:*} http $ foo=fuga $ echo ${foo%%.*} fuga
• 25. 仕事で使えるシェルスクリプト 25 最短前置パターンの削除最短前置パターンの削除 ● ${parameter#word} – ${parameter} の左から word で示されるパターンの最短 部分を削除する。 $ foo=hoge.c $ echo ${foo#*.} c $ foo=hoge.fuga.moge $ echo ${foo#*.} fuga.moge $ foo=fuga $ echo ${foo#*.} fuga
• 26. 仕事で使えるシェルスクリプト 26 最長前置パターンの削除最長前置パターンの削除 ● ${parameter##word} – ${parameter} の左から word で示されるパターンの最長 部分を削除する。 $ foo=hoge.fuga.moge $ echo ${foo##*.} moge $ foo=/hoge/fuga/moge $ echo ${foo##*/} moge $ foo=fuga $ echo ${foo##*.} fuga
• 27. 仕事で使えるシェルスクリプト 27 traptrap の活用の活用 ● trap (1) で 0 を指定する – スクリプトが正常終了した時にも指定した処理が実 行されるので、プログラム中で作成した一時ファイ ルの削除などにはもってこい。 tmpdir="${TMP:-/tmp}/`basename ${0}`.$$" mkdir -p "${tmpdir}" trap 'rm -r "${tmpdir}"' 0
• 28. 仕事で使えるシェルスクリプト 28 コマンドの活用コマンドの活用 ● コマンドの機能をフルに活用する grep "^HOGEHOGE=" file | awk 'BEGIN { FS = "="} { print $2 }' ↓ awk 'BEGIN{FS="="}/^HOGEHOGE=/{ print $2 }' file awk 'BEGIN{FS="="}{ if($1 == "HOGEHOGE") print $2 }' file もしくは sed -n '/^HOGEHOGE=/s/^.*=//p' file
• 29. 仕事で使えるシェルスクリプト 29 ヒアドキュメントの活用ヒアドキュメントの活用 ● 複数行の固定データなどはヒアドキュメントを 活用する echo "1 行目 " > ${file} echo "2 行目 " >> ${file} : echo "n 行目 " >> ${file} ↓ cat << EOF > ${file} 1 行目 2 行目 : n 行目 EOF
• 30. 仕事で使えるシェルスクリプト 30 setset の活用の活用 ● スペース区切りのデータ解析は set を活用 date="`date '+%Y %m %d'`" year="`echo ${date} | awk '{ print $1 }'`" month="`echo ${date} | awk '{ print $2 }'`" day="`echo ${date} | awk '{ print $3 }'`" ↓ set -- `date '+%Y %m %d'` year="${1}" month="${2}" day="${3}"
• 31. 仕事で使えるシェルスクリプト 31 正規表現正規表現 ● 正規表現の種類 – POSIX 1003.2 で定義されている – 拡張正規表現 : egrep などモダンな実装 – 基本正規表現 : ed など旧来の実装 ● | 、 + 、 ? は存在しない ● { 、 } 、 ( 、 ) はそれぞれ { 、 } 、 ( 、 ) ● ^ 、 $ は正規表現の先頭 / 末尾意外では普通の文字 – + 、 ? は代替の表現があるが | の代替は面倒 ● シェルの glob とは異なるので注意
• 32. 仕事で使えるシェルスクリプト 32 宿題宿題 ● 重複ファイルの削除 – mh 形式のメイルファイルで重複したメイルを削除 ● apache ログの成形 – apache のログから URL 毎のアクセス回数を取得 ● postfix ログの成形 – postfix のログを成形してメッセージ毎に出力