ApacheのアクセスログをLog Parser Studioで解析してみた

はじめに

Log Parser Studioは、マイクロソフトから無償で提供されているログ解析ツールです。
CUI版のLog ParserとGUI版のLog Parser Studio(Log Parserをインストールする必要あり)があります。
IISなど、主にマイクロソフト製品のログ解析に利用される事が多いと思われますが、今回は、Apacheのアクセスログを、Log Parser Studioで解析してみました。

Log Parser、Log Parser Studioのインストール

Log Parser、Log Parser Studioをインストールします。
手順は以下が参考になると思います。

クエリを実行してみる

以下のようなログフォーマットのアクセスログをLog Parser Studioに取り込み、実際にクエリを実行してみます。

※ログの1行目には、クエリ実行結果用にヘッダーを追加しています。
※区切り文字は半角スペースにしています。

Log Parser Studioを起動し、赤枠のアイコンをクリックして、クエリエディターを開きます。

次に、左から5番目のアイコンをクリックし、解析するログファイルを選択します。

ファイルは複数選択する事も可能です。

次に、Log Typeを選択します(下矢印アイコンをクリック)。このログは半角スペース区切りなので、TSVLOGを選択します。

続いて、歯車アイコンをクリックし、iSeparatorの値をtabからspaceに変更します。

設定完了後、左から2番目のアイコンをクリックすると、クエリが実行され、結果が表示されます。

この例で実行したSELECT TOP 10 FROM '[LOGFILEPATH]'というクエリは、ログファイルから最初の10行を取得するというものです。

アクセスログを解析してみる

例えば、以下のような事を確認する事ができます。

サーバー処理時間(%T)が3秒以上かかったリクエスト数

以下を実行する事で、サーバー処理時間が閾値(この例では3秒)を超えているリクエスト数、サーバー処理時間の平均、サーバー処理時間の最大値を確認する事ができます。

SELECT count(*),avg(res_time),max(res_time) FROM '[LOGFILEPATH]' where res_time >= 3

サーバー処理時間(%T)が3秒以上のリクエスト(遅い順)

以下を実行する事で、サーバー処理時間が閾値(この例では3秒)を超えているリクエストを遅い順に一覧表示する事ができます。
この結果を確認する事で、どのURI(機能、処理)が遅いのか、傾向を確認する事ができます。

SELECT datetime,status,result,res_time,transfer,uri
  FROM '[LOGFILEPATH]'
 WHERE res_time >= 3
ORDER BY res_time DESC

サーバー処理時間(%T)が3秒以上のリクエスト件数(10分毎)

以下を実行する事で、サーバー処理時間が閾値(この例では3秒)を超えているリクエスト数を10分単位で確認する事ができます。
この結果を確認する事で、どの時間帯が遅かったのか、傾向を確認する事ができます。

SELECT
 QUANTIZE(to_timestamp(strcat(strcat('2018/10/', strcat(substr(datetime,1,2),' ')), substr(datetime,13,8)),'yyyy/MM/dd hh:mm:ss'),600) as time,
 count(*)
  FROM '[LOGFILEPATH]'
 WHERE res_time >= 3
GROUP BY time
ORDER BY time

10分毎のリクエスト数

以下を実行する事で、10分単位でのリクエスト数を確認する事ができます。
この結果を確認する事で、アクセスが多い時間帯を確認する事ができます。

SELECT
 QUANTIZE(to_timestamp(strcat(strcat('2018/08/', strcat(substr(datetime,1,2),' ')), substr(datetime,13,8)),'yyyy/MM/dd hh:mm:ss'),600) as time,
 count(*)
  FROM '[LOGFILEPATH]'
GROUP BY time
ORDER BY time

1秒毎のリクエスト数

以下を実行する事で、1秒単位でのリクエスト数を確認する事ができます。
この結果を確認する事で、同時アクセスが多い時間帯を確認する事ができます。

SELECT
 QUANTIZE(to_timestamp(strcat(strcat('2018/08/', strcat(substr(datetime,1,2),' ')), substr(datetime,13,8)),'yyyy/MM/dd hh:mm:ss'),1) as time,
 count(*)
  FROM '[LOGFILEPATH]'
GROUP BY time
ORDER BY time

200以外のHTTPステータスの件数

以下を実行する事で、HTTPステータス200以外を返したリクエストの件数を確認する事ができます。

SELECT status,count(*) FROM '[LOGFILEPATH]' where status <> 200 group by status order by status

クエリ実行結果をCSV出力

クエリの実行結果は、左から4番目のアイコンをクリックする事で、CSVファイルに出力する事ができます。
結果の件数が多いなどしてGUIでは解析が難しい場合は、CSVファイルで詳細を確認する事が可能です。

クエリを保存してライブラリに追加

左から3番目のアイコンをクリックする事で、クエリを保存する事ができます。

クエリを保存すると、Libraryタブの一覧に保存したクエリが追加されるので、よく利用するクエリは保存しておくと便利です。

※ライブラリの一覧でクエリをダブルクリックすると、保存したクエリが記載された状態でクエリエディタが開きます。

(参考)Log Parser関数一覧

Log Parserで利用できる関数の一覧です。その他、Libraryの一覧にあるクエリも参考になると思います。

算術関数

変換関数

文字列操作関数

システム情報関数

その他の関数

おわりに

Log Parser Studioを使い、Apacheのアクセスログを解析する方法について記載しました。
他にもWindowsのイベントログの解析など、色々な使い方ができるツールだと思いますので、簡易的なログ解析をする際に、利用してみてはと思います。