fc2ブログ
  • 館内放送 [ツイッター]

    キンコンカンコーン・・・うみゃーだよ。館内放送だみゃ。
    ・・・・・キンコンカンコーン・・・ブツ
  • 町内会からのお知らせ [相互RSS]

【技術部】[GAWK] 煩雑なログファイルから必要な情報を抽出、整形する方法



 いろんな情報が含まれているログファイル。この中から必要なデータを抽出、整形してみましょう。
※カテゴリー【技術部】は技術者向けの記事となります。


【目的】
・ ログファイルを分析するにあたり必要な情報のみを抽出、整形する。


ログファイル
2014/01/01 22:00:00 INFO SystemStartup
2014/01/01 22:00:00 INFO NYA-San Login
2014/01/01 22:00:01 ERROR NotNullException
java.lang.NotNullException: umya.class not found:
        at java.lang.NumberFormatException.forInputString(Unknown Source)
        at java.lang.Integer.parseInt(Unknown Source)
        at java.lang.Integer.(Unknown Source)
        at ExceptionPrintDemo.formatInt(ExceptionPrintDemo.java:7)
        at ExceptionPrintDemo.main(ExceptionPrintDemo.java:14)
2014/01/01 22:00:04 INFO NYA-San Logout
2014/01/01 22:00:13 INFO Umya Login
2014/01/01 22:01:00 INFO NYA-San Login
2014/01/01 22:02:01 WARN InputError
2014/01/01 22:01:04 INFO NYA-San Logout

この中から、Login情報のみを抽出する。
Login時間とログイン名を抽出し、区切り文字はTABを使用する。

抽出後のイメージ
2014/01/01 22:00:00^  NYA-San
2014/01/01 22:00:13^  Umya
2014/01/01 22:01:00^  NYA-San

【必要なもの】
・ gawk.exe




【準備】
1.以下のホームページからgawk.exeをダウンロードします。

 gawk 3.1.5 for Windowsのダウンロード : Vector ソフトを探す!
 http://www.vector.co.jp/soft/win95/util/se376460.html

 ダウンロードされた「gawk-mbcs-win32-20051223.zip」を解凍すると
 「gawk.exe」が生成されます。



【実施】
1.抽出後のイメージに整形するための仕様を検討する。

ログファイルの内容から、抽出後のイメージに整形するために以下のポイントを把握します。

 【ポイント】
 ・区切り文字をどれにするか見つける。
 ・必要なレコードのみを抽出するための条件を見つける。


今回は、区切り文字はスペース。抽出条件は5列目が「Login」のデータを対象にします。



2.GAWKスクリプトファイルを作成する。

gawkscript.awk
($5=="Login"){               # 5行目のデータがLoginのレコードのみ有効
    print $1 " " $2 "\t" $4; # 必要な情報を出力
                             #  $1  = 日付
                             #  $2  = 時間
                             #  $4  = ログイン名
                             #  ""  = スペース
                             #  "\t"= タブ
}



3.コマンドプロンプトで以下を実行。
gawk -F " " -f gawkscript.awk logfile.log > result.txt
 -F : 区切り文字に使う文字を指定。
 -f : GAWKスクリプトファイルを指定。
 第一引数 : 解析するログファイル名を指定。



4.内容を確認する。
result.txt
2014/01/01 22:00:00^ NYA-San
2014/01/01 22:00:13^ Umya
2014/01/01 22:01:00^ NYA-San



ご質問、ご意見等ありましたら下記コメントにご投稿お願いいたします。
関連記事
この記事へのリアクション

コメントの投稿

非公開コメント




タグ:技術部GAWKログ解析

プロフィール

うみゃー・アパカ

Author:うみゃー・アパカ
UMYA.net公式ブログです。
ツイッター:umya_net


リンクフリーです!
アドレス:http://umyanet.blog.fc2.com/

公式ホームページ

ラインスタンプ配信中!

リンク



スマホアプリ配信中

黄金疾走

スポンサード

人気商品

Powered by amaprop.net