【Linux入門】awkコマンドの基本を学ぶ

今回はファイル処理をワンラインで行う強力な味方、awkコマンドをご紹介。本稿ではawkコマンドの基本的な使い方を解説します。


目次

awkコマンドの用法
awkコマンドを使ってみよう
  特定の列のデータだけ抜き出す
  データの区切り文字をカンマにする
  特定の文字で始まる(含む)行を抜き出す
awkコマンドによる条件付き出力
  数値比較によって絞り込んで出力する
awkコマンドによる簡易数値計算
  列データの最大・最小値を求める
  列データの合計・平均を求める
  整数・実数の桁合わせ(printf関数)
組み込み関数

 awkコマンドの用法

awkコマンドの基本的な使い方は以下のようになります。

(※「$ 」はコマンド受付中のマークです。既に表示されているので皆さんが入力する必要はありません)

パターンというのは何らかの条件と考えておけばOKです。アクションはawkコマンドで行う何らかの操作を指します。awkコマンドは、特定のパターンに合致した行もしくはカラムの要素に対して指定したアクションを実行するコマンドと言えます。

※AWK(オーク)は元々プログラミング言語の一つであり、UnixやLinux環境でファイル操作を簡単に行えるように開発されたものです。ワンラインで色々やるならPerlでもできます。

 

 awkコマンドを使ってみよう

例えば、以下のように「dataset.txt」というファイルにa、b、cの3系列のデータがリストとして書き込まれているとします。

» データセット

» 閉じる

例えば、

とすると全ての行を出力します。これは「awk ‘{print $0}’」としても同じ結果になります。

※「|」は「パイプ」、もしくは「パイプライン」と呼ばれるコマンドの入出力を繋ぐもので、これにより “cat dataset.txt” の出力結果に対して “awk ‘{print}'” という別のコマンドを適用することができます。

3列のデータのうち2列目だけを表示したいとき

とします。

また、系列cのデータだけ抜き出したいとき

とします。awkコマンドの「$3==”c”」という部分が「パターン」に相当します。これは「3カラム目の値($3)が “c” のとき2カラム目の値($2)を表示する」という意味です。

データの出力は複数個指定できて、「awk ‘{print $2 , $3}’」のようにすると2カラム目の値と3カラム目の値が空白で区切られて出力されます。

データの区切り文字をカンマにしたいときは例えば

のようにします。

また、例えば

のように、該当する行を抜き出すこともできます(grepコマンドのように使える)。

awkコマンドではcutコマンドのように区切り文字(delimiter)を指定しなくても良いという強みがあります(指定したい場合は-Fオプションを使う)。また、条件を色々と指定できるのでgrepコマンドより細かい運用も可能なところが魅力です。今までcutコマンドやgrepコマンド、sedコマンドを駆使してデータの整理をしていたのが、awkコマンドではラクラクということも有り得ます。

続いてパターン」部分の実用的な使い方を紹介します。

 

 awkコマンドによる条件付き出力

awkコマンドでは、ある要素に対して数値比較をして絞り込んだ上で出力することが可能です。

例えば、2列目の数値が1より大きい要素を取り出したいときは

のようにします。パターンのところに “$2 > 1” と書くことで、2列目の数値と1との大小を比較することができます。

さらに、and条件やor条件も指定可能です。

この場合は2列目の数値が 0.5~1 の範囲(0.5 より大きい、かつ 1 未満)にある行がすべて抜き出されます。

2列目の数値が 0.5 未満、もしくは 1 以上である行を抜き出すときは

とします。

このようなタイプの行(または要素)の抽出をgrepコマンドで行うのは難しいですよね。awkコマンドはこうした数値を判別・評価して抜き出したりする操作が得意です。

 

 awkコマンドによる簡易数値計算

awkコマンドを用いることで、各データに対して数値計算を行うことが可能です。

●最大値を求める

2列目のデータの最大値を抜き出します。

●最小値を求める

2列目のデータの最小値を抜き出します。

●合計を求める

2列目のデータの総和を計算します。

●平均を求める

2列目のデータの平均を計算します。

“sum/NR” で変数sumの値を要素数で割ることができます。

●整数・実数の桁合わせ(printf関数)

上記の合計を求めるコマンドでは小数点以下4桁までしか出力されていませんが、printf関数を使えば整数でも小数でもC言語のように桁合わせ可能です。例えば以下のように指定することができます。

同様に平均の計算でもprintf関数を使えば桁数を調整できます。

printf関数で指定できる書式は以下の通りです。

メタ文字 説明
%c ASCIIの1文字
%d 整数
%nd n桁の整数
%0nd n桁の整数(桁数がnに満たない場合は0で埋める)
%f 浮動小数点
%x.yf 整数部分x桁、小数部分y桁の浮動小数点
%e 指数形式
%o 符号なし8進数
%s 文字列
%ns n文字までの文字列
%% 「%」(”%%”と書くことでエスケープされる)

桁合わせする方法は何かと入用なので意外と使えます。

 

 組み込み関数

awkには次のような組み込み関数が用意されています。これによりデータ処理の幅が広がります。

関数 説明
cos 余弦(コサイン)を返す
exp 指数を返す
getline 次のレコードを読み込む
index 指定した文字列が最初に出現する位置を返す
int 小数点以下を切り捨てた整数を返す
length 文字列の長さ(文字数)を返す
log 自然対数を返す
match 指定した正規表現が最初に出現する位置を返す
sin 正弦(サイン)を返す
split 文字列を配列要素に分解して要素数を返す
sprintf 書式に従って文字列に変換する
sqrt 平方根を返す
substr 部分文字列を返す

 


今回はawkコマンドの基本的な使い方についてまとめました。大規模にデータを整理するシェルスクリプトを書く際に重宝するコマンドの一つで、使い方次第ではもっと色々なことができるので、どんどん使いこなしていきましょう!

 

コメントを残す

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です