bash の wait コマンド（shell builtin command）

今日まで存在を知らなかった。。。バックグラウンドプロセスが終了するまで待ち合わせするコマンド。

惰性で順次実行してたシェルスクリプトを手軽に並行実行できるようになって効率上がるかも。

環境

$ bash --version
GNU bash, version 3.2.48(1)-release (x86_64-apple-darwin10.0)
Copyright (C) 2007 Free Software Foundation, Inc.
$ help wait
wait: wait [n]
    Wait for the specified process and report its termination status.  If
    N is not given, all currently active child processes are waited for,
    and the return code is zero.  N may be a process ID or a job
    specification; if a job spec is given, all processes in the job's
    pipeline are waited for.

例1) wait なし

$ cat test.sh 
#!/bin/bash
date
(sleep 1; echo 'sleep 1') &
(sleep 2; echo 'sleep 2') &
(sleep 3; echo 'sleep 3') &
date

$ ./test.sh 
2013年 12月 8日 日曜日 23時03分12秒 JST
2013年 12月 8日 日曜日 23時03分12秒 JST
sleep 1
sleep 2
sleep 3

バックグラウンドプロセスの終了を待たずに2つ目の date コマンドが実行されて日時を出力。その後1、2、3秒ごとに echo の結果が。

例2) wait あり

$ cat test.sh 
#!/bin/bash
date
(sleep 1; echo 'sleep 1') &
(sleep 2; echo 'sleep 2') &
(sleep 3; echo 'sleep 3') &
wait
date
$ ./test.sh 
2013年 12月 8日 日曜日 23時06分58秒 JST
sleep 1
sleep 2
sleep 3
2013年 12月 8日 日曜日 23時07分01秒 JST

全バックグラウンドプロセスの実行＆終了を待ってから2つ目の date コマンドが実行された。合計3秒待ったから3秒後の日時がプリントされた。

参考

• 今日の腕試し！ - 引数なしでwaitコマンドを実行するとどうなる？：ITpro
• 逆引きシェルスクリプト/複数のプロセスが終了するまで待機する・wait - Linuxと過ごす

FUSEの例（archivemount で tgz をマウントしてみる）

とあるAndroidスマホの中を見ていたら、ディレクトリの一部が「fuse」という謎のファイルシステムを使っていることに気がついた。初耳だったので調べてみると、LUKSをもっと手軽にしたようなものらしい（FUSEとLUKSを比較している記事がいくつかみつかった）。

ネットで紹介されているFUSEの利用例はたいていリモートホストのファイルをセキュアにSSHFSとしてマウントするものなので、ここでは矮小というか卑近というか要するにあまり役に立たない例としてローカルホストにあるアーカイブ（tgz）を読み書きする例にした。

1. 環境

Fedora release 19 (Schrödinger’s Cat)

ただし、「archivemount」というパッケージを yum でインストールした。

2. rootで、何でもいいからテキストファイルをつくってアーカイブ化（ファイル名：/root/work.tgz）

[root@localhost ~]# cd
[root@localhost ~]# mkdir work; for i in foo bar baz; do echo $i > work/$i.txt; done
[root@localhost ~]# ll work; cat work/*
total 12
-rw-r--r--. 1 root root 4 Nov  5 01:43 bar.txt
-rw-r--r--. 1 root root 4 Nov  5 01:43 baz.txt
-rw-r--r--. 1 root root 4 Nov  5 01:43 foo.txt
bar
baz
foo
[root@localhost ~]# tar cvzf work.tgz work/
work/
work/bar.txt
work/baz.txt
work/foo.txt

3. 共有用として /var/local/ の下に fuse というディレクトリを作り、/etc/fstab にマウントの設定を追加。

[root@localhost ~]# mkdir -p /var/local/fuse
[root@localhost ~]# cp /etc/fstab{,.orig}
[root@localhost ~]# echo '/root/work.tgz /var/local/fuse fuse.archivemount defaults,allow_other' >> /etc/fstab

この fstab のポイントは、ファイルシステムのタイプを「fuse.archivemount」にすることとオプションに「allow_other」を加えることの二点。

4. fstab の設定にしたがって mount してみる（'-a'オプション）

[root@localhost ~]# mount -a

5. マウントされた内容を df と ls で確認

[root@localhost ~]# df
Filesystem               1K-blocks    Used  Available Use% Mounted on
/dev/mapper/fedora-root   28244124 9058868   17743876  34% /
devtmpfs                   1015516       0    1015516   0% /dev
tmpfs                      1022324     148    1022176   1% /dev/shm
tmpfs                      1022324     964    1021360   1% /run
tmpfs                      1022324       0    1022324   0% /sys/fs/cgroup
tmpfs                      1022324    2664    1019660   1% /tmp
/dev/sda1                   487652   83857     378195  19% /boot
archivemount            1048576000       0 1048576000   0% /var/local/fuse
[root@localhost ~]# ll /var/local/fuse/work
total 0
-rw-r--r--. 0 root root 4 Nov  5 01:43 bar.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 baz.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 foo.txt

6. 一般ユーザー（ここでは u1 とする）で、マウントしたディレクトリに読み書きしてみる。

[u1@localhost ~]$ id
uid=1001(u1) gid=1001(u1) groups=1001(u1) context=unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023
[u1@localhost ~]$ cd /var/local/fuse/work
[u1@localhost work]$ echo hoge > hoge.txt
[u1@localhost work]$ ll
total 0
-rw-r--r--. 0 root root 4 Nov  5 01:43 bar.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 baz.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 foo.txt
-rw-r--r--. 0 root root 5 Nov  5 01:44 hoge.txt
[u1@localhost work]$ vi bar.txt    # ファイル内の文字列「bar」を「bar2」と書き換えるだけ
[u1@localhost work]$ ll
total 0
-rw-r--r--. 0 root root 5 Nov  5 01:44 bar.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 baz.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 foo.txt
-rw-r--r--. 0 root root 5 Nov  5 01:44 hoge.txt
[u1@localhost work]$ rm baz.txt    # ファイルを削除
[u1@localhost work]$ ll
total 0
-rw-r--r--. 0 root root 5 Nov  5 01:44 bar.txt
-rw-r--r--. 0 root root 4 Nov  5 01:43 foo.txt
-rw-r--r--. 0 root root 5 Nov  5 01:44 hoge.txt

7. アンマウントして、アーカイブの中身が変更されているか確認

[root@localhost ~]# umount /var/local/fuse
umount: /var/local/fuse: target is busy.
        (In some cases useful info about processes that use
         the device is found by lsof(8) or fuser(1))
[u1@localhost work]$ cd    # u1 の存在で umount が失敗したので cd する
[root@localhost ~]# umount /var/local/fuse
[root@localhost ~]# mv work{,.orig}    # もともとのアーカイブをリネーム
[root@localhost ~]# tar xf work.tgz    # fuse.archivemount 経由で変更したアーカイブを展開
[root@localhost ~]# diff -uwbr work.orig work    # diff をとってみる
diff -uwbr work.orig/bar.txt work/bar.txt
--- work.orig/bar.txt 2013-11-05 01:43:39.096153269 +0900
+++ work/bar.txt 2013-11-05 01:44:38.000000000 +0900
@@ -1 +1 @@
-bar
+bar2
Only in work.orig: baz.txt
Only in work: hoge.txt

差分は期待どおり。これでOK.

参考

• FUSE でいろんなファイルシステムをマウントする - いますぐ実践! Linuxシステム管理 / Vol.230
• SourceForge.net: FAQ - fuse

bashでタブの出力：echo と printf

echo

$ echo -e "foo\tbar"
foo bar

printf

$ printf "foo\tbar\n"
foo bar

ただし、環境によっては echo の '-e' オプションが使えないとの意見あり（シェルの仕様に依存する）。

参考

• text processing - Why is printf better than echo? - Unix & Linux Stack Exchange
• echo and printf behaviour

Windows + Emacs + Growl

パパッと条件反射的にやる定型作業の履歴チェックに使える。

• howm の todo とかを growl で通知(手動登録)@Windows - めもめも
• Windows で Growl 通知を行う - Qiita [キータ]

cURLの '-w' オプション

curlでボトルネック調査をする - 256bitの殺人メニュー

とても便利。

bash の brace expansion で数列生成できる

中括弧（brace）を使ったイディオム、たとえば

$ cp /foo/bar{,.orig}

はよく使っていた。でも数列まで扱えるとは知らなかった。

数列を作るときは seq コマンドを使って

seq 1 10

などと打っていた。

これも間違いではないが、中括弧を使えば seq 無しで、すなわち、

{1..10}

と書けるのだった。おそらく中括弧を使ったほうがスッキリきれいに書ける場面が多いだろう（キーボードを打つ回数だけ比較したらあまり変わらないかもしれないが。。。）

この brace expansion で数列を作る具体例のほとんどは「LinuxTips 連番ファイルをコマンド一発で作成する」に書いてあるのであまり付記することは無い。強いて挙げるならば、増分（increment）も指定できる点。以下がその例。

$ echo {1..10..2}
1 3 5 7 9
$ echo {z..a..5}
z u p k f a

参考

Bash Reference Manual: Brace Expansion

Linuxの仮想コンソール切り換え（VMware Fusionにて）

MacBook に VMware Fusion を入れ、ゲストOSに Linux を入れ、コンソールで作業している場合の話。

別のコンソールに切り替えようとすると大抵は間違ったキーを押してしまう。たとえばただ単に B や C の文字がぽつんと表示されておしまいである。これがMacでなければ Alt + F1(F2,...,F6) キーで間違うことはないのだが。。。

この環境で打つべき正しい組み合わせは次のとおり：

optionキー + fnキー + F1(F2,...,F6)

失敗の原因は「option」でなく「command」を押してしまうこと。Macのoptionキーにはよく見ると "alt" という文字も書いてあるので見れば分かるというのに。。。とはいうもののキーボードの表面などは滅多に見ないのだからしかたがない。

外付HDDにWindows 7でチェックディスク（chkdsk） --> メモリ消費すごい

システムドライブ以外のドライブに対して「不良セクターのスキャンと回復」を有効にしてエラーチェックつまり "chkdsk /r" コマンドを実行するとメモリを大量に消費する。

What we do with a bug report? - Engineering Windows 7 - Site Home - MSDN Blogs

うちの Windows7（RAM 12GB搭載）でも確かに再現。2TBの外付けハードディスクドライブに対して chkdsk /r を実行し、しばらくするとメモリ使用量が8GB近く、システム全体で10GBほどに上がった。ここまで上がるとある意味楽しい。そして一晩寝かすと途中で強制終了されていた。

しかたないのでVMに入っている Windows Server 2008 で同じ chkdsk /r を試してみたら、問題は起こらなかった。

psコマンドの結果をgrepするときのtips

こじんまりした話題だが、、、grepコマンド自身がプロセスのリストに表示されるのがわずらわしいとき、いちいち「grep -v grep」を通してた。これは正規表現を使って簡潔にできる。

tips適用前

ps aux | grep mingetty | grep -v grep

適用例1

ps aux | grep mingett[y]

適用例2

ps aux | grep [m]ingetty

昔から脈々と受け継がれているらしい。2006年にはブログに書いている人がいるから。

ちなみに自分の場合は「プロのためのLinuxシステム・10年効く技術」という本で知りました。

参考

• [shell-fu:view-22]$
• clmemo@aka: Linux でプロセスごとのメモリー使用量を調べる