#rncc夏期講習

1. シェル芸初心者による
シェル芸入門 (修正版)
#rncc夏期講習
@icchyr

2. $ whoami
• @icchyr
• 某濃厚な大学のB3
• Activity
• CTF (tuat_mcc, TokyoWesterns)
• ICPC (nocow) など

3. Agenda
• シェル芸について
• シェルの機能を理解する
• 実用的なシェル芸

4. シェル芸

5. シェル芸を覚えるメリット
• あらゆる処理を一撃で終わらせられる
• カッコイイ
• 便利
!
• 基本的にパイプで繋ぐので超高速
• マルチプロセスの恩恵をフルに授かれる

6. シェル芸を覚えるデメリット
• 敬遠される
• 一般人から見るとキモい
!
• シェルが使えない環境に苛立ちを覚えるようになる
• Windowsを消したくなる衝動に駆られる

7. シェルの機能を理解する
• IO
• パイプ
• リダイレクト
• フィルタ処理
• 内部展開
• 制御構文

8. この先スライドを使いまわすので
スライドテーマがちょくちょく
変わります

9. IO (Input and Output)
Linuxの入出力は大きく分けて3つ
標準入力
標準出力
エラー出力
IOには番号(File Discriptor)が割り振られている
標準入力 0, 標準出力 1, エラー出力 2
普通の出力は1番
エラーメッセージは2番

10. IO (Input and Output)
ターミナル(端末)には識別番号がつけられている
コンソールから直接ログイン → tty
ターミナルエミュレータ → pts (仮想tty)
tty pts
tty/1 tty/2 tty/3
tty/4 tty/5 tty/6
tty/7
pts/0 pts/1 pts/2
pts/3 pts/4 pts/5
pts/6 pts/7
接続するたびに増える
．．．

11. IO (Input and Output)
現在開いているターミナルエミュレータは
tty/7で起動したGUIから仮想的に接続しているもの
ttyを切り替えるには Ctrl + Alt + F1~7を押す (tty/1~7)

12. IO (Input and Output)
ターミナルに出力されているのは
自身のターミナル識別番号に出力された結果
$ ls -la
total 184
drwxr-x--x 21 root ubuntu…
drwxr-xr-x 6 root root…
….
/dev/pts/0

13. IO (Input and Output)
実際は出力をデバイスファイルに書き込んでいる
cat ls.bash
/dev/pts/10
/proc/self/fd/1
現在のprocess自身の
ファイルディスクリプタ1番(標準出力)
シンボリックリンク
ls -la
pts/10
シェルが書き込む /dev/stdout

14. リダイレクト
シェルでは
コマンドの出力を任意のファイルに書き出す
コマンドへの入力を任意のファイルから行う
ことが可能
例
ls -l > res.txt ls -l の結果がres.txtに書き込まれる
bash < cmd.txt cmd.txtに書かれた内容を実行

15. リダイレクト
ls -l > res.txt
ls -l /proc/self/fd/1
res.txt (新規作成)

16. リダイレクト
bash < cmd.txt
bash/proc/self/fd/0
cmd.txt
ユーザー入力
/proc/self/fd/1

17. リダイレクト
リダイレクトを組み合わせることもできる
bash < cmd.txt > res.txt
cmd.txtに書かれた内容をbashで実行し，
その結果をres.txtに書き出す
コマンド >> output と書くとoutputの末尾に追加する
$ echo -n “hoge” > out
$ echo -n “fuga” >> out
$ cat out
hogefuga

18. リダイレクト
• リダイレクト先をfile descriptor (fd)で指定できる
• grep -r / 2>/dev/null # エラー出力を無視
• grep -r / 2>&1 # エラー出力を標準出力
!
• &(fd number)でfdをファイルのように扱える

19. パイプ
コマンドの実行結果を次のコマンドの入力にする
例). headは標準入力の先頭10行を出力する
$ ls -la > ls.result
$ head < ls.result
ls.resultというファイルを通じて実行結果を見る
!
$ cat ls.result | head
headに対する入力を”|”(パイプ)を通じて行う
“|” - JIS配列ならBackSpaceの左にあるキー

20. パイプ
内部的に何が起こっているか
ptscat ls.result
cat ls.result の結果

21. パイプ
内部的に何が起こっているか
!
!
$ cat ls.result > tmp
$ head < tmp
ptscat ls.result | head head
cat ls.result
head < {cat ls.result の結果}

22. パイプ
cat ls.result と ls -la の出力結果は同じ
!
!
それぞれのコマンドは
完全に独立した動き
ptsls -la | head head
ls -la の実行結果 入力の先頭10行

23. 内部展開
• シェルではコマンドの実行結果をそのまま展開して
用いることができる
• `command` (バッククオートで囲む)
• $(command) (先頭に$をつけたカッコで囲む)

24. 内部展開
• 内部では別プロセスが立ち上がり，その結果が展開
される (後述するxargsで似たような処理が可能)
file `which ls` which ls
file /bin/ls /bin/ls
/bin/ls: ELF 64-bit LSB Executable…

25. フィルタ処理
• 引数に与えられたファイルまたは
標準入力に対して特定のテキスト処理を行う
• grep, cut, sed, awk, sort, uniq
!
• 以降では，cmd [input] と表記した場合
[input]にはファイル名が入るが，省略した場合は
標準入力を使用する

26. grep
• grep expr [input]
• exprにマッチする行を出力する
• grep -v expr [input]
• exprにマッチしない行を出力する
• grep -r expr /some/path
• /some/path配下からexprにマッチするファイル
およびその箇所を出力する

27. grep
• 演習1: /home以下から現在ログインしているユー
ザーの名前を含むファイルを全て列挙して下さい
• ただしバイナリファイルのマッチ結果および
エラー出力(permission deniedなど)は出力しては
なりません．
• また，どの環境で実行しても同じ処理ができるよう
にして下さい． (bashで)

28. grep
• 演習1 解答:
• grep -r `whoami` /home ¦ grep -v matches
2>/dev/null
!
• grep -r と grep -v はよく使う
• エラーが多すぎる場合は/dev/nullに投げて無視

29. cut
• cut -d <delim> -f num [input]
• <delim>を区切り文字として，num番目の列を
出力する
• numには 1,3-5 (1と3-5行目)のように範囲を指
定できる

30. cut
• 例)
• cat /etc/passwd ¦ cut -d : -f1,6
• 全ユーザー名とログインシェルを列挙

31. sed
• sed expr [input]
• 入力を行ごとにexprに従って処理する
• expr
• s/[pat1]/[pat2]/g # pat1をpat2に置換する
• patに / が含まれる場合はエスケープが必要
• 区切り文字は別のものでも良い (@,#,%など)

32. sed
• 例)
• cat /etc/passwd ¦ sed s/bash/zsh/g
• 全ユーザーのログインシェルをbashからzshに変更
• 結果は出力されるだけ
• 反映させたい場合は-iオプションとファイルを指定
• 対象ファイルへのwrite権限が必要

33. awk
• awk expr [input]
• テキスト処理のために作られたスクリプト言語
• 行単位で処理を行う
• デフォルトで空白をいい感じに扱ってくれる
• 空白とタブが混じっていても大丈夫
• cutで崩れるような場合に便利

34. awk
• 処理の流れ
• BEGIN { statement } # 開始処理
(pattern) { statement }
…
END { statement } # 終了処理
• BEGINとENDは無くてもよい
• patternにマッチするとその中身が実行される

35. awk
• 例) /etc/passwdでbashとnologinの数を計算
• /bash/ { ++bash }
• /nologin/ { ++nologin }
• END { print bash: bash, nologin: nologin}
• 宣言されていない変数は自動的に初期化される
• awk /bash/{++bash} /nologin/{…

36. awk
• 標準でさまざまな変数が用意されている
• NR => 処理中の行番号 (1 index)
• $n => 分割後のn番目の要素 ($0は行全体)
• ps aux ¦ awk NR>1 {print $1}
• 現在のプロセスIDを全列挙

37. sort
• sort [input]
• 入力をソートする (ソートキーを変更可能)
• -t <delim> # 区切り文字をdelimにする
• -k <key1> # key1から行末をソートキーにする
• -b # 行頭のスペースを無視
• -r # 降順
• -i # ignore case

38. uniq
• uniq [input]
• 重複する行を消して出力
• -c # 消した行数をカウントする
!
• sort と組み合わせて使うことが多い

39. フィルタ処理
• 演習2: rootが動かしているプロセスのうち，メモ
リ使用率が高いものから順番にPIDを10個出力して
下さい
• まずはrootが動かしているプロセスを列挙
• メモリ使用率でソートするためには?
• 先頭N行出力するコマンドはhead -n N

40. フィルタ処理
• 演習2 解答:
• ps aux ¦ grep ^root ¦ awk {print $4,$2} ¦
sort -r ¦ head ¦ cut -d -f2
!
• awkで出力順序を変更してソートしやすくする

41. xargs
• xargs cmd
• 引数を標準入力から受け取りコマンドを実行
• 標準入力が複数行ある場合
一行に連結して実行する
• cat filelist.txt ¦ xargs rm
# => rm file1 file2 file3 file4…
# filelist.txtに含まれるファイルを消去する

42. find
• find <path> <expr>
• pathからexprにしたがって検索を実行する
• expr (よく使うもの)
• -name <filename>
• filenameに一致したファイルのパスを出力する

43. find
• 演習3: /Users以下に存在する.DS_Storeを全て削
除して下さい
!
• 憎き.DS_Storeを殺せ

44. find
• 演習3 解答:
• find /Users -name .DS_Store ¦ xargs rm -f
!
• find /Users -name .DS_Store
• /Users以下に含まれる.DS_Storeを検索
• xargs rm -f
• rm -f [.DS_Store1] [.DS_Store2]…

45. ☕ 一旦休憩 ☕

46. 💀 危険シェル芸 💀

47. 危険シェル芸
• マウスも使わず，ソースコードも残さず，
GUIツールを立ち上げる間もなく，
あらゆる破壊・迷惑・自滅行為を
CLI端末へのコマンド入力一撃で終わらすこと．
!
• 引用元: http://blog.ueda.asia/?page_id=3752

48. :(){: ¦ : &};:

49. :(){: ¦ :&};:
• :()
• : という関数を定義
• {: ¦ :&}; :
• :を:にパイプで繋ぐのをバックグラウンドで実行
!
• 無限にプロセスが増殖する

50. :(){: ¦ :&};:
• 言わずと知れたフォーク爆弾
!
• Dockerからやるとホストが死ぬらしい
!
• 要は実行するな

51. ps aux ¦ grep bash ¦ grep
-v $$ ¦ awk {print $2} ¦
xargs kill -9

52. ps aux ¦ grep bash ¦ grep -v $$
¦ awk {print $2} ¦ xargs kill -9
• ps aux
• プロセスを全列挙
• ¦ grep bash
• bashプロセスを抽出
• ¦ grep -v $$
• $$ (自分自身)を除外する

53. ps aux ¦ grep bash ¦ grep -v $$
¦ awk {print $2} ¦ xargs kill -9
• ¦ awk {print $2}
• PIDを列挙し
• ¦ xargs kill -9
• kill する
!
• つまり自分以外のbashを全員殺す

54. 超迷惑なのでやめましょう

55. ☕ 休憩おわり ☕

56. 制御構文
• シェル(bash)では多くの制御構文がサポートされて
いる
• よく使うもの
• for, while read
• {} (ブロック)

57. for
• 言わずと知れたfor文
• 少し癖がある
!
• $ for((i=0;i<10;i++))
> do
> echo $i
> done

58. for
• bashならば0 9までの数字が一行ずつ出力される
• for((i=0…の書き方は zshならparse error
(下の例ならzshでもOK)
!
• $ for i in `seq 0 9`
> do
> echo $i
> done

59. for
• seq start end
• start から endまでの数字を順に出力
• seq start d end
• start から endまでの数字をdおきに出力
!
• for((i=0;i<10;i+=2)) ==> for i in `seq 0 2 9`

60. while
• while cond
• condがtrueの間続く処理をループする
!
• $ while true
> do
> echo hoge
> done

61. while
• while read line
• 標準入力から一行ずつ$lineに読み込む
• $lineを参照することで行単位の処理が可能
• $ cat filelist.txt ¦ while read line
> do
> rm $line
> done
# filelist.txtに書かれているファイルを削除

62. {} (ブロック)
• 複数コマンドの処理をひとまとめにしたもの
• パイプで繋げることができる
• 制御構文を使わなくとも複数行の処理を行える
• 内部で変数に一旦保存したい時とか便利

63. 実用的なシェル芸

64. 実用的なシェル芸
• ログ解析
• access.logとauth.logの中身を解析してみる

65. access.log
• Apacheのログ
• /var/log/apache/以下にある
• 一定時間経つとgzipで圧縮して保存
• 最新のものは*.log

66. access.log
• gzipで圧縮されているものを読むには
• gunzip -c [files]
• zcat [files]
• zcatの方がタイプ数が少なくコマンド名が直感的
(個人の主観)

67. access.log
• gzipで圧縮されているものを読むには
• gunzip -c [files]
• zcat [files]
• zcatの方がタイプ数が少なくコマンド名が直感的
(個人の主観)

68. access.log
• だが実際にはplain textとgzip圧縮されたテキスト
両方を見たい
• zcat -f (̶force) オプションをつけると普通の
テキストデータも表示してくれる
!
• grep前提ならばzgrepでもよい(こちらはオプショ
ン無しでも両方のデータをgrepしてくれる)

69. access.log
• zcat -f /var/log/apache/*access*
• 全てのaccess.logが得られる
• ¦ grep ()
• ShellShockのアレ
• ¦ awk {print $1}
• IPを表示

70. access.log
• ¦ sort
• ソートする
• ¦ uniq -c
• 重複するIPをカウント
!
• 怪しげなリクエストを送ってきたIPの統計が出る

71. auth.log
• ログインなど資格情報の使用記録
• /var/log/auth.log
• アーカイブはauth.log.<number>[.gz] の形
!
• 不正ログインしようとしたIPとそのユーザー名につ
いて調べてみる

72. auth.log
• zcat -f /var/log/auth.log*
• アーカイブを含む全てのauth.logを出力
• ¦ grep sshd
• sshのイベントを抽出
• ¦ grep Invalid
• Invalid user <username> from <IP address>
のログを抽出

73. auth.log
• ¦ awk {print $10,$8}
• 8番目(username)と10番目(IP address)を抽出
あとでソートしやすくするために順番を逆にする
• ¦ sort
• ソート
• ¦ uniq -c
• 重複するものをカウント (IP別のユーザー名)

74. auth.log
• ¦ sort -g -r # -g: 数字をいいカンジにソート
• カウントの回数について降順にソート
!
• awkで抽出する列を
• 8のみにするとユーザー名
• 10のみにするとIP別の統計が取れる

75. auth.log
• 結果
• adminが超人気
• 次点でtest,apacheがいい勝負
!
• 実在しそうなユーザーを狙ってきてる
• 他に代表的なものとしては
vagrant,pi,oracle,ubuntuなど

76. 補足

77. auth.log
• 単にカウントするだけでは試行回数が多ければ多い
ほど上位に来てしまう
• username別に何種類のIPから試行されたかカウン
トする方が現実的
!
• 先にusernameでソートをかけ，IPの重複を排除し
てからもう一度ソートをかける

78. auth.log
• zcat -f auth.log* ¦ grep sshd ¦ grep Invalid
• ¦ awk {print $8,$10} ¦ sort ¦ uniq
• username,IPの順にソートをして同一IPを排除する
• ¦ cut -d -f1 ¦ sort
• もう一度usernameでソートをかける
• ¦ uniq -c ¦ sort -g -r
• username毎にIPの種類数でカウントされる

79. auth.log
• 結果
• やはりadminが大人気
• vagrantが割と狙われている
• test,userなどの適当な名前も割とある
• xbmc,ftpなどサービス用のアカウント
を狙っているのも多い

80. まとめ
• 手元で色々できて便利