SlideShare a Scribd company logo
1 of 65
Download to read offline
シェル芸初心者による
シェル芸入門
#rncc夏期講習
@icchyr
$ whoami
• @icchyr
• 某濃厚な大学のB3
• Activity
• CTF (tuat_mcc, TokyoWesterns)
• ICPC (nocow) など
Agenda
• シェル芸について
• シェルの機能を理解する
• 実用的なシェル芸
シェル芸
シェル芸を覚えるメリット
• あらゆる処理を一撃で終わらせられる
• カッコイイ
• 便利
!
• 基本的にパイプで繋ぐので超高速
• マルチプロセスの恩恵をフルに授かれる
シェル芸を覚えるデメリット
• 敬遠される
• 一般人から見るとキモい
!
• シェルが使えない環境に苛立ちを覚えるようになる
• Windowsを消したくなる衝動に駆られる
シェルの機能を理解する
• IO
• パイプ
• リダイレクト
• フィルタ処理
• 内部展開
• 制御構文
この先スライドを使いまわすので
スライドテーマがちょくちょく
変わります
IO (Input and Output)
Linuxの入出力は大きく分けて3つ
標準入力
標準出力
エラー出力
IOには番号(File Discriptor)が割り振られている
標準入力 0, 標準出力 1, エラー出力 2
普通の出力は1番
エラーメッセージは2番
IO (Input and Output)
ターミナル(端末)には識別番号がつけられている
コンソールから直接ログイン → tty
ターミナルエミュレータ   → pts (仮想tty)
tty pts
tty/1 tty/2 tty/3
tty/4 tty/5 tty/6
tty/7
pts/0 pts/1 pts/2
pts/3 pts/4 pts/5
pts/6 pts/7
接続するたびに増える
...
IO (Input and Output)
現在開いているターミナルエミュレータは

tty/7で起動したGUIから仮想的に接続しているもの
ttyを切り替えるには Ctrl + Alt + F1~7を押す (tty/1~7)
IO (Input and Output)
ターミナルに出力されているのは

自身のターミナル識別番号に出力された結果
$ ls -la
total 184
drwxr-x--x 21 root ubuntu…
drwxr-xr-x 6 root root…
….
/dev/pts/0
IO (Input and Output)
実際は出力をデバイスファイルに書き込んでいる
cat ls.bash
/dev/pts/10
/proc/self/fd/0
現在のprocess自身の

ファイルディスクリプタ0番(標準入力)
シンボリックリンク
ls -la
pts/10
シェルが書き込む
リダイレクト
シェルでは
コマンドの出力を任意のファイルに書き出す
コマンドへの入力を任意のファイルから行う
ことが可能
例
ls -l > res.txt  ls -l の結果がres.txtに書き込まれる
bash < cmd.txt cmd.txtに書かれた内容を実行
リダイレクト
ls -l > res.txt
ls -l /proc/self/fd/0
res.txt (新規作成)
リダイレクト
bash < cmd.txt
bash/proc/self/fd/0
cmd.txt
ユーザー入力
/proc/self/fd/1
リダイレクト
リダイレクトを組み合わせることもできる
bash < cmd.txt > res.txt
cmd.txtに書かれた内容をbashで実行し,

その結果をres.txtに書き出す
コマンド >> output と書くとoutputの末尾に追加する
$ echo -n “hoge” > out

$ echo -n “fuga” >> out

$ cat out
hogefuga
リダイレクト
• リダイレクト先をfile descriptor (fd)で指定できる
• grep -r / 2>/dev/null # エラー出力を無視
• grep -r / 2>&1 # エラー出力を標準出力
!
• &(fd number)でfdをファイルのように扱える
パイプ
コマンドの実行結果を次のコマンドの入力にする
例). headは標準入力の先頭10行を出力する
$ ls -la > ls.result

$ head < ls.result
ls.resultというファイルを通じて実行結果を見る
!
$ cat ls.result | head
headに対する入力を”|”(パイプ)を通じて行う
“|” - JIS配列ならBackSpaceの左にあるキー
パイプ
内部的に何が起こっているか
ptscat ls.result
cat ls.result の結果
パイプ
内部的に何が起こっているか
!
!
$ cat ls.result > tmp

$ head < tmp
ptscat ls.result | head head
cat ls.result
head < {cat ls.result の結果}
パイプ
cat ls.result と ls -la の出力結果は同じ
!
!
それぞれのコマンドは

完全に独立した動き
ptsls -la | head head
ls -la の実行結果 入力の先頭10行
内部展開
• シェルではコマンドの実行結果をそのまま展開して
用いることができる
• `command` (バッククオートで囲む)
• $(command) (先頭に$をつけたカッコで囲む)
内部展開
• 内部では別プロセスが立ち上がり,その結果が展開
される (後述するxargsで似たような処理が可能)
file `which ls` which ls
file /bin/ls /bin/ls
/bin/ls: ELF 64-bit LSB Executable…
フィルタ処理
• 引数に与えられたファイルまたは

標準入力に対して特定のテキスト処理を行う
• grep, cut, sed, awk, sort, uniq
!
• 以降では,cmd [input] と表記した場合

[input]にはファイル名が入るが,省略した場合は
標準入力を使用する
grep
• grep expr [input]
• exprにマッチする行を出力する
• grep -v expr [input]
• exprにマッチしない行を出力する
• grep -r expr /some/path
• /some/path配下からexprにマッチするファイル
およびその箇所を出力する
grep
• 演習1: /home以下から現在ログインしているユー
ザーの名前を含むファイルを全て列挙して下さい
• ただしバイナリファイルのマッチ結果および

エラー出力(permission deniedなど)は出力しては
なりません.
• また,どの環境で実行しても同じ処理ができるよう
にして下さい. (bashで)
grep
• 演習1 解答:
• grep -r `whoami` /home ¦ grep -v matches
2>/dev/null
!
• grep -r と grep -v はよく使う
• エラーが多すぎる場合は/dev/nullに投げて無視
cut
• cut -d <delim> -f num [input]
• <delim>を区切り文字として,num番目の列を

出力する
• numには 1,3-5 (1と3-5行目)のように範囲を指
定できる
cut
• 例)
• cat /etc/passwd ¦ cut -d : -f1,6
• 全ユーザー名とログインシェルを列挙
sed
• sed expr [input]
• 入力を行ごとにexprに従って処理する
• expr
• s/[pat1]/[pat2]/g # pat1をpat2に置換する
• patに / が含まれる場合はエスケープが必要
• 区切り文字は別のものでも良い (@,#,%など)
sed
• 例)
• cat /etc/passwd ¦ sed s/bash/zsh/g
• 全ユーザーのログインシェルをbashからzshに変更
• 結果は出力されるだけ
• 反映させたい場合は-iオプションとファイルを指定
• 対象ファイルへのwrite権限が必要
awk
• awk expr [input]
• テキスト処理のために作られたスクリプト言語
• 行単位で処理を行う
• デフォルトで空白をいい感じに扱ってくれる
• 空白とタブが混じっていても大丈夫
• cutで崩れるような場合に便利
awk
• 処理の流れ
• BEGIN { statement } # 開始処理

(pattern) { statement }

…

END { statement } # 終了処理
• BEGINとENDは無くてもよい
• patternにマッチするとその中身が実行される
awk
• 例) /etc/passwdでbashとnologinの数を計算
• /bash/ { ++bash }
• /nologin/ { ++nologin }
• END { print bash: bash, nologin: nologin}
• 宣言されていない変数は自動的に初期化される
• awk /bash/{++bash} /nologin/{…
awk
• 標準でさまざまな変数が用意されている
• NR => 処理中の行番号 (1 index)
• $n => 分割後のn番目の要素 ($0は行全体)
• ps aux ¦ awk NR>1 {print $1}
• 現在のプロセスIDを全列挙
sort
• sort [input]
• 入力をソートする (ソートキーを変更可能)
• -t <delim> # 区切り文字をdelimにする
• -k <key1> # key1から行末をソートキーにする
• -b # 行頭のスペースを無視
• -r # 降順
• -i # ignore case
uniq
• uniq [input]
• 重複する行を消して出力
• -c # 消した行数をカウントする
!
• sort と組み合わせて使うことが多い
フィルタ処理
• 演習2: rootが動かしているプロセスのうち,メモ
リ使用率が高いものから順番にPIDを10個出力して
下さい
• まずはrootが動かしているプロセスを列挙
• メモリ使用率でソートするためには?
• 先頭N行出力するコマンドはhead -n N
フィルタ処理
• 演習2 解答:
• ps aux ¦ grep ^root ¦ awk {print $4,$2} ¦
sort -r ¦ head ¦ cut -d -f2
!
• awkで出力順序を変更してソートしやすくする
xargs
• xargs cmd
• 引数を標準入力から受け取りコマンドを実行
• 標準入力が複数行ある場合

一行に連結して実行する
• cat filelist.txt ¦ xargs rm

# => rm file1 file2 file3 file4…

# filelist.txtに含まれるファイルを消去する
find
• find <path> <expr>
• pathからexprにしたがって検索を実行する
• expr (よく使うもの)
• -name <filename>
• filenameに一致したファイルのパスを出力する
find
• 演習3: /Users以下に存在する.DS_Storeを全て削
除して下さい
!
• 憎き.DS_Storeを殺せ
find
• 演習3 解答:
• find /Users -name .DS_Store ¦ xargs rm -f
!
• find /Users -name .DS_Store
• /Users以下に含まれる.DS_Storeを検索
• xargs rm -f
• rm -f [.DS_Store1] [.DS_Store2]…
☕ 一旦休憩 ☕
💀 危険シェル芸 💀
危険シェル芸
• マウスも使わず,ソースコードも残さず,

GUIツールを立ち上げる間もなく,

あらゆる破壊・迷惑・自滅行為を

CLI端末へのコマンド入力一撃で終わらすこと.
!
• 引用元: http://blog.ueda.asia/?page_id=3752
:(){: ¦ : &};:
:(){: ¦ :&};:
• :()
• : という関数を定義
• {: ¦ :&}; :
• :を:にパイプで繋ぐのをバックグラウンドで実行
!
• 無限にプロセスが増殖する
:(){: ¦ :&};:
• 言わずと知れたフォーク爆弾
!
• Dockerからやるとホストが死ぬらしい
!
• 要は実行するな
ps aux ¦ grep bash ¦ grep
-v $$ ¦ awk {print $2} ¦
xargs kill -9
ps aux ¦ grep bash ¦ grep -v $$
¦ awk {print $2} ¦ xargs kill -9
• ps aux
• プロセスを全列挙
• ¦ grep bash
• bashプロセスを抽出
• ¦ grep -v $$
• $$ (自分自身)を除外する
ps aux ¦ grep bash ¦ grep -v $$
¦ awk {print $2} ¦ xargs kill -9
• ¦ awk {print $2}
• PIDを列挙し
• ¦ xargs kill -9
• kill する
!
• つまり自分以外のbashを全員殺す
超迷惑なのでやめましょう
☕ 休憩おわり ☕
制御構文
• シェル(bash)では多くの制御構文がサポートされて
いる
• よく使うもの
• for, while read
• {} (ブロック)
for
• 言わずと知れたfor文
• 少し癖がある
!
• $ for((i=0;i<10;i++))

> do

> echo $i

> done
for
• bashならば0 9までの数字が一行ずつ出力される
• zshならparse error
!
• $ for i in `seq 0 9`

> do

> echo $i

> done
for
• seq start end
• start から endまでの数字を順に出力
• seq start d end
• start から endまでの数字をdおきに出力
!
• for((i=0;i<10;i+=2)) ==> for i in `seq 0 2 9`
while
• while cond
• condがtrueの間続く処理をループする
!
• $ while true

> do

> echo hoge

> done
while
• while read line
• 標準入力から一行ずつ$lineに読み込む
• $lineを参照することで行単位の処理が可能
• $ cat filelist.txt ¦ while read line

> do

> rm $line

> done

# filelist.txtに書かれているファイルを削除
{} (ブロック)
• 複数コマンドの処理をひとまとめにしたもの
• パイプで繋げることができる
• 制御構文を使わなくとも複数行の処理を行える
• 内部で変数に一旦保存したい時とか便利
実用的なシェル芸
実用的なシェル芸
• ログ解析
• access.logの中身を解析してみる
まとめ
• 手元で色々できて便利

More Related Content

What's hot

プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
Takuya Akiba
 
第三回ありえる社内勉強会 「いわががのLombok」
第三回ありえる社内勉強会 「いわががのLombok」第三回ありえる社内勉強会 「いわががのLombok」
第三回ありえる社内勉強会 「いわががのLombok」
yoshiaki iwanaga
 
オブジェクト指向できていますか?
オブジェクト指向できていますか?オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
 

What's hot (20)

明日使えないすごいビット演算
明日使えないすごいビット演算明日使えないすごいビット演算
明日使えないすごいビット演算
 
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
 
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
 
C++ マルチスレッドプログラミング
C++ マルチスレッドプログラミングC++ マルチスレッドプログラミング
C++ マルチスレッドプログラミング
 
動的計画法を極める!
動的計画法を極める!動的計画法を極める!
動的計画法を極める!
 
非同期処理の基礎
非同期処理の基礎非同期処理の基礎
非同期処理の基礎
 
暗号技術の実装と数学
暗号技術の実装と数学暗号技術の実装と数学
暗号技術の実装と数学
 
RSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjpRSA暗号運用でやってはいけない n のこと #ssmjp
RSA暗号運用でやってはいけない n のこと #ssmjp
 
第三回ありえる社内勉強会 「いわががのLombok」
第三回ありえる社内勉強会 「いわががのLombok」第三回ありえる社内勉強会 「いわががのLombok」
第三回ありえる社内勉強会 「いわががのLombok」
 
オブジェクト指向できていますか?
オブジェクト指向できていますか?オブジェクト指向できていますか?
オブジェクト指向できていますか?
 
CuPy解説
CuPy解説CuPy解説
CuPy解説
 
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
 
暗号文のままで計算しよう - 準同型暗号入門 -
暗号文のままで計算しよう - 準同型暗号入門 -暗号文のままで計算しよう - 準同型暗号入門 -
暗号文のままで計算しよう - 準同型暗号入門 -
 
目grep入門 +解説
目grep入門 +解説目grep入門 +解説
目grep入門 +解説
 
技術者が知るべき Gröbner 基底
技術者が知るべき Gröbner 基底技術者が知るべき Gröbner 基底
技術者が知るべき Gröbner 基底
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
 
Union find(素集合データ構造)
Union find(素集合データ構造)Union find(素集合データ構造)
Union find(素集合データ構造)
 
最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く最小カットを使って「燃やす埋める問題」を解く
最小カットを使って「燃やす埋める問題」を解く
 
図と実装で理解する『木構造入門』
図と実装で理解する『木構造入門』図と実装で理解する『木構造入門』
図と実装で理解する『木構造入門』
 
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
深層学習フレームワークにおけるIntel CPU/富岳向け最適化法
 

Similar to シェル芸初心者によるシェル芸入門

シェル芸初心者によるシェル芸入門 (修正版)
シェル芸初心者によるシェル芸入門 (修正版)シェル芸初心者によるシェル芸入門 (修正版)
シェル芸初心者によるシェル芸入門 (修正版)
icchy
 
Unix 基礎
Unix 基礎Unix 基礎
Unix 基礎
Sho A
 
Firefoxの開発プロセス
Firefoxの開発プロセスFirefoxの開発プロセス
Firefoxの開発プロセス
Makoto Kato
 

Similar to シェル芸初心者によるシェル芸入門 (20)

シェル芸初心者によるシェル芸入門 (修正版)
シェル芸初心者によるシェル芸入門 (修正版)シェル芸初心者によるシェル芸入門 (修正版)
シェル芸初心者によるシェル芸入門 (修正版)
 
Cli mini Hack!#1 ~Terminalとの親睦を深めよう~
Cli mini Hack!#1 ~Terminalとの親睦を深めよう~Cli mini Hack!#1 ~Terminalとの親睦を深めよう~
Cli mini Hack!#1 ~Terminalとの親睦を深めよう~
 
入門 シェル実装
入門 シェル実装入門 シェル実装
入門 シェル実装
 
ROP Illmatic: Exploring Universal ROP on glibc x86-64 (ja)
ROP Illmatic: Exploring Universal ROP on glibc x86-64 (ja)ROP Illmatic: Exploring Universal ROP on glibc x86-64 (ja)
ROP Illmatic: Exploring Universal ROP on glibc x86-64 (ja)
 
PostgreSQL運用管理入門
PostgreSQL運用管理入門PostgreSQL運用管理入門
PostgreSQL運用管理入門
 
使い捨て python コードの書き方
使い捨て python コードの書き方使い捨て python コードの書き方
使い捨て python コードの書き方
 
【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作
【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作
【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作
 
はじめてのDockerパーフェクトガイド(2017年版)
はじめてのDockerパーフェクトガイド(2017年版)はじめてのDockerパーフェクトガイド(2017年版)
はじめてのDockerパーフェクトガイド(2017年版)
 
20170124 linux basic_1
20170124 linux basic_120170124 linux basic_1
20170124 linux basic_1
 
Unix 基礎
Unix 基礎Unix 基礎
Unix 基礎
 
Programming camp 2008, Codereading
Programming camp 2008, CodereadingProgramming camp 2008, Codereading
Programming camp 2008, Codereading
 
ng-japan 2015 TypeScript+AngularJS 1.3
ng-japan 2015 TypeScript+AngularJS 1.3ng-japan 2015 TypeScript+AngularJS 1.3
ng-japan 2015 TypeScript+AngularJS 1.3
 
Haikara
HaikaraHaikara
Haikara
 
Objc lambda
Objc lambdaObjc lambda
Objc lambda
 
Firefoxの開発プロセス
Firefoxの開発プロセスFirefoxの開発プロセス
Firefoxの開発プロセス
 
Unix
UnixUnix
Unix
 
仕事で使えるシェルスクリプト
仕事で使えるシェルスクリプト仕事で使えるシェルスクリプト
仕事で使えるシェルスクリプト
 
【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作
【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作
【アシアル塾】Linux超入門編・第一回はじめてのターミナル(黒い画面)操作
 
Functions
FunctionsFunctions
Functions
 
第一回コンテナ情報交換会@関西
第一回コンテナ情報交換会@関西第一回コンテナ情報交換会@関西
第一回コンテナ情報交換会@関西
 

シェル芸初心者によるシェル芸入門