Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (16)
Recently uploaded
Recently uploaded (10)
はじめての正規表現（一般公開版）
- 2. 本テキストの対象者 • 正規表現ってなに？とのピュアな人 • テキストエディタで検索ウィンドウを開いたと きに「正規表現」にチェックが入っていない人 • サクラエディタ、秀丸エディタなどのWindows のテキストエディタを扱う人（※） ※テキスト内でWindowsに対応したテキストエディタを用います （正規表現とWindowsは関係ありません） 2
- 3. テキストに入る前に…… • 本テキストはWindows7マシン＋iCloud keynote(beta) で作成しています • テンプレートは「Azusa Colors」を利用しています。あ りがとうございます（http://memo.sanographix.net/ post/113681262780） • 本テキストが完成する30分前に、iCloudが変な同期を 行い、keyファイルが壊れました（復元不可）。……こ れは思い出して書き直したのだよ 3
- 4. 正規表現ってなに？ • 正規表現は、強力で柔軟、かつ効率的なテキ スト処理の を握る存在だ。 4 • さまざまな用途に対応できる能 力と表現力を持った一般的なパ ターン言語が発達してきた。 （略）このパターン言語とパ ターン自体を正規表現と呼ぶ。 オライリー・ジャパン 詳説 正規表現 第3版 より抜粋
- 9. 正規表現ってなに？ Part2 • 長い、長いけどひとまず整理をすると…… 1. 80万行くらいのCSVファイルの 2. 住所項目に郵便番号が設定されていないレ コードを探す 3. 精度は高いほうが良い 4. 早めに欲しい 9
- 11. 正規表現ってなに？ Part2 • さあ、こんな時はどうやって探そう？ 11 1. CSVならExcelが得意！Excelに貼り付けてどうにかしよ う → 80万行のファイルを！やりたくない 2. 簡単なスクリプトでも作るか…… → 精度を求めているので、バグは厳禁（自信があるならどうぞ） 3. 俺の目に任せろ（目視で件数を数える） → その根性は別のタイミングにとっておいて下さい
- 12. 正規表現ってなに？ Part2 • 冷静になってレコードを見てみると、法則が あります 12 1. CSV（カンマ区切り）との法則 2. 郵便番号（3桁数字＋ハイフン＋4桁数 字）との法則 • このようにある程度の法則がある場合、「正規表 現」が有用です
- 18. 正規表現ってなに？ Part2 • 黄色文字は位置であったり、文字であったり、その繰り返し等を定 義したりする文字 「メタ文字」と呼びます • 紫色文字は文字そのもの 「リテラル文字」と呼びます • 正規表現は、メタ文字とリテラル文字の組み合わせで強力な文 字列パターンを表現することが可能 18 (?<=^([^,]*,){3})(?!d{3}-d{4}[^d])
- 19. 正規表現ってなに？ Part2 • 正規表現はメタ文字の使いっぷりですべてが 決まります（良くも悪くも） • むしろメタ文字を制するもの正規表現を制す と言って過言ではない。メタ文字の仕様（役 割）を理解しよう • 次のページから基本的な正規表現を学んでい きましょう！ 19
- 21. 位置を表現：^（ハット記号） • 先頭に文字を入力してコマンドを作る 21 WS000017.JPG WS000016.JPG WS000015.JPG WS000014.JPG … del WS000017.JPG del WS000016.JPG del WS000015.JPG del WS000014.JPG … 検索 ^ 置換 del△
- 24. 位置を表現：$（ドル記号） • （こんな使い方はしないと思いますが）末尾に文字列を追加する 24 ブラックニッカスペシャル ブラックニッカ ８年 ブラックニッカ クリア フロム・ザ・バレル スーパーニッカ 鶴 １７年 オールモルト 検索 $ 置換 を購入する ブラックニッカスペシャルを購入する ブラックニッカ ８年を購入する ブラックニッカ クリアを購入する フロム・ザ・バレルを購入する スーパーニッカを購入する 鶴 １７年を購入する オールモルトを購入する
- 26. 位置を表現：^ $ • ハット記号とドル記号は組み合わせで絶大な パワーを発揮します。例えばファイル名が 「suwork」であること正規表現で調べようと すると…… 26 検索文字 判定結果 理由 suwork sssuworkkkで検索できてしまう ^suwork suworkkkで検索できてしまう suwork$ sssuworkで検索できてしまう ^suwork$ ○ 先頭がsでuworと続き、末尾がkであ ることを保証
- 29. 文字クラス：[]（ブラケット） • ブラケットは[]の中に含めた文字のいずれかと一致す るメタ文字です • ハイフン（-）を使うことで文字の範囲を表現すること が可能です 29 検索文字 マッチする文字 [a-z] abcdefghijklmnopqrstuvwxyz のいずれか [A-Z] ABCDEFGHIJKLMNOPQRSTUVWXYZ のいずれか [0-9] 0123456789 のいずれか [a-zA-Z0-9] abcdefghijklmnopqrstuvwxyz ABCDEFGHIJKLMNOPQRSTUVWXYZ 0123456789 のいずれか
- 33. 文字クラス：[^]（否定のブラケット） • 否定のブラケットは[^]の中に含めた文字のいず れかと一致しない文字を表現するメタ文字です • 否定を意味する「^」は必ず先頭に記述する必 要があります（2文字以降に記述した場合、通 常の文字クラスになります） • ハイフン（-）を使うことで文字の範囲を表現す ることが可能です（ブラケットと同じ） 33
- 34. 文字クラス：[^]（否定のブラケット） • 先頭が数字でない行を特定する 34 02:37:34.940 [main] (Pleiades) Pleiad 02:37:34.940 [main] (Pleiades) Eclips 02:37:35.247 [main] (PropertySet) sto org.osgi.framework.BundleException: バ at org.eclipse.osgi.framework. at org.eclipse.osgi.framework. 02:37:35.248 [main] (LauncherTransfor 02:37:34.940 [main] (Pleiades) Pleiad 02:37:34.940 [main] (Pleiades) Eclips 02:37:35.247 [main] (PropertySet) sto org.osgi.framework.BundleException: バ at org.eclipse.osgi.framework. at org.eclipse.osgi.framework. 02:37:35.248 [main] (LauncherTransfor 検索 ^[^0-9]
- 36. エスケープ文字 • 特殊な文字を表現するエスケープ文字があります 36 メタ文字 意味 . ドットそのもの。量指定子（後述）が存在するため r キャリッジリターン（CR）。Mac OSの改行コード n ラインフィード（LF）。UNIXの改行コード rn CR+LF。Windowsの改行コード（rとnを組み合わせただけ） t タブ文字 d [0-9] D [^0-9] s 空白、タブ文字、改行 S 空白、タブ文字、改行以外 i [A-Za-z_] c [A-Za-z_0-9]
- 38. 量指定子 • 付加することで文字に対して「反復機能」を得ることが可能です 38 量指定子 意味 ? ひとつ前の文字の存在を1回のみ許容する → 任意の1個（0または1） * ひとつ前の文字の存在を0回以上、無限に許容する → 任意の0個以上（無限） + ひとつ前の文字の存在を1回以上、無限に許容する → 任意の1個以上（無限） {N}、{f,t} 数字一つを指定した場合、一つ文字の存在をN回のみ許容す る ひとつ前の文字の存在をf回以上、t回まで許容する →任意のf個以上（t個まで）
- 39. 量指定子：?（疑問符） • 存在が不定な文字を考慮したマッチング（某DBのツールは、 行が選択できない場合、selectedの後ろに「.」が付かない） 39 21 rows selected. no rows selected 37 rows selected. no rows selected 64 rows selected. 60 rows selected. 15 rows selected. 21 rows selected. no rows selected 37 rows selected. no rows selected 64 rows selected. 60 rows selected. 15 rows selected. 検索 selected.?$
- 44. または：|（パイプ） • パイプ記号はパイプ前後の文字列にマッチし ます • プログラムのORと同じような動きと考えて問 題ありません • パイプ記号はメモリが許す限りいくらでも連 結できます ああああ|いいいい|うううう|ええええ 44
- 45. 名前,星座 S名N子,天 座 I十嵐K子,獅子座 M方A海,獅子座 M川Mく,魚座 F居T,蟹座 O石I,蠍座 Y口M羽,蟹座 Jヶ崎M嘉,蠍座 T時A梨,射手座 H口Aやめ,山羊座 または：|（パイプ） 45 • 海のいきものの星座を持つ行を特定する 名前,星座 S名N子,天 座 I十嵐K子,獅子座 M方A海,獅子座 M川Mく,魚座 F居T,蟹座 O石I,蠍座 Y口M羽,蟹座 Jヶ崎M嘉,蠍座 T時A梨,射手座 H口Aやめ,山羊座 検索 魚座¦蟹座
- 47. 名前,星座 S名N子,天 座 I十嵐K子,獅子座 M方A海,獅子座 ! ! O石I,蠍座 ! Jヶ崎M嘉,蠍座 T時A梨,射手座 H口Aやめ,山羊座 グルーピング：()（カッコ） 47 • 海のいきものの星座を持つ行を削除する 名前,星座 S名N子,天 座 I十嵐K子,獅子座 M方A海,獅子座 M川Mく,魚座 F居T,蟹座 O石I,蠍座 Y口M羽,蟹座 Jヶ崎M嘉,蠍座 T時A梨,射手座 H口Aやめ,山羊座 検索 ^[^,]*,(魚座¦蟹座)$ 置換
- 48. 名前,星座 ! ! ! M川Mく,魚座 F居T,蟹座 ! Y口M羽,蟹座 ! ! グルーピング：()（カッコ） 48 • 海のいきものの星座を持たない行を削除する（書いてから思った、これ否定のブラケット でした） 名前,星座 S名N子,天 座 I十嵐K子,獅子座 M方A海,獅子座 M川Mく,魚座 F居T,蟹座 O石I,蠍座 Y口M羽,蟹座 Jヶ崎M嘉,蠍座 T時A梨,射手座 H口Aやめ,山羊座 検索 ^[^,]*,[^魚蟹星]+座$ 置換
- 49. キャプチャと後方参照：()、n • グルーピングした文字列をそれ以降で参照（後方参 照）することが出来ます。この場合、グルーピング の事をキャプチャと呼んだりします • 後方参照する場合に使用するメタ文字は 1、2、3、.....、n のようにキャプチャ番号（カッコの順番）＋数 字で参照します • また、0は特殊な後方参照で、マッチしたものすべ てを表現します 49
- 51. キャプチャと後方参照：()、n 51 検索 ^([^,]+),([^,]+),([^,]+),([^,n]+)$ 置換 3,2,4,1 1 2 3 4 発注回数,取扱支店,住所,名前 21,近畿支店,530-0001 大阪府 ●●…,S名N子 59,中国支店,680-0001 鳥取県 ●●…,I十嵐K子 14,関東支店,千葉県 ▲▲…,Y口M羽 43,関東支店,330-0002 埼玉県 ▲▲…,Jヶ崎M嘉 37,東北支店,030-001 青森県 ●●…,M方A海 64,近畿支店,滋賀県 ■■…,F居T 60,中部支店,410-0001 静岡県 ■■…,O石I 88,近畿支店,530-0002 大阪府 ●●…,M川Mく 84,東北支店,010-00001 秋田県 ▲▲…,T時A梨 15,近畿支店,三重県 ▲▲…,H口Aやめ 【置換後】
- 53. キャプチャと後方参照：()、n 53 • ファイルを一括でリネームするコマンドを作る WS000017.JPG WS000016.JPG WS000015.JPG WS000014.JPG … rename WS000017.JPG WS000017.JPG.bk rename WS000016.JPG WS000016.JPG.bk rename WS000015.JPG WS000015.JPG.bk rename WS000014.JPG WS000014.JPG.bk … 検索 ^S+$ 置換 rename 0 0.bk
- 55. ものぐさマッチ：量指定子+? • 正規表現の量指定子はとても勤勉なの該当す る最長のマッチ結果を返却します。量指定子 に「?」を付与することで、最小のマッチ結果 を返却するようになります • これをものぐさマッチ（非よくばりマッチな どなど）と呼びます • 勤勉マッチは強欲マッチと呼んだりも 55
- 56. ものぐさマッチ：量指定子? • (強欲|ものぐさ)マッチの範囲を比べる 56 属性,名前,取扱支店,... cu,S名N子,近畿支店,... pa,Jヶ崎M嘉,関東支店,... co,M方A海,東北支店,... co,O石I,中部支店,... cu,M川Mく,近畿支店,... pa,T時A梨,東北支店,... pa,H口Aやめ,近畿支店,... 【強欲】 検索 ^.+, 【ものぐさ】 検索 ^.+?, 属性,名前,取扱支店,... cu,S名N子,近畿支店,... pa,Jヶ崎M嘉,関東支店,... co,M方A海,東北支店,... co,O石I,中部支店,... cu,M川Mく,近畿支店,... pa,T時A梨,東北支店,... pa,H口Aやめ,近畿支店,...
- 59. 正規表現のコツ • Windows＋テキストエディタのユーザを対象と しましたが、UNIX、Linuxコマンドが るよう になったはずです 1. $ tar zOxvf hoge.tar.gz | grep -c -E '[^,]{3}, [0-9]{3}-[0-9]{4}' → 最初の例に類似した結果を取得 2. ls | grep '^[^.]*.log$' → 純粋なログファイル一覧を取得 59