![はじめに
エンジニアであれば正規表現には１度は出会ったことがあるはずです。
同じことを表現するにしても様々な書き方が出来ます。
/[0-9]/ = /¥d/
今回は Ruby の正規表現(というか 鬼雲ライブラリ)で使える POSIX 文字クラス
と Unicode プロパティ という記法に関して話します。](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
Recommended
More Related Content
Recently uploaded
Recently uploaded (9)
Featured
Featured (20)
Ruby regexp
- 1. Ruby 正規表現 POSIX 文字クラス, Unicode プロパティ ユニークビジョン株式会社 中野 隆行
- 2. はじめに エンジニアであれば正規表現には１度は出会ったことがあるはずです。 同じことを表現するにしても様々な書き方が出来ます。 /[0-9]/ = /¥d/ 今回は Ruby の正規表現(というか 鬼雲ライブラリ)で使える POSIX 文字クラス と Unicode プロパティ という記法に関して話します。
- 3. POSIX 文字クラス とりあえずドキュメント情報 >文字クラスの中でしか用いることができません。 >これらは [:クラス名:] という記法を持ちます。また、[:^クラス名:]という記法 でその否定を意味します。 Ruby 2.7.0 リファレンスマニュアル 正規表現 使用可能な文字クラスの一覧も記載があります。
- 4. 例
- 5. 個人的には [:space:] が便利です。 以前、Ruby で文章中の空白を削除するという作業が必要になりました。 まず最初に使ったのが String#strip 文字列先頭と末尾の空白を削除してくれます。 空白文字の定義は " ¥t¥r¥n¥f¥v" 残念なことに全角スペースが含まれていません。
- 6. というわけでこうなります また、文中の空白も削除しません。(これは一長一短) なので、次に [:space:] の力を借りました。 puts ' ←半角スペース'.strip #←半角スペース puts ' ←全角スペース'.strip # ←全角スペース
- 7. [:space:] の定義はこんな感じ ● [:space:] 空白、改行、復帰 (Space_Separator | Line_Separator | Paragraph_Separator | 0009 | 000A | 000B | 000C | 000D | 0085) Space_Separator とか Line_Separator とかは Unicode 一般カテゴリのことです。 このカテゴリに含まれる文字がこの文字クラスに含まれます。 後の 0009 とかは文字コードです。タブとか復帰とかの制御文字とか。 全角スペース(和字間隔 - Ideographic Space) は Space_Separator に含まれていま す。
- 8. というわけで、こうなります。 無事全角スペースも除去できました。 この場合文中のスペースも取り除くので、文頭 文末のみ除去したい場合適当に正 規表現を調節しましょう。 puts ' ←半角スペース'.gsub(/[[:space:]]/, '') #←半角スペース puts ' ←全角スペース'.gsub(/[[:space:]]/, '') #←全角スペース puts ' ←半 角 ス ペ ー ス'.gsub( /^[[:space:]]*|[[:space:]]*$/, '' )#←半 角 ス ペ ー ス
- 9. POSIX 文字クラスの注意点 とある記事(正規表現クラス[:alnum:]の罠)で一部 POSIX 文字クラスの挙動に関し て議論になったことがあります。 それが [:alpha:] と [:alnum:] これらがかなり誤解の種をはらんでいて、しかもドキュメントがその一翼を担っ ています。
- 10. ● [:alnum:] 英数字 (Letter | Mark | Decimal_Number) ● [:alpha:] 英字 (Letter | Mark) 以上が Ruby 2.7.0 リファレンスマニュアル の記述。 非常に簡潔な定義ですが、初めて見た人はきっと勘違いします。 これらは「ひらがな」「かたかな」「漢字」なども範囲に含んでいます。 [a-zA-Z] の気持ちで [:alpha:] を使うと失敗します。
- 11. こんな感じ
- 12. なぜこうなるか ドキュメントを改めて確認しましょう ● [:alnum:] 英数字 (Letter | Mark | Decimal_Number) ● [:alpha:] 英字 (Letter | Mark) 括弧内に記載されているのは Unicode カテゴリです。Letter は Letter (L): lowercase (Ll), modifier (Lm), titlecase (Lt), uppercase (Lu), other (Lo) と定義されています。 数字、記号類以外の世に遍く文章を記述する文字全般が含まれます。 気をつけて使いましょう。
- 13. Unicode プロパティ POSIX 文字クラスと似ています。 が、コレ自体が文字クラスの略記法なので [] で囲む必要はありません。 Unicode プロパティで正規表現の文字クラスを指定できます。 こちらのほうが定義の範囲が細かく、特定のジャンルの文字に絞り込みやすいで す。
- 14. 例
- 15. 利点 正規表現で漢字が入力に含まれているかを探したことはありますか？ ネットでよく見かける表現はこんな感じ /[一-龠]/ とか /[一-龥]/ とか(Unicode の話) 大体これで一般的な漢字はカバー出来ています。この文字クラスに収まらない漢 字を入力してくるユーザーもそうそういないでしょう。
- 18. あとこんなものも。 Unicode 的に「ひらがな」の称号を与えられた文字は 300 を超えます。 [ぁ-ん]と違い、それら全てにしっかりマッチします。
- 19. 使えるプロパティ 一覧 が公式に用意されています。 Unicode 一般カテゴリや script プロパティなどを指定できます。 POSIX brackets などもあるので、POSIX 文字クラスと同じ様なことも出来ます。 少し気をつけなければならないのは 長音記号 「ー」です。
- 20. 長音記号の Unicode 情報を調べると 「Block:Katakana, U+30A0 - U+30FF」 と表示されます。 一瞬、カタカナブロックだから /¥p{Katakana}/ でマッチしてほしくなります が、onigmo ライブラリがこの記述で参照するのはブロックではなく script プロパ ティの Katakana です。 長音記号は Katakana script には含まれていません Common script です。 なので /[¥p{Katakana}ー]/ こんな感じに別途記述します。 あるいは /¥p{In_Katakana}/と書いて、Block プロパティのカタカナを参照し ましょう。
- 21. 個人的な意見 昔は POSIX 文字クラスビミョーと思ってましたが、いまはどっちも便利なもの だと思っています。ただし一長一短です。 あとから /¥p{Hiragana}/ このコードを触る人間が、「ゟ」こんなものがマッ チすると思うでしょうか？ あるいは /¥p{Katakana}/ このコードに「ヿ」こんなものがマッチすると思う でしょうか？
- 22. 把握しきれない文字にマッチしてくれる文字クラスということは、 他のコーダーが何にマッチする正規表現なのか把握しきれないということにもな りえます。 コメントにて unicode のドキュメントに誘導するなど、プロジェクト内で誤解の 無いように運用したい。 (ちなみにこれらは Ruby (onigmo ライブラリ)独自の機能ではありません。) (細かい実装の差異はありますが、他の正規表現エンジンでも利用できる場合があ ります。)