Submit Search
Upload
Pythonによる黒魔術入門
•
39 likes
•
44,832 views
大樹 小倉
Follow
Pythonによる(Rubyでも大体適用可能)黒魔術へ入門するための案内書
Read less
Read more
Software
Report
Share
Report
Share
1 of 35
Download now
Download to read offline
Recommended
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
テストコードの DRY と DAMP
テストコードの DRY と DAMP
Yusuke Kagata
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
例外設計における大罪
例外設計における大罪
Takuto Wada
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
40歳過ぎてもエンジニアでいるためにやっていること
40歳過ぎてもエンジニアでいるためにやっていること
onozaty
Recommended
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
テストコードの DRY と DAMP
テストコードの DRY と DAMP
Yusuke Kagata
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
SQLアンチパターン 幻の第26章「とりあえず削除フラグ」
Takuto Wada
例外設計における大罪
例外設計における大罪
Takuto Wada
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
40歳過ぎてもエンジニアでいるためにやっていること
40歳過ぎてもエンジニアでいるためにやっていること
onozaty
最適化超入門
最適化超入門
Takami Sato
オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
Koichiro Matsuoka
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
モデル高速化百選
モデル高速化百選
Yusuke Uchida
世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
Atsushi Nakamura
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
泰 増田
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
Mikiya Okuno
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
ゲーム開発者のための C++11/C++14
ゲーム開発者のための C++11/C++14
Ryo Suzuki
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
目grep入門 +解説
目grep入門 +解説
murachue
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Teppei Sato
More Related Content
What's hot
最適化超入門
最適化超入門
Takami Sato
オブジェクト指向できていますか?
オブジェクト指向できていますか?
Moriharu Ohzu
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
Koichiro Matsuoka
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
モデル高速化百選
モデル高速化百選
Yusuke Uchida
世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
Atsushi Nakamura
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
泰 増田
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
Shota Imai
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
Jun Okumura
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
Mikiya Okuno
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
Yoshitaka Kawashima
ゲーム開発者のための C++11/C++14
ゲーム開発者のための C++11/C++14
Ryo Suzuki
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
Yoshiyasu SAEKI
目grep入門 +解説
目grep入門 +解説
murachue
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
Yoshitaka Kawashima
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
増田 亨
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Teppei Sato
What's hot
(20)
最適化超入門
最適化超入門
オブジェクト指向できていますか?
オブジェクト指向できていますか?
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
DDD x CQRS 更新系と参照系で異なるORMを併用して上手くいった話
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
全力解説!Transformer
全力解説!Transformer
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
モデル高速化百選
モデル高速化百選
世界一わかりやすいClean Architecture
世界一わかりやすいClean Architecture
PlaySQLAlchemy: SQLAlchemy入門
PlaySQLAlchemy: SQLAlchemy入門
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
強化学習の基礎と深層強化学習(東京大学 松尾研究室 深層強化学習サマースクール講義資料)
DQNからRainbowまで 〜深層強化学習の最新動向〜
DQNからRainbowまで 〜深層強化学習の最新動向〜
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
なぜ、いま リレーショナルモデルなのか(理論から学ぶデータベース実践入門読書会スペシャル)
イミュータブルデータモデル(入門編)
イミュータブルデータモデル(入門編)
ゲーム開発者のための C++11/C++14
ゲーム開発者のための C++11/C++14
ストリーム処理を支えるキューイングシステムの選び方
ストリーム処理を支えるキューイングシステムの選び方
目grep入門 +解説
目grep入門 +解説
イミュータブルデータモデルの極意
イミュータブルデータモデルの極意
マイクロサービス 4つの分割アプローチ
マイクロサービス 4つの分割アプローチ
君はyarn.lockをコミットしているか?
君はyarn.lockをコミットしているか?
Pythonによる黒魔術入門
1.
第n回 XXX勉強会 小倉 大樹
2.
メタプログラミングによる 高次的コーディング技術 の 基礎を学ぶ 黒魔術入門 The Black Magic
3.
メタプログラミングとは ですが 大雑把に言えば 「コードを生成するコード」 「ロジックを生成するロジック」 「プログラミングそのものをプログラミングする行為」 のこと なるほどわからん
4.
なのでタイトルも「メタプログラミング入門」から「黒魔術入門」に変更しました 厳密に定義してスライドを作るのは面倒なので、 ! 今回のスライドでは 「コーディングそのものに関わる抽象的な言語機能」 を総称してメタプログラミングと呼びます。
5.
Caution!
6.
多用厳禁! メタプログラミングはロジックが抽象的で難解になる 場合によってはエラーの原因を追いにくくなる 意味不明なエラーが発生する どういう背景で動作しているのか理解しにくくなる そのメタプロ、必要ですか?
7.
うまく使えば強い武器になる。 特に、RubyやPythonを使うのであれば いずれも必須の知識(だと筆者は考える)。 Web Application FrameWork,
ORMapperなどの大規模なライブラリで あれば必ず使われているテクニック。 難解なメタレベルコーディングで厨二心を満たせ! とはいえ
8.
説明の前に
9.
諸注意 黒魔術が比較的易しい and 頻出
and メジャーな言語、などの理由から 今回の説明に使う言語はPythonです(筆者の知識の問題もあります)。 マクロについては、筆者のLisp力や抽象構文木に対する理解度不足などの 事情があるので今回は取り扱いません。 比較的に易しい内容を取り扱う予定ですが、最低限のオブジェクト指向と その言語内実装に対する理解度はあった方が良いかもしれません。
10.
Ghost Method 動的なメソッド呼び出し
11.
Ghost Method サンプルコード(動的な委譲) >>> class
DynamicProxy(object): ... def __init__(self, value): ... self._value = value ... ... def __getattr__(self, name): ... return getattr(self._value, name) ... ! >>> proc = DynamicProxy('hoge') >>> proc.title() 'Hoge'
12.
Ghost Method サンプルコード解説 def __getattr__(self,
name): pass __getattr__(Rubyではmethod_missing)を 実装したクラスに対して、実装されていないメソッド名での 呼び出しが行われた時に呼び出される。 name引数には呼ばれたときの名前が入る。
13.
Ghost Method 動的ディスパッチ解説 getattr(obj, name) getattr関数(RubyではObject#send) 対象オブジェクトに対して、与えられた文字列名での メソッド呼び出しを行う。 sendという名前はSmallTalkを意識してつけられたものか?
14.
Ghost Method 利用例 ORMapperのクエリビルダ find_by_column_nameをパースしてクエリを生成する……など ! APIクライアントの実装 APIを変更しても、ソースコードをいじる必要がなくなるような実装が可能 ! その他、使い道色々。
15.
高階関数 関数型のプログラミングスタイル メタプロと読んで良いかどうかは微妙だが、 ロジックを動的に生成するロジックとしては頻出する
16.
サンプルコード(動的な委譲) >>> from operator
import methodcaller ! >>> class NullSafeContainer(object): ... def __getattr__(self, name): ... def _(targ): ... if targ is None: ... return lambda *args, **kw: None ... return lambda *args, **kw: methodcaller(name, *args, **kw)(targ) ... return _ ... >>> ns = NullSafeContainer() >>> ns.replace('foo bar baz')('bar', 'gege') 'foo gege baz' >>> ns.replace(None)('bar', 'gege')
17.
サンプルコードの解説 Ghost Methodと組み合わせて、NullSafeな動的委譲を行う プロキシを実装している。 JavaScriptの勉強会でも書いたが、高階関数とレキシカルスコープ自体は 極基礎的な知識なので覚えよう。
18.
Monkey Patch オープンクラス
19.
Monkey Patch サンプルコード(動的な委譲) >>> class
Container(object): ... pass ... >>> c = Container() ! >>> def new_method(self, val): ... return val ... >>> # setattr(Container, 'new_method', new_method) >>> Container.new_method = new_method >>> c.new_method('new!') 'new!'
20.
Monkey Patch 解説 オープンクラスなどとも呼ばれ、実行時にクラスの実装を拡張するような機能。 ダックタイピングと組み合わせて使う強力な技。 しかし多用するとプロジェクトがカオスに陥る大変危険な機能であり、 Pythonでは利用しにくくなっている。 しかし、後述するメタクラスによる動的拡張などを行うための 基礎的な知識となる。 他にも、テスト系のライブラリではよく利用される。
21.
以下蛇足 Pythonではインスタンスへの動的なメソッド追加は出来ない。 >>> def new_instance_method(self,
val): ... return 'in instance "{0}"'.format(val) ... >>> # c.new_instance_method = new_instance_method >>> setattr(c, 'new_instance_method', new_instance_method) >>> c.new_instance_method('new!') Traceback (most recent call last): ... TypeError: new_instance_method() takes exactly 2 arguments (1 given)
22.
以下蛇足 しかしインターフェースを整えることは出来る >>> def demi_instance_dispatcher(instance,
method): ... setattr(instance, method.__name__, lambda *args, **kw: method(instance, *args, **kw)) ... >>> demi_instance_dispatcher(c, new_instance_method) >>> c.new_instance_method('new!') 'in instance "new!"'
23.
Descriptor ディスクリプター
24.
Descriptor 解説 Rubyに同様の機能が存在するかどうかは知らない。 オブジェクトの属性アクセス時の振る舞いをカスタマイズ出来るようになる機能。 property, classmethodなどの機能はこれで実現出来る。 時間がないので詳しい説明は割愛。
25.
Meta Class 黒魔術っぽくなってきた
26.
Meta Class その前に クラスの動的な生成 >>>
MyClass = type( ... 'MyClass', ... (object, ), ... { ... '__init__': lambda self, val: setattr(self, '_val', val), ... 'say': lambda self: self._val, ... }, ... ) >>> mc = MyClass('aaa') >>> mc.say() 'aaa'
27.
クラスの動的生成 解説 Pythonでは、type組み込み関数を使うことでクラスを動的に定義出来る。 class構文は、内部的には上記のtypeを呼び出しているのと同じだと言える。 そして、classが内部的に呼び出しているtypeを 別の関数で置き換えることが出来る。 ! この機能がメタクラスである。
28.
メタクラスの構文 >>> class MetaClassExample(type): ...
def __new__(cls, name, bases, dict): ... return type.__new__(cls, name, bases, dict) ... >>> class Klass(object): ... __metaclass__ = MetaClassExample 何もしない例
29.
メタクラスの構文 解説 Python2では __metaclass__ クラスメンバ。 Python3では
class SomeClass(metaclass=SomeMetaClass): のように定義。 例にある通り、 nameにはクラス名、 basesには基底クラス群、 dictにはオブジェクトの属性がそれぞれ入っている。 あとは好きにカスタマイズすれば良いわけです。
30.
メタクラスの活用例 >>> def _logging_hook(func): ...
def __(*args, **kw): ... print('before: {0}'.format(func.__name__)) ... ret = func(*args, **kw) ... print('after: {0}'.format(func.__name__)) ... return ret ... return __ ... 次ページへつづく こういう関数を用意しておいて……
31.
>>> from types
import ( ... MethodType, FunctionType, LambdaType ... ) >>> class LoggingHookKlass(type): ... def __new__(cls, name, bases, dict): ... hooked_attrs = { ... k: _logging_hook(v) ... for k, v in dict.items() ... if isinstance(v, (MethodType, FunctionType, LambdaType)) ... } ... return type.__new__(cls, name, bases, hooked_attrs) 次ページへつづく こういうメタクラスを作って
32.
>>> class Ninja(object): ...
__metaclass__ = LoggingHookKlass ... def aisatsu(self, other): ... print(‘ドーモ、{0}=サン’.format(other)) ... >>> ninja = Ninja() >>> ninja.aisatsu('オフェンダー') before: aisatsu ドーモ、オフェンダー=サン after: aisatsu 次ページで解説 こう使う
33.
メタクラス 解説 レシーバとして受け取った関数の実行前後にロギング(print文)を 実行する関数を容易して、 メタクラスを使って対象クラスの生成時に、全てのメソッドに対して 前述のロギングするラッパー関数をかませている。 ね、簡単でしょ?
34.
メタクラス 解説 出来ることは非常に多い。 が、サンプルのようなことをするのであればデコレータで良い。 使いどころを考えさせられる機能と言える。 より実践的な例だと https://github.com/hachibeeDI/forwardable.py とかが参考になるかも?
35.
おしまい 用法用量を守って楽しいコーディングを
Download now