Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to CPythonを読もう
Similar to CPythonを読もう (20)
CPythonを読もう
- 8. ビルド 1. ./con fi gure 2. make (M1 Macbook airで2分くらい) 3. ./python.exe
- 9. ソースコードのディレクトリ •Grammar/ •Python syntax de fi nition in PEG •PEP 617 -- New PEG parser for CPython •Parser/ •Language parser (generated from PEG grammar) •Tools/ •Supporting tools to build python including peg_generator
- 10. ディレクトリ •Python/ •Python interpreter code •Objects/ •Built in objects •Modules/ •Standard libraries, built in modules •Programs/ • Main entry point.
- 12. 字句解析 • ソースコードのテキストファイルを読み込み、意味のあ るトークン(プログラムの最小構成単位)に分割する。 • トークンの例 • 予約語 : def, class, import • 定数： 100, “Hello” • 変数名：x, y, foo
- 13. 字句解析 y = x + 5
- 15. 構文解析 y = x + 5 = + y 5 x
- 18. CPythonのメインループ •PyRun_InteractiveOneObjectEx() in pythonrun.c • _PyParser_ASTFromFile() • トーカナイザを呼び出し、トークン列をAST変換する •https://github.com/python/cpython/blob/ 5d569ef9dd57cf03473ef0c04f0e58b6c5cb5d04/ Python/pythonrun.c#L195
- 19. run_mod(mod, fi lename, d, d, fl ags, arena); •PyCodeObject *co = _PyAST_Compile(mod, fi lename, fl ags, -1, arena); • ASTをバイトコードにコンパイル •PyObject *v = run_eval_code_obj(tstate, co, globals, locals); •バイトコードを実行する •Using thread state, globals and locals
- 20. 構文解析について少々
- 21. CPython の構文解析器 1. Parser/parser.c 2. 読み解こうとしない方が賢明です 3. $ wc -l parser.c 32831 parser.c 4. 人が書いたプログラムではありません 5. $ head -1 parser.c // @generated by pegen from ./Grammar/python.gram
- 22. Parser Generator •Input: Grammar/python.gram •Output: Parser/Parser/parser.c •Parser Generator • Tools/peg_generator/pegen/ • This is python module. • So, in order to build python, python is required. • PEP 617 -- New PEG parser for CPython • https://www.python.org/dev/peps/pep-0617/
- 24. Demo: パーサーで遊ぶ 1. vi Grammar/python.gram 2. make regen-pegen 3. make 4. ./python.exe
- 25. 構文解析の ！
- 26. Python のコードブロック 1. 言語処理のスタンダードでは、構文解析器が字句解析 器を呼び出しながら処理を進めていく。字句解析器と 構文解析器のインターフェースはトークン 2. 伝統的なプログラム言語(C,Java,…)では、コードのブ ロックを明示するトークン “{, }, end, …” が存在する
- 27. C のコードブロック if (式) { ステートメント1 ステートメントn... } else { ステートメント1 ステートメントn... }
- 28. なぜCPythonのソースコードを読むのか？ 1. Pythonのコードブロックはインデントで始まり、アン インデントで終わる。つまりトークンが存在しない！ 2. Pythonの字句解析と構文解析はいったいどうなってい るのか？ その を解明するため！
- 29. 答え： 字句解析器がんばる！
- 30. 字句解析器 •tok_get() in tokenizer.c •入力からテキストを読み込みトークンを返す •トークン (終端記号) の例 •Keywords •Variable names •Numbers •Etc.
- 31. 字句解析器 •行指向、状態を持つ •struct tok_state (tokenizer.h) •indent-stack に全てのインデントのカラム位置を保存している •インデントが深くなると、そのカラム位置を indent-stack に push し、仮想的トー クン INDENT を返す •インデントが浅くなると、indent-stackからデータpopして、仮想的トークン DEDENTを返す •https://github.com/python/cpython/blob/ 28be3191a9db2769ed05e55c6bcbccdd029656dd/Parser/tokenizer.c#L1205
- 32. struct tok_state •Holds the state of the tokenizer •Line buffer •Indent stack •etc. •https://github.com/python/cpython/blob/ 28be3191a9db2769ed05e55c6bcbccdd029656dd/ Parser/tokenizer.h#L31
- 33. Block de fi nition in PEG block[asdl_stmt_seq*] (memo): | NEWLINE INDENT a=statements DEDENT { a } | simple_stmts