vaexは良いかもしれないということをちょっと話したLT資料

1. Pandas / Dask / Vaex
はんなりPython #23 LT
Hideyuki Ogawa

2. Who ?
• はんなりPython 運営
• PyConJP 2019 スピーカー
• PyCon China 北京 スピーカー
• 合同会社 長目 Founder & CEO

3. Pandas
• Pythonのデータ分析において欠かせないツール
• データの前処理、可視化などのカギとなる
• しかしいろいろ問題あり
• Apache Arrow and the 10 things I hate about Pandas
• https://wesmckinney.com/blog/apache-arrow-pandas-
internals/
• メモリたくさん食うし、1個のコアしか使えない

4. Dask
• 並列処理でガガっと
• Numpy、Pandas、scikit learnの並列処理版もある
• タスクのスケジューリングなどもしてくれる
• 一台のコンピュータだけでなく、たくさんのコンピュータで並
列処理してくれる
• すげー
• だがしかし・・・

5. Vaex
• Library for Lazy Out-of-Core DataFrames
• 巨大な表形式のデータセット向けデータ探索ツール
• 計算、可視化
• 遅延評価
• メモリを効率的に使用

6. Talk is cheap, Show me the code!

7. 参考資料
• Vaex Documents: https://vaex.readthedocs.io/en/latest/
• Vaex: A DataFrame with super strings https://towardsdatascience.com/vaex-a-dataframe-
with-super-strings-789b92e8d861
• Vaex 入門: https://blog.ikedaosushi.com/entry/2019/04/14/173307
• 遅延評価（IBM）: https://www.ibm.com/developerworks/jp/linux/library/l-lazyprog.html
• Dask Documents: https://dask.org/
• Dask: https://docs.google.com/presentation/d/e/2PACX-
1vSTH2kAR0DCR0nw8pFBe5kuYbOk3inZ9cQfZbzOIRjyzQoVaOoMfI2JONGBz-
qsvG_P6g050ddHxSXT/pub?start=false&loop=false&delayms=60000&slide=id.p
• Dask Gateway: http://jcrist.github.io/talks/pydata_austin_2019/slides.html#1
• Dask: Pythonでの並列処理:
https://drive.google.com/file/d/1GDMjbggAv4gMekT2IBEDNSU4kU0W69Bu/view
• Pandas Documents: https://pandas.pydata.org/index.html
• Apache Arrow and the “10 things I hate about pandas”:
https://wesmckinney.com/blog/apache-arrow-pandas-internals/
• Pandas Road Map: https://pandas.pydata.org/pandas-docs/stable/development/roadmap.html