2021年2月3日に開催された「OSS LT会 -集まれコミッター・コントリビューター」で発表した内容です。

1. 株式会社ブレインパッド 前田友樹
ETL(ELT)処理を簡易作成できるアプ
リケーションフレームワークcliboa
1

2. ©2017 BrainPad Inc. 2
● 自己紹介
● ETL(ELT)処理とは
● ETL(ELT)処理をどうやって作ってますか？
● cliboa(クリボア)とは
○ 概要
○ 特徴
● cliboaクイックスタート
○ インストール
○ 作業ディレクトリ・プロジェクト作成
○ scenairo.yml作成・実行
● 最後に
● Q&A
目次

3. ©2017 BrainPad Inc. 3
● 名前: 前田友樹
● 所属: 株式会社ブレインパッド (https://www.brainpad.co.jp)
● ロール: SWD, PjM
● GitHub: https://github.com/cocoa-maemae
● Twitter: https://twitter.com/cocoa_maemae
自己紹介

4. ©2017 BrainPad Inc. 4
● Extract, Transform, Loadを略してETL
○ Extractは何らかのシステムからデータを抽出すること
○ Transformは抽出したデータを加工すること
○ Loadはデータを目的地に対してアップロード、保存すること
ETL(ELT)処理とは
● ELT処理はETL処理と処理の順番が異なる
extract transform load
extract transform
load

5. ©2017 BrainPad Inc. 5
ETL(ELT)処理をどうやって作ってますか？
零
Ichi
● 実装工数大
● スパゲッティコード量産
● 学習コスト中〜大
● 実装工数中
● 学習コスト小
● 実装工数小

6. ©2017 BrainPad Inc. 6
● ETL(ELT)処理用アプリケーションフレームワーク
● GitHub: https://github.com/BrainPad/cliboa
● PyPI: https://pypi.org/project/cliboa/
cliboa(クリボア)とは ~概要~

7. ©2017 BrainPad Inc. 7
YamlファイルでETL(ELT)処理を
定義・動作させることが可能
cliboaとは ~特徴~
全てPythonで実装
PythonでETL処理を
拡張実装することが可能

8. ©2017 BrainPad Inc. 8
クイックスタート ~インストール~
https://github.com/BrainPad/cliboa#quick-start

9. ©2017 BrainPad Inc. 9
クイックスタート 作業ディレクトリ・プロジェクト作成
https://github.com/BrainPad/cliboa#quick-start

10. ©2017 BrainPad Inc. 10
クイックスタート ~scenario.yml作成、実行~
https://github.com/BrainPad/cliboa#quick-start
scenario.ymlの例 実行

11. ©2017 BrainPad Inc. 11
関連ドキュメント
● マニュアルはGitHubのREADMEのみ
https://github.com/BrainPad/cliboa/blob/master/README.md
● 標準で利用可能なETLモジュール
https://github.com/BrainPad/cliboa/blob/master/docs/default_etl_modules.md
● Qiita記事
○ https://qiita.com/cocoa-maemae/items/503fd107191647a616f7
○ https://qiita.com/cocoa-maemae/items/46cf73ae2cd3cccde474

12. ©2017 BrainPad Inc. 12
● ブレインパッドではエンジニア、データサイエンティストを
積極採用中です
○ 自社プロダクト開発エンジニア
○ システムエンジニア
○ 機械学習エンジニア
○ データサイエンティスト
● ご応募お待ちしています！
○ https://www.brainpad.co.jp/recruit/
最後に