JAWSUG 20191028 (modified)
•
0 likes•891 views
2019年10月28日に CodeBase Nagoya で開催されたイベント「JAWS-UG 名古屋 データ分析の勉強会」で使った資料です。 Amazon Athena（S3 上の CSV や JSON などに対して SQL で問い合わせできるサービス）に関する初心者向けの紹介資料です。手軽ですぐに試せるのでお勧めです。
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to JAWSUG 20191028 (modified)
Similar to JAWSUG 20191028 (modified) (20)
More from 陽平 山口
More from 陽平 山口 (20)
JAWSUG 20191028 (modified)
- 1. 初 心 者 は だ ま っ て A m a z o n A t h e n a C o d e B a s e N a g o y a 2 0 1 9 . 1 0 . 2 8 来 栖 川 電 算 取 締 役 山 口 陽 平 J A W S - U G 名 古 屋 デ ー タ 分 析 の 勉 強 会 # j a w s u g
- 2. 話の流れ 1. はじめに 2. Amazon Athena 3. まとめ 4. 付録 2
- 4. 山 口 陽 平 @melleo1978 • 所属 – 有限会社 来栖川電算 取締役 – 名古屋工業大学大学院博士前期課程修了 • 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 • 興味 – 機械学習，強化学習，UI/UX – 高速化，省資源化，並列分散 ※実物に髪の毛はありません 4
- 5. 山 口 陽 平 @melleo1978 • ［実践］画像認識 を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い 方や実装例 – SIFTなどの各種 アルゴリズムや 特定物体認識の しくみ – 精度改善への取 り組み方
- 6. 来栖川電算 設立 2003年（名古屋工業大学発ベンチャー） 従業員 66人 • SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営 スマートライフ技術 NTTドコモ様との共同研究 スマートドライブ技術 大手自動車メーカー様むけ メイドさん もふくめて 6
- 7. 7 AR付箋 書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ 画像認識API 商品パッケージで情報検索するAPI 生活情報調査 道路沿いの視覚情報を収集し、活用 交通情報調査 道路沿いの視覚情報を収集し、活用 研究開発支援 タンゴチュウ 写真に写る単語を抽出するサービス 走行データ解析 周辺環境を認識し、様々な解析に活用 地図生成 オルソ画像から地物・交通規則を抽出 動作推定API 加速度センサで人の行動を推定 毎朝体操 腕の動きで体操採点するアプリ ヒーローの動きでゲームを制御 なりきり2.0 ー シ ョ ン 認 識 研究開発支援 研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNNコンパイラ DNNの推論を10～1000倍も効率化 GameControllerizer プログラマブル・ゲームコントローラ 研究開発支援 類似検索 類似検索 類似検索 文字認識 物体認識 物体認識 物体認識 物体認識 モーション認識 モーション認識 モーション認識物体認識 瞳孔位置推定 眼球運動を監視し、眠気の推定に活用
- 9. 技術者集団 様々なアルゴリズムや知識で課題解決 • 最先端の AI 技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどの アルゴリズムやバイナリハックを駆使した高 精度化・高速化・省資源化・並列化・分散化 • 高品質なソフトウェアを実現する技術 – 言語・アーキテクチャ・プロセスに対する深 い理解に基づく設計と計画 9
- 11. Amazon Athena S3 にあるファイルに SQL で問い合わせできる 11
- 12. Amazon Athena S3 にあるファイルに SQL で問い合わせできる • 様々なファイル形式・圧縮形式に対応 – CSV, TSV, JSON, ORC, Parquet ※Prestoのおかげ • パーティショニング・列指向に対応 – 不要な行・列をスキャンせずに済む • 頻繁に問い合わせしないなら安い – 5 $/TB + S3 費用 • クエリのスキャン量に比例する • 10MB 以下のクエリは 10MB 扱いになる – ※機械学習のデータレイクに適している 12
- 13. 使い方は簡単 S3 条のデータをインポートし、SQL で問い合わせるだけ 1. ワークグループの作成 2. データのインポート 3. データへの問い合わせ 4. テーブルのパーティション 5. データへの問い合わせ（パーティション 版） 13
- 15. 1. ワークグループの一覧 上段の「Workgroup : ～」でいつでもこの画面に来れる 15
- 27. 1. データへの問い合わせ 問い合わせ（今回はフルスキャン）を SQL で記述実行する 27
- 34. 1. データへの問い合わせ パーティションに使ったカラムで絞り込む必要がある 34 パーティション（272 分割）と列指向 （Parquet 形式）の適用でスキャン量 が 1/100 になった。スキャン量が下 限を下回ったため費用は 1/10 だった。
- 37. まとめ 初心者はだまって Amazon Athena • とりあえず S3 に入れておけばいい – 頻繁に問い合わせしないデータはとありあえず S3 に入れて、Athena で処理ればいい。 • 例：機械学習のデータレイク • コスト（スキャン量）を抑えるには – パーティショニングと列指向を活用する。 – 問い合わせのデバッグ中は LIMIT 句を付ける。 – ワークグループにスキャン量の上限を設定する。 • 何気ない問い合わせによる膨大なスキャンへの対策 37
- 38. JAWS FESTA 2019 SAPPORO 私は参加します！参加する方、一緒に楽しみましょう！ • とりあえず S3 に入れておけばいい – 頻繁に問い合わせしないデータはとありあえ ず S3 に入れて、Athena で処理ればいい • コストを抑えるには – Parquet 形式のファイルをパーティションし て、パーティションに使ったカラムで問い合 わせする – 何気ない問い合わせが膨大なスキャンを発生 させるのを防ぐために LIMIT 句を付けよう 38
- 39. 機械学習 名古屋 https://machine-learning.connpass.com/ • 勉強会 隔月開催 次回：2019年11月16日（土） – 初心者や非エンジニアも含む幅広い層に向け たアルゴリズム紹介・事例紹介・ハンズオン • 研究会 毎月開催 次回：2019年11月21日（木） – エンジニアや研究者に向けた機械学習関連の 論文紹介（これまで109件） 39 次回 Annofab ハンズオン
- 40. 製品・サービス 付録① 40
- 42. 画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大 な DB から瞬時に種類を特定。クロールした画像から 直接構築した DB を利用。 42
- 43. Cellars ワインラベルで情報検索するアプリ ワインラベルにスマホをかざすだけで、18 万件から 瞬時に種類を特定。国内外のコンテストで入賞。株式 会社 Cellars 様による弊社技術の応用事例。 43
- 44. AR 付箋 書籍の中身を検索するアプリ 書籍を開いてスマホをかざすだけで、膨大な DB から 瞬時にページを特定し、貼られている付箋を表示。お 客様による弊社技術の応用事例。 44
- 46. 走行データ解析 周辺環境を認識し、様々な解析に活用 膨大な走行データから歩行者・車両・白線・標識など を検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 46
- 54. 動作推定 API 加速度センサで人の行動を推定 スマホやウォッチの動きから静止・歩行・走行・食 事・睡眠などを推定。同じ仕組みで撮影時の手振れ検 出も可能。株式会社 NTT ドコモ様との共同研究。 54
- 55. 毎朝体操 腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてく るセンサデータを学習することで体操採点の正確さが 自動改善。JFE スチール株式会社様へ導入。 55
- 58. DNN コンパイラ DNNの推論を 10 ～ 1000 倍も高速化 重みや活性の量子化・スパース化、計算の共有などの 様々な手法で DNN を近似し、高速化・省資源化され た実行形式（Linux・Android・iOS）へ変換。 58
- 60. ANNOFAB 高品質な教師データを大量に生産可能 品質と生産性のトレードオフ、誤り漏れの削減、きめ 細かく柔軟な仕様・課題・進捗の管理。実務で培った ノウハウが詰まったアノテーションサービス。 60
- 63. 体制 AI 実現のための全業務をカバー 63 AI アプリ SI インフラ AI インフラ データ モデル 研究者アノテータ デザイナ 開発者 職種 正社員 アルバイト 合計 24 時／週以上 12 時/週以上 ※即戦力 試用期間 研究者 20 % 2 % 10 % 0 % 32 % 開発者 15 % 7 % 12 % 3 % 37 % デザイナ 0 % 0 % 3 % 0 % 3 % アノテータ 5 % 23 % 0 % 0 % 28 % 合計 40 % 32 % 25 % 3 % 100 %
- 64. 設備 研究開発を円滑にするためにあらゆる手を尽くす • 理想的な個人設備 ※好きなものが選べる – PC，椅子，モニタ，キーボード，マウス，… • 豊富な計算資源とアノテータ ※使いやすい – Ahab：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 豊富な独自データ ※世界中からどんどん集まる – 自動運転用データ，商品認識用データ，文字 認識用データ，体操採点用データ，… 64
- 65. サポート 技術を磨きやすくするためにあらゆる手を尽くす • 様々な働き方 – 自由な時間帯・場所，冒険者制度，… • 優秀な同僚 ※メンタリング（JEDI） – IPA 未踏ソフトウェア創造事業採択者，コン テスト入賞者，OSS コントリビュータ，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入 – 勉強会・懇親会の開催・参加・移動・宿泊 – 会社の昼会・夕会・飲み会で供される飲食物 65