Submit Search
Upload
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
•
3 likes
•
26,196 views
Recruit Technologies
Follow
2016/11/18 数理システムユーザーコンファレンス2016での、西村の講演資料になります
Read less
Read more
Technology
Report
Share
Report
Share
1 of 58
Download now
Download to read offline
Recommended
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
Recruit Technologies
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介
Recruit Technologies
DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
Recruit Technologies
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
Recruit Technologies
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
Recommended
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
Case study of DevOps for Hadoop in Recruit.
Case study of DevOps for Hadoop in Recruit.
Recruit Technologies
リクルートにおける画像解析事例紹介と周辺技術紹介
リクルートにおける画像解析事例紹介と周辺技術紹介
Recruit Technologies
DataRobot活用状況@リクルートテクノロジーズ
DataRobot活用状況@リクルートテクノロジーズ
Recruit Technologies
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
リクルートはいかにして、ディープラーニング(深層学習)の導入を成功させたか
Recruit Technologies
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
Recruit Technologies
リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介
Recruit Technologies
R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動
Recruit Technologies
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
Recruit Technologies
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
Recruit Technologies
20150625 cloudera
20150625 cloudera
Recruit Technologies
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
Yota Ishida
LT(自由)
LT(自由)
Recruit Technologies
リクルート式AIの活用法
リクルート式AIの活用法
Recruit Technologies
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
Recruit Technologies
Spring “BigData”
Spring “BigData”
Recruit Technologies
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」
Recruit Technologies
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Recruit Technologies
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」
Recruit Technologies
Pepper+独自会話エンジン
Pepper+独自会話エンジン
Recruit Technologies
『フルスタックエンジニアを目指す』ためのOpenStack勉強術 - OpenStack最新情報セミナー 2014年2月
『フルスタックエンジニアを目指す』ためのOpenStack勉強術 - OpenStack最新情報セミナー 2014年2月
VirtualTech Japan Inc.
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
VirtualTech Japan Inc.
More Related Content
What's hot
リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介
Recruit Technologies
R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動
Recruit Technologies
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
Recruit Technologies
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
Recruit Technologies
20150625 cloudera
20150625 cloudera
Recruit Technologies
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
Yota Ishida
LT(自由)
LT(自由)
Recruit Technologies
リクルート式AIの活用法
リクルート式AIの活用法
Recruit Technologies
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
Recruit Technologies
Spring “BigData”
Spring “BigData”
Recruit Technologies
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
Recruit Technologies
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
Recruit Technologies
リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」
Recruit Technologies
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Recruit Technologies
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」
Recruit Technologies
Pepper+独自会話エンジン
Pepper+独自会話エンジン
Recruit Technologies
What's hot
(20)
リクルートにおける画像解析事例紹介
リクルートにおける画像解析事例紹介
R-tech BDGにおける自然言語処理活動
R-tech BDGにおける自然言語処理活動
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
3万人が利用するリクルートのワイヤレス環境 ~リアクティブからプロアクティブへ~
20150625 cloudera
20150625 cloudera
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
ディープラーニングでおそ松さんの6つ子は見分けられるのか? FIT2016
LT(自由)
LT(自由)
リクルート式AIの活用法
リクルート式AIの活用法
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
求職サービスの検索ログを用いたクエリのカテゴリ推定とその活用事例の紹介
Spring “BigData”
Spring “BigData”
リクルート式 自然言語処理技術の適応事例紹介
リクルート式 自然言語処理技術の適応事例紹介
リクルートにおけるデータのインフラ化への取組
リクルートにおけるデータのインフラ化への取組
リクルートのWebサービスを支える「RAFTEL」
リクルートのWebサービスを支える「RAFTEL」
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
リクルートのWebサービスを支える共通インフラ「RAFTEL」
リクルートのWebサービスを支える共通インフラ「RAFTEL」
Pepper+独自会話エンジン
Pepper+独自会話エンジン
Similar to 運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
『フルスタックエンジニアを目指す』ためのOpenStack勉強術 - OpenStack最新情報セミナー 2014年2月
『フルスタックエンジニアを目指す』ためのOpenStack勉強術 - OpenStack最新情報セミナー 2014年2月
VirtualTech Japan Inc.
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
VirtualTech Japan Inc.
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
Nobuyuki Tamaoki
OpenStack APAC Report
OpenStack APAC Report
Satoshi Konno
2015.6.5 EMC主催OpenStackセミナー - 日本仮想化技術様講演スライド
2015.6.5 EMC主催OpenStackセミナー - 日本仮想化技術様講演スライド
EMC Japan
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
VirtualTech Japan Inc.
リクルート流Elasticsearchの使い方
リクルート流Elasticsearchの使い方
Recruit Technologies
2018 07-23
2018 07-23
Yuji Oshima
OpenStack環境構築入門
OpenStack環境構築入門
VirtualTech Japan Inc.
【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer
【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer
Nobuyuki Matsui
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
Yoji Kiyota
Osc tokyo20141019
Osc tokyo20141019
Kiyoshi Ogawa
OSC2018 hiroshima session slide by OSSC
OSC2018 hiroshima session slide by OSSC
Daisuke Nishino
空回りのクラウド基盤導入
空回りのクラウド基盤導入
irix_jp
OpenStack Summit出張報告
OpenStack Summit出張報告
VirtualTech Japan Inc.
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
Hirokatsu Kataoka
The invitation to Infrastructure CI
The invitation to Infrastructure CI
irix_jp
st2でシステム管理
st2でシステム管理
You&I
「たまおきのクラウドウォッチ」筆者が語る、OpenStack導入最前線 - @IT様セミナー 「真剣に考える人だけにこっそり教えるOpenStackとスト...
「たまおきのクラウドウォッチ」筆者が語る、OpenStack導入最前線 - @IT様セミナー 「真剣に考える人だけにこっそり教えるOpenStackとスト...
VirtualTech Japan Inc.
ChainerでDeep Learningを試す為に必要なこと
ChainerでDeep Learningを試す為に必要なこと
Jiro Nishitoba
Similar to 運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
(20)
『フルスタックエンジニアを目指す』ためのOpenStack勉強術 - OpenStack最新情報セミナー 2014年2月
『フルスタックエンジニアを目指す』ためのOpenStack勉強術 - OpenStack最新情報セミナー 2014年2月
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
オープンクラウド基盤の価値と導入へ向けた考慮点 〜IaaSからPaaSまで - EMC様セミナー 「あなたのビジネスを高速化!DevOpsとアジャイル開発...
OpenStack APAC Report
OpenStack APAC Report
2015.6.5 EMC主催OpenStackセミナー - 日本仮想化技術様講演スライド
2015.6.5 EMC主催OpenStackセミナー - 日本仮想化技術様講演スライド
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
リクルート流Elasticsearchの使い方
リクルート流Elasticsearchの使い方
2018 07-23
2018 07-23
OpenStack環境構築入門
OpenStack環境構築入門
【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer
【Tech-Circle #3 & OCDET #7 SDS勉強会】 Ceph on SoftLayer
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
不動産物件データセットを用いた研究開発事例と、大学との共同研究の取り組みの紹介
Osc tokyo20141019
Osc tokyo20141019
OSC2018 hiroshima session slide by OSSC
OSC2018 hiroshima session slide by OSSC
空回りのクラウド基盤導入
空回りのクラウド基盤導入
OpenStack Summit出張報告
OpenStack Summit出張報告
Deep Residual Learning (ILSVRC2015 winner)
Deep Residual Learning (ILSVRC2015 winner)
The invitation to Infrastructure CI
The invitation to Infrastructure CI
st2でシステム管理
st2でシステム管理
「たまおきのクラウドウォッチ」筆者が語る、OpenStack導入最前線 - @IT様セミナー 「真剣に考える人だけにこっそり教えるOpenStackとスト...
「たまおきのクラウドウォッチ」筆者が語る、OpenStack導入最前線 - @IT様セミナー 「真剣に考える人だけにこっそり教えるOpenStackとスト...
ChainerでDeep Learningを試す為に必要なこと
ChainerでDeep Learningを試す為に必要なこと
More from Recruit Technologies
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Recruit Technologies
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
Tableau活用4年の軌跡
Tableau活用4年の軌跡
Recruit Technologies
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
Recruit Technologies
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Recruit Technologies
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Recruit Technologies
銀行ロビーアシスタント
銀行ロビーアシスタント
Recruit Technologies
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
Recruit Technologies
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
Recruit Technologies
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
Recruit Technologies
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
Recruit Technologies
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
Recruit Technologies
Struggle against cross-domain data complexity in Recruit group
Struggle against cross-domain data complexity in Recruit group
Recruit Technologies
Hadoop’s Impact on Recruit Company
Hadoop’s Impact on Recruit Company
Recruit Technologies
More from Recruit Technologies
(15)
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Tableau活用4年の軌跡
Tableau活用4年の軌跡
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
銀行ロビーアシスタント
銀行ロビーアシスタント
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
Struggle against cross-domain data complexity in Recruit group
Struggle against cross-domain data complexity in Recruit group
Hadoop’s Impact on Recruit Company
Hadoop’s Impact on Recruit Company
Recently uploaded
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Recently uploaded
(11)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
運用で泣かないアーキテクチャで動く原稿作成支援システム ~リクルートにおけるDeepLearning活用事例~
1.
運用で泣かないアーキテクチャ で動く原稿作成支援システム 〜リクルートにおける DeepLearning活用事例〜 リクルートテクノロジーズ 西村 隆宏
2.
自己紹介 • 西村隆宏 2015/4月リクルートホールディングス入社 +
東京大学協力研究員(2年目) 業務内容 リクルート横断レコメンドプロジェクトの推進 海外スタートアップ(主にイスラエル)との協業 R&D(主にNLP, 位置情報, マルチモーダル)の開発、分析、推進、アーキテクト 2
3.
アジェンダ • リクルートの紹介 • リクルートにおける原稿作成の負荷 •
RNNを用いた文章作成支援システム • 高速に検証を回すためのアーキテクチャ • なぜデータ解析者がインフラもアーキテクチャも見るのか 3
4.
リクルートの紹介 4
5.
リクルートの事業領域 5 58861 2300 ※2016年3月31日時点
6.
リクルートの海外展開 6
7.
リクルートテクノロジーズの立ち位置 7
8.
リクルートにおけるデータ活用 8
9.
リクルートにおける 原稿作成の負荷 9
10.
リクルートにおける(ほぼ全ての)Web サービスの収益モデル • クライアントの情報を リクルートのサービスに掲載頂き、 カスタマー(ユーザー)が リクルートのサービスを利用することで マッチングを成立させるモデル 10
11.
リクルートにおける(ほぼ全ての)Web サービスの変遷 • ほとんどのリクルートのサービス雑誌から始まり、Web、アプリ と時代によって変化していたが、収益モデル自体はほとんど変 化がない。 →クライアントの情報が載った原稿を出す媒体が異なっている だけといえる 11
12.
広告掲載までの流れ(一例) 制作スタッフと担当営業が 日々膨大な原稿を制作しており クリエイティブの質を落とさずに 作成コストを減らすための施策を 講じる余地があまりなかった。 12
13.
Recurrent Neural Networksを用いた 文章作成支援システム 13
14.
Neural Networks • 一般的に言われているNeuralNet(FF型)は下記の通り、何個かのレ イヤをxが順方向に通る事でyとの関係性を学習するもの •
制約としてxもyも次元を固定しなければならない。 (が、自然言語処理に適用する場合多くの問題がある) 14
15.
自然言語処理で起きうるタスク • 文章はそもそも下記の特徴があり、 - 可変長である →
固定長に無理やり変換しなければいけない(e.g. BoW) - 単語の順番によって意味が変わる → 系列性を取り込む構造を持たせなければならない 15
16.
Recurrent Neural Networks(RNNs) •
ネットワークに閉路を持たせることで系列性を考慮した学習を行う事が可能なNeural Network • 閉路を展開すると、FF型のNeuralNetworkと同等の形に展開できるが、系列が長くなる ほどxからyの距離が遠くなるため学習が難しくなる (この問題を一部解決したのがDeepLearningと言われる分野が開拓した領域) 16 閉路を展開
17.
RNNを使った言語モデルの開発 • (言語モデル)=ある単語列が与えられた時に 次に出現する単語の確率を計算するモデル • RNNsに非常に親和性が高く、近年盛り上がっている分 野。 17
18.
文章推薦システムへの応用 • 言語モデルをそのまま利用し、ユーザーが入力した文章の後に 書くであろう文章を数件候補として提案する。 • 候補文を選んでいくと次々に文章を推薦することで、 原稿制作者の”いい表現が思い浮かばない”. “次に何を書けばいいかわからない”のサポートを行う。 18
19.
RNNの学習の方法 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation
Through Time) 19
20.
RNNの学習の方法 20 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation
Through Time)
21.
RNNの学習の方法 21 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation
Through Time)
22.
RNNの学習の方法 22 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation
Through Time)
23.
RNNの学習の方法 23 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation
Through Time)
24.
RNNの学習の方法 24 • RNNに含まれる閉路を時間展開した形で考え、 展開した形でBackPropする (Back Propagation
Through Time)
25.
Truncated BPTT 25 • nを学習する時に隠れ層を適当な所まで見たら、 それ以上の情報を見ない事で超長距離の学習を 行わないようにする
26.
Long Short Term
Memory(LSTMs) • LSTMは内部で学習に必要な情報のみ選択的に貯める • RNNsの中間層をLSTM Blockに置き換えると、 さらに長距離依存の学習を行える。 26 (参考)An Empirical Exploration of Recurrent Network Architectures
27.
Stacked LSTM • LSTMを複数直列したRNN •
入力に近いLSTMが短距離、 遠いLSTMが長距離依存の情報を担当(と言われている) 27
28.
LSTMの亜種 • Gated Recurrent
Unit(GRU), Minimal Gated Unit (MGU), Simple Gated Unit(SGU)が有名 • 論文ではLSTMと比較し性能優位認められず、学習速度、 モデルの大きさが小さいと言われている(正直タスク依存だと思うが) • 業務ではGRUのみ検証したが、最終的にはLSTMを採用 28 Simple Gated Unit (SGU)
29.
言語モデル学習時の課題 • 生成フェーズで誤った単語を 選択してしまうと 文章が成り立たなくなる 問題が報告されている 29 学習時: 目標が常に存在する 生成時:
目標が存在しない Bengio, Samy, et al. "Scheduled sampling for sequence prediction with recurrent neural networks." Advances in Neural Information Processing Systems. 2015.
30.
Scheduled Sampling • 学習時にモデルの出力を確率εで一 部利用 •
生成タスクを早めに機械に 利用させ学習させる事で、 生成時の誤り単語出力確率を 下げる効果がある 30 Bengio, Samy, et al. "Scheduled sampling for sequence prediction with recurrent neural networks." Advances in Neural Information Processing Systems. 2015.
31.
Repetition回避 RNNを言語モデルに応用すると出 力時に同じ単語を 永遠に出力する問題がある →すでに出力された 単語の採用確率を下げる, 出力確率からのサンプリングで 回避 31
32.
最終的な文章推薦のネットワーク • 学習では ScheduledSampling を利用 • 生成では Repetitionを排除する モジュールを接続 32 学習時の構造 生成時の構造
33.
実際の使用例 • 学習時に<eos>を仕込んでおく他、 「☆」、「!」などリクルート特有の文末単語に おいてもルールベースで文末と判定している。 • これを規定された推薦数分実行し、複数出力している。 33
34.
文章推薦システムを 構築する時に考えたい所 34
35.
最初期の文章推薦システム • 開発速度が遅い • APIも遅い •
気づいたら落ちてる • GPUインスタンスの落とし 忘れによる出費が痛い 35
36.
文章推薦システムを構築する時に 考えたい所 • データ解析者として仕事をしているので、 運用をあまり気にせずデータ解析していたい • 推薦能力を落とさずに速度をなるべく早くしたい (欲を言うとお金もかけたくない) 36
37.
文章推薦システムを構築する時に 考えたい所 • データ解析者として仕事をしているので、 運用をあまり気にせずデータ解析していたい →Serverlessの仕組みを積極的に導入 • 推薦能力を落とさずに速度をなるべく早くしたい (欲を言うとお金もかけたくない) →アルゴリズム側の調整とWebサーバのチューニング が必要 37
38.
Serverlessとは (Function as a
Services) • 適当なコードをデプロイすると、あるイベントを元に自動でデプロイしたコードが実行され るサービスのこと。AWSだとLambda, GCPだとCloudFunction 例) - S3に任意のサイズの画像がアップロードされたらデータを64x64にリサイズする - API Gatewayが叩かれたらEC2インスタンスを自動で起動/終了する - RNNのモデルが完成したらメールで通知してくれる 38 イベントを検知して 処理を簡単な処理を実行するマネージドサービス Lambda
39.
最終的に構築した文章推薦システム のアーキテクチャ 39
40.
最終的に構築した文章推薦システム のアーキテクチャ 40
41.
利用したAWSのサービス 41 クリックするだけでAPIの作成、管理、保護ができる マネージドなメッセージキューイングシステム イベントを検知して 処理を簡単な処理を実行するマネージドサービス ≒計算サーバ ≒マネージドなファイルサーバ ≒マネージドなプッシュ通知サービス API Gateway SQS Lambda EC2 S3 SNS 一度デプロイしたら 後はAWSが面倒を見てくれる 自分で管理する必要がある
42.
GPGPUインスタンスを必要な時にだけ 起動し、コストを減らす • 少し立てるだけでお金が湯水のように流れ出すGPGPUインスタンスは学習の時 だけ立て、nvidia-smiが通るかどうかの最低限のチェックだけ行う。 • 通らない場合はTerminateリクエストを送り再度インスタンスを作成する。 →そのためSQSを間に挟んでいる 42
43.
学習の経過観察をメールで通知して 監視コストを減らす • 学習中のモデルを定期的にS3にコピーすると S3のオブジェクト作成イベントが 定期的に発行されるので、 Lambdaで受けてSNS経由でメールで受け取る。 • また学習途中のモデルを使って文章推薦APIの開発を同時 に行うことが可能になる副次的なメリットもある。 43
44.
インスタンス破棄を適切に行い、破棄さ れたかどうかもメールで通知する • AWSのあるURLにGETリクエストを送ると インスタンスIDを取得できるのを利用し、Terminateを行う。 またTerminateの結果を知るためにLambdaの結果を SNSに送る事で結果確認をしている。 44
45.
文章推薦APIの管理コストを減らす • 文章推薦システムを立ち上げる時も学習時と同様の仕組みを使う事で実現。 • 作成されたEC2はオートスケール設定を行った後、ApplicationLoadBalancerに紐 付けされる。 →URLの管理をアプリケーション側で考えければならない 45
46.
CLBとALBについて • Classic Load Balancer -
昔からAWSにあるLoadBalancer - L4 (IP単位)の負荷分散を担当 (L7でも可能) Application Load Balancer - 最近AWSから提供されるように なったLoadBalancer - L7 (URL単位)の負荷分散を担当 (WebSocketやHTTP/2も対応) 46
47.
URLの管理コストを減らす • ALBのURLルールとFlask側のルーティングルールを一致させるのは開 発が面倒。 →ALB登録時にnginx.confを書き換え、ALBとFlask側のURL構造の差を nginxが吸収するように設定。 47
48.
オートスケールするにしろ、1インスタンスのパフォ ーマンスは頑張って最大限まで上げる • 文章推薦APIをFlaskで立てuWSGI配下で複数プロセスを立てる事により 1インスタンスの限界までリクエストを受け取る構成を採用。 • 各FlaskApp内で複数の文候補を生成する箇所に関しても並行処理を行えるように調整 し、数十秒から1秒程度でHTTPResponseを返せるようにチューニング。 48
49.
事業への導入コストも下げる • 事業の原稿入稿システムへの導入難易度を下げるため、予め準備し たjsとcssをHTMLに1行ずつ書くだけで導入完了。 →jsとcssの管理をしたくないのでCloudFront-S3の Content Distributionパターンで管理 49
50.
定期的に行われる再学習の管理 • 機械学習のシステム - 時間が経つと性能劣化する →
定期的に再学習する必要がある →再学習の管理にAzkabanを利用し、 定期的にHTTPRequestをAPIGatewayに送る事で モデルの再学習を行う 50
51.
結局初期の問題は解決したのか • 開発速度が遅い 🙆データを置けばWebで適当にクリックするだけで 学習から文章推薦APIまでデプロイ可能 • APIも遅い 🙆数十秒〜数分→数秒程度に高速化 •
気づいたら落ちてる 🙆気づかなくても落ちない • GPUインスタンスの落とし忘れによる出費が痛い 🙆無料枠の恩恵+適切なインスタンス起動/終了によりAWSのコストが半額 • 運用は楽になったか 🙆楽だけど、仕組みを作るのはしんどかった 52
52.
なぜデータ解析者がインフラも アーキテクチャも見るのか 53
53.
なぜデータ解析の人がインフラや アルゴリズムも気にしなくてはならないのか • インフラエンジニアやアーキテクト :データ解析を知らない • データ解析者:運用を見据えたコードを書かないが、 アルゴリズムの事は少しわかる 54 データ解析者が他の職種の気持ちをわかる事により 非常に効率的な開発を推進することが可能に
54.
データ解析×インフラエンジニア • データ解析とインフラエンジニアは持つ責務が離れている上にスキルも離れているため、対 立しがち • データ解析のスキルは業務において一朝一夕でつくものではなく様々な知識が必要 →データ解析者がインフラエンジニアに歩みよる事でお互いの事情を知った上で 最高のサービスを作る事ができる 55
55.
本日持ち帰って頂きたい事 • リクルートにおける原稿作成は(コア業務なので)非常に作成コストが掛か っており、負担を低減させる仕組みが必要だった • RNNを利用した言語モデルを原稿作成支援システムに適用することで作成 負担がある程度減った。 •
AWSのマネージドサービスを機械学習の技術を用いたサービスに 多用することで、AWS利用費も管理コストも下げる事が可能になった。 • データ解析者が開発物のインフラやアーキテクチャまで 目を向ける事により、良いシステムが短期間で開発できるようになる 56
56.
本日持ち帰って頂きたい事 • リクルートにおける原稿作成は(コア業務なので)非常に作成コストが掛か っており、負担を低減させる仕組みが必要だった • RNNを利用した言語モデルを原稿作成支援システムに適用することで作成 負担がある程度減った。 •
AWSのマネージドサービスを機械学習の技術を用いたサービスに 多用することで、AWS利用費も管理コストも下げる事が可能になった。 • データ解析者が開発物のインフラやアーキテクチャまで 目を向ける事により、良いシステムが短期間で開発できるようになる 57
57.
データ解析だけでなく それを支えるインフラや アーキテクチャまで考えたい人は ぜひ一緒に働きましょう! 58
58.
@nishimuuuuuu リクルートテクノロジーズ ご清聴ありがとうございました。 59
Download now