Submit Search
Upload
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
•
6 likes
•
2,733 views
Yahoo!デベロッパーネットワーク
Follow
本年のWebDBフォーラム2015 http://db-event.jpn.org/webdbf2015/ 技術報告セッションにおけるYahoo! JAPAN発表資料を公開します。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 59
Download now
Download to read offline
Recommended
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
Ken Takao
Google big query × Amazon redshift
Google big query × Amazon redshift
Fumihide Nario
データにまつわるWeb業界の仕事について
データにまつわるWeb業界の仕事について
Masanori Takano
データファースト開発
データファースト開発
Katsunori Kanda
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
Ken Takao
F.O.Xを支える技術
F.O.Xを支える技術
Yuto Suzuki
広告におけるビッグデータの分析事例
広告におけるビッグデータの分析事例
Ken Takao
Recommended
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
Ken Takao
Google big query × Amazon redshift
Google big query × Amazon redshift
Fumihide Nario
データにまつわるWeb業界の仕事について
データにまつわるWeb業界の仕事について
Masanori Takano
データファースト開発
データファースト開発
Katsunori Kanda
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
Ken Takao
F.O.Xを支える技術
F.O.Xを支える技術
Yuto Suzuki
広告におけるビッグデータの分析事例
広告におけるビッグデータの分析事例
Ken Takao
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
AbemaTV Developer Conference 2016
AbemaTV Developer Conference 2016
康洋 板敷
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
Ken Takao
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologies
DataWorks Summit/Hadoop Summit
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
gree_tech
ハイブリッドクラウドで変わるインフラストラクチャ設計
ハイブリッドクラウドで変わるインフラストラクチャ設計
gree_tech
行ってみよう、やってみよう!
行ってみよう、やってみよう!
gree_tech
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
gree_tech
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
gree_tech
[Japan Tech summit 2017] CLD 022
[Japan Tech summit 2017] CLD 022
Microsoft Tech Summit 2017
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法
Takahiro Moteki
All about 開発本部infra部 TASKs
All about 開発本部infra部 TASKs
gree_tech
"フルスタック"セキュリティ
"フルスタック"セキュリティ
gree_tech
第一回☆GREE AI Programming ContestでTensorFlow
第一回☆GREE AI Programming ContestでTensorFlow
gree_tech
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Yahoo!デベロッパーネットワーク
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
Iida Yukako
[Japan Tech summit 2017] PRD 003
[Japan Tech summit 2017] PRD 003
Microsoft Tech Summit 2017
自治体Web service 021114
自治体Web service 021114
伸夫 森本
インフラエンジニアの楽しい標準化活動
インフラエンジニアの楽しい標準化活動
gree_tech
アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」
Makoto Shimizu
とにかくシュッと検索っぽいことをしたい!
とにかくシュッと検索っぽいことをしたい!
Shoot Morii
More Related Content
What's hot
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
AbemaTV Developer Conference 2016
AbemaTV Developer Conference 2016
康洋 板敷
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
Ken Takao
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologies
DataWorks Summit/Hadoop Summit
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
gree_tech
ハイブリッドクラウドで変わるインフラストラクチャ設計
ハイブリッドクラウドで変わるインフラストラクチャ設計
gree_tech
行ってみよう、やってみよう!
行ってみよう、やってみよう!
gree_tech
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
gree_tech
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
gree_tech
[Japan Tech summit 2017] CLD 022
[Japan Tech summit 2017] CLD 022
Microsoft Tech Summit 2017
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法
Takahiro Moteki
All about 開発本部infra部 TASKs
All about 開発本部infra部 TASKs
gree_tech
"フルスタック"セキュリティ
"フルスタック"セキュリティ
gree_tech
第一回☆GREE AI Programming ContestでTensorFlow
第一回☆GREE AI Programming ContestでTensorFlow
gree_tech
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Yahoo!デベロッパーネットワーク
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
Iida Yukako
[Japan Tech summit 2017] PRD 003
[Japan Tech summit 2017] PRD 003
Microsoft Tech Summit 2017
自治体Web service 021114
自治体Web service 021114
伸夫 森本
インフラエンジニアの楽しい標準化活動
インフラエンジニアの楽しい標準化活動
gree_tech
What's hot
(20)
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
AbemaTV Developer Conference 2016
AbemaTV Developer Conference 2016
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
10分でわかるサイバーエージェント広告部門のハイブリッドクラウド環境 公開用
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologies
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
ハイブリッドクラウドで変わるインフラストラクチャ設計
ハイブリッドクラウドで変わるインフラストラクチャ設計
行ってみよう、やってみよう!
行ってみよう、やってみよう!
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
[Japan Tech summit 2017] CLD 022
[Japan Tech summit 2017] CLD 022
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法
All about 開発本部infra部 TASKs
All about 開発本部infra部 TASKs
"フルスタック"セキュリティ
"フルスタック"セキュリティ
第一回☆GREE AI Programming ContestでTensorFlow
第一回☆GREE AI Programming ContestでTensorFlow
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Japan Tech summit 2017] PRD 003
[Japan Tech summit 2017] PRD 003
自治体Web service 021114
自治体Web service 021114
インフラエンジニアの楽しい標準化活動
インフラエンジニアの楽しい標準化活動
Viewers also liked
アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」
Makoto Shimizu
とにかくシュッと検索っぽいことをしたい!
とにかくシュッと検索っぽいことをしたい!
Shoot Morii
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
IoTの世界でデータサイエンスしよう (IBM Datapalooza Tokyo 講演資料)
IoTの世界でデータサイエンスしよう (IBM Datapalooza Tokyo 講演資料)
Mana Nakano
自律連合型基盤システムの構築
自律連合型基盤システムの構築
Kazuhiko Kato
ディスカバリー・ツールとは?
ディスカバリー・ツールとは?
Wataru ONO
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
OCHI Shuji
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
Shohei Hido
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
hnisiji
【IMJ】パネルディスカッション|顧客ロイヤルティ施策とデータドリブンマーケティング(I・CON2014)
【IMJ】パネルディスカッション|顧客ロイヤルティ施策とデータドリブンマーケティング(I・CON2014)
IMJ Corporation
社内外のデータを徹底的に活用する!
社内外のデータを徹底的に活用する!
Talend KK
前処理のための前処理(Tokyo.R#45)
前処理のための前処理(Tokyo.R#45)
Shinya Uryu
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
てかLINEやってる? (Japan.R 2016 LT) #JapanR
てかLINEやってる? (Japan.R 2016 LT) #JapanR
cancolle
スキルアップハウス『x-garden桜台』コンセプト資料
スキルアップハウス『x-garden桜台』コンセプト資料
Uchino Masahiro
情報抽出入門 〜非構造化データを構造化させる技術〜
情報抽出入門 〜非構造化データを構造化させる技術〜
Yuya Unno
機械学習するな機会学習しろ - データサイエンスLT祭り 2夜目
機械学習するな機会学習しろ - データサイエンスLT祭り 2夜目
cancolle
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
matsu_chara
Viewers also liked
(20)
アクセス解析サミット2011「データドリブンなチームを目指せ」
アクセス解析サミット2011「データドリブンなチームを目指せ」
とにかくシュッと検索っぽいことをしたい!
とにかくシュッと検索っぽいことをしたい!
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
IoTの世界でデータサイエンスしよう (IBM Datapalooza Tokyo 講演資料)
IoTの世界でデータサイエンスしよう (IBM Datapalooza Tokyo 講演資料)
自律連合型基盤システムの構築
自律連合型基盤システムの構築
ディスカバリー・ツールとは?
ディスカバリー・ツールとは?
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
デブサミ関西2013 「ソーシャルゲームのデータサイエンス」
Jubatusが目指すインテリジェンス基盤
Jubatusが目指すインテリジェンス基盤
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
Tokyo r#10 Rによるデータサイエンス 第五章:クラスター分析
【IMJ】パネルディスカッション|顧客ロイヤルティ施策とデータドリブンマーケティング(I・CON2014)
【IMJ】パネルディスカッション|顧客ロイヤルティ施策とデータドリブンマーケティング(I・CON2014)
社内外のデータを徹底的に活用する!
社内外のデータを徹底的に活用する!
前処理のための前処理(Tokyo.R#45)
前処理のための前処理(Tokyo.R#45)
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
てかLINEやってる? (Japan.R 2016 LT) #JapanR
てかLINEやってる? (Japan.R 2016 LT) #JapanR
スキルアップハウス『x-garden桜台』コンセプト資料
スキルアップハウス『x-garden桜台』コンセプト資料
情報抽出入門 〜非構造化データを構造化させる技術〜
情報抽出入門 〜非構造化データを構造化させる技術〜
機械学習するな機会学習しろ - データサイエンスLT祭り 2夜目
機械学習するな機会学習しろ - データサイエンスLT祭り 2夜目
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
Kafkaを使った マイクロサービス基盤 part2 +運用して起きたトラブル集
Similar to データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データ分析基盤について
データ分析基盤について
Yuta Inamura
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!デベロッパーネットワーク
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Nanae Matsushima
20160225 interspace system_summary
20160225 interspace system_summary
Smz Nbys
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
第3回広告貢献度可視化セミナー 第1部 スライド資料
第3回広告貢献度可視化セミナー 第1部 スライド資料
ad-ron
統合キャンペーン管理プラットフォーム概要
統合キャンペーン管理プラットフォーム概要
Go Sugihara
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
Recruit Lifestyle Co., Ltd.
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
Yahoo!デベロッパーネットワーク
IBM on Demandセミナー IBM POWER8とDB2 BLUで最適なアナリティクス環境
IBM on Demandセミナー IBM POWER8とDB2 BLUで最適なアナリティクス環境
Takayuki Nakayama
データサイエンスセミナー 【found IT project #8】
データサイエンスセミナー 【found IT project #8】
Tetsuya Yoshida
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
IBMメインフレームデータのオープンシステム活用の様々な課題をPrecisely Connectが解決!
IBMメインフレームデータのオープンシステム活用の様々な課題をPrecisely Connectが解決!
Precisely
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
Case study of online machine learning for display advertising in Yahoo! JAPAN
Case study of online machine learning for display advertising in Yahoo! JAPAN
DataWorks Summit/Hadoop Summit
IBMのITインフラビジョン
IBMのITインフラビジョン
IBM Systems @ IBM Japan, Ltd.
kintone Cafe 新潟 Vol.3
kintone Cafe 新潟 Vol.3
Masataka Isa
Similar to データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
(20)
データ分析基盤について
データ分析基盤について
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
Tableau Conference On Tokyo 2015_ソーシャルメディアデータ活用の5つの戦略_Five Strategies Social ...
20160225 interspace system_summary
20160225 interspace system_summary
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
第3回広告貢献度可視化セミナー 第1部 スライド資料
第3回広告貢献度可視化セミナー 第1部 スライド資料
統合キャンペーン管理プラットフォーム概要
統合キャンペーン管理プラットフォーム概要
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
売上に効くデータ組織~データから売上や利益を作るために何をしているか~
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
IBM on Demandセミナー IBM POWER8とDB2 BLUで最適なアナリティクス環境
IBM on Demandセミナー IBM POWER8とDB2 BLUで最適なアナリティクス環境
データサイエンスセミナー 【found IT project #8】
データサイエンスセミナー 【found IT project #8】
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
IBMメインフレームデータのオープンシステム活用の様々な課題をPrecisely Connectが解決!
IBMメインフレームデータのオープンシステム活用の様々な課題をPrecisely Connectが解決!
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Case study of online machine learning for display advertising in Yahoo! JAPAN
Case study of online machine learning for display advertising in Yahoo! JAPAN
IBMのITインフラビジョン
IBMのITインフラビジョン
kintone Cafe 新潟 Vol.3
kintone Cafe 新潟 Vol.3
More from Yahoo!デベロッパーネットワーク
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
More from Yahoo!デベロッパーネットワーク
(20)
ゼロから始める転移学習
ゼロから始める転移学習
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
LakeTahoe
LakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Recently uploaded
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
Recently uploaded
(9)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
1.
データサイエンスを支える基盤と そのテクノロジー ヤフー株式会社 データ&サイエンスソリューション統括本部 データインフラ本部 開発1部 部長 小林
直哉
2.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
3.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
4.
5.
6.
7.
データ で
8.
79% Yahoo! JAPAN利用率79% ニールセン2014年 日本のインターネットサービス利用者数ランキングを発表~
Nielsen NetView 家庭および職場のPCからの利用 インターネット利用者総数5200万人のうち、 79%の皆様がヤフーを利用
9.
2億7000万以上 アプリ累計ダウンロード数 “Yahoo! JAPAN”、“天気”、“防災速報”,”乗換案内”、 “カーナビ”など、ランキング1位獲得アプリも多数
10.
事業領域 マーケティング ソリューション事業 3,042億円 69.4% コンシューマ事業 1,020億円 23.2% % その他 323億円 7.4% 2014年度通期および第4四半期決算より
11.
18期連続増収増益 18 15 16 17 サービス開始以来、18期連続で増収増益を達成 2014年度の売上高は4284億円、営業利益は1972億円 2014年度通期および第4四半期決算より
12.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
13.
ヤフーのビッグデータ?
14.
サービス数 メディア、コマース、エンターテインメント、コミュニケー ション、金融・決済など、幅広い分野でサービスを展開 100以上
15.
100以上のデータバラエティ 検索キーワード、ビュー/クリック、コンテンツ、購買情報、 ツイートなど、多様なデータを活用可能 100以上
16.
膨大なデータボリューム 月間649億ページビュー 1日8,300万ユニークブラウザ 649億PV
17.
約50,000アクセス in 1sec
18.
Variety Volume Velocity
19.
ヤフーはビッグデータカンパニー Variety Volume Velocity
20.
Yahoo! JAPANはインターネット複合企業 Media JP US Search C2C
EC B2C EC ニュース 検索 Answer 知恵袋
21.
Media JP US Search C2C EC
B2C EC ニュース 検索 Answer 知恵袋 日本市場No.1のサービスを保有している
22.
Media JP US Search C2C EC
B2C EC ニュース 検索 Answer 知恵袋 Yahoo! JAPAN IDで連結されている 100以上のサービス・ビジネスデータと連結
23.
ヤフーは多数のビッグデータを抱えた マルチビッグデータカンパニー
24.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
25.
あなたへのおすすめ
26.
検索キーワード入力補助 言葉の一部を入力すると、 残りのワードをサジェストする
27.
おすすめ商品をレコメンド
28.
検索結果の最適化
29.
広告表示の最適化
30.
自動画像クロッピング 画像処理で人物の顔を 自動的にクロッピングする 適用前 適用後
31.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
32.
データ分析基盤とそのテクノロジー ① データパイプライン環境 ② データ処理環境
33.
基盤:データパイプライン環境 多種多様な大量のデータを収集できる 収集データサイズ 約125TB/日 独自パイプライン システム
34.
基盤:データ処理環境 多種多様な大量のデータを格納し処理できる 6,000台の処理環境 (最大クラスタは3,000台) 独自パイプライン システム
35.
基盤:データ分析基盤の活用 多種多様な大量のデータを活用できる 広告配信 ターゲティング アドホック 予測モデル 独自パイプライン システム
36.
多種多様な大量のデータを収集できる データパイプライン環境がある 多種多様な大量のデータを格納し処理できる データ分析環境がある データ分析基盤とそのテクノロジー
37.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
38.
広告最適化における分析基盤利用の実例 ① デモグラフィック推定 ② クリック予測モデル作成
39.
広告最適化における分析基盤利用の実例 ① デモグラフィック推定 ② クリック予測モデル作成
40.
広告最適化:デモグラフィック推定概要 デモグラフィック推定で対象を増やす 男性には男性向けの広告 女性には女性向けの広告 ログインのみ ログイン+推定
41.
広告最適化:デモグラフィック推定概要 行動履歴から性別を推定する 乳液(検索キーワードログ) Yahoo! BEAUTY(アクセスログ)
42.
広告最適化:デモグラフィック推定概要 推定結果から広告を配信する 乳液(検索キーワードログ) Yahoo! BEAUTY(アクセスログ) 女性向け広告を配信 推定
43.
広告最適化:デモグラフィック推定概要 収集データを分析基盤で学習し推定する 検索ログ アクセスログ (URL・ドメイン) 等 広告配信サーバ 機械学習 推定結果
44.
広告最適化における分析基盤利用の実例 ① デモグラフィック推定 ② クリック予測モデル作成
45.
広告最適化:クリック予測概要 データを収集する 乳液(検索キーワードログ) 一眼レフ(検索キーワードログ) Yahoo! BEAUTY(アクセスログ) ショッピングのカメラカテゴリ(アクセスログ) 女性向けカメラの広告 女性向けゲームの広告 女性向け旅行の広告 広告 入稿
46.
広告最適化:クリック予測概要 クリック予測結果から最適な広告を配信する 乳液(検索キーワードログ) 一眼レフ(検索キーワードログ) Yahoo! BEAUTY(アクセスログ) ショッピングのカメラカテゴリ(アクセスログ) クリック 予測 女性向け カメラの広告を配信 女性向けカメラの広告 女性向けゲームの広告 女性向け旅行の広告 広告 入稿
47.
広告最適化:クリック予測概要 分析基盤で学習したクリック予測結果に基づき配信する 広告配信ログ 広告クリックログ 配信広告タイトル 広告配信ページクロールデータ 広告配信サーバ データ結合&整形 クリックした (100%) クリックされない (サンプリング) 機械学習 数百GBのメモリを積んだ モンスターマシンで学習 モデル 乳液(検索キーワードログ) 一眼レフ(検索キーワードログ) Yahoo! BEAUTY(アクセスログ) ショッピングのカメラカテゴリ(アクセスログ)
48.
アジェンダ 1. Yahoo! JAPAN
のご紹介 2. マルチビッグデータ 3. データサイエンスのビジネス活用事例 4. データ分析基盤とそのテクノロジー 5. 広告最適化における分析基盤利用の実例 6. 進化するデータ分析基盤
49.
大量のデータを扱える スマホアプリ・位置情報・IoT・オフラインデータ 高速に処理できる 長期間・組み合わせ・DeepLearning(画像・音声解析)
高効率である サーバ・ネットワーク・場所・電力・運用 新しい取り組みをすぐに試せる 新しいデータ・新しいOSS・新しいアルゴリズム 進化:データ分析環境で大事なこと
50.
進化:課題は進化のスピード データと処理量は指数関数的に増加 CPU・メモリ・HDD・ネットワークの進化では間に合わない 新しいデータ分析技術の開発が活発化 独自技術の開発では間に合わない 進化を加速させる必要がある
51.
進化:基盤の進化を加速させる クローズドからオープンへ 試行錯誤を高速に繰り返す
52.
と 技術提携 進化:基盤の進化を加速させる OSS共同研究開発への投資
53.
多種多様なデータを収集する技術(構築) クローズドな独自パイプラインからオープンなKafkaへ • OSS開発サイクルによる早い機能追加 •
オープンなインタフェースによる高い接続性と拡張性 進化:大量のデータを扱える技術の開発 HDFS Erasure Code Storage データ保存効率を向上させる技術(開発) 誤り訂正符号による高い冗長性と保存効率の向上 • 信頼性が向上(2-冗長 → 3-冗長) • 保存効率が向上(元データの3倍 → 1.5倍)
54.
LLAP - long-lived
execution in Hive 多様なデータを高速に処理する技術(検証) GPUクラスタによりさらに高速にデータを処理 シングルGPU(既利用)からマルチGPU・マルチGPUサーバへ • 画像・音声データ等の高コストデータの処理 • 機械学習 • Deep Learning データ処理効率を向上させる技術(開発) HiveクエリをFragmentに分けて常駐プロセスで処理 • 起動時間の短縮 • データのキャッシュ • 最適化効果の向上 進化:高速に処理できる技術の開発
55.
進化:高効率な技術の導入 効率を追求したハードウェア技術(導入) オープンなハードウェアによる高効率な処理環境 OCP(Open Compute
Project) • サーバ費用の削減 • 消費電力の削減 • 設置スペースの削減 • 現地作業時間の削減 • データ移行コストの削減
56.
リサーチ環境(設計) 本番のデータで新しい取り組みをすぐに試せる環境 進化:新しい取り組みを試せる環境の提供 本番環 境 リサーチ環境 効果をすぐに確認できる 問題を事前に把握できる 10% クラスタ規模 10%
データ送信 100% ジョブ投入 新しいデータ 最新のバージョン 新しいOSS 新しいアルゴリズム 等の導入が早まる(はず) 最新のバージョンテスト 新しい改善の投入 新しい取り組みの投入 本番環境は安定運用が最優 先
57.
マルチビッグデータがある ビジネスにデータサイエンスを活用している
データサイエンスを支えるデータ分析基盤がある データ分析基盤は進化している チャレンジできる環境がある まとめ
58.
データ で
59.
ご清聴ありがとうございました
Download now