Submit Search
Upload
データファースト開発
•
31 likes
•
9,882 views
Katsunori Kanda
Follow
開発チームのためのデータ分析環境の構築と継続的改善の仕組み 2015.10.14 @ Developers Summit 2015 Autumn
Read less
Read more
Technology
Slideshow view
Report
Share
Slideshow view
Report
Share
1 of 22
Download now
Download to read offline
Recommended
阿南高専にて 2015/12/22
データにまつわるWeb業界の仕事について
データにまつわるWeb業界の仕事について
Masanori Takano
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
本年のWebDBフォーラム2015 http://db-event.jpn.org/webdbf2015/ 技術報告セッションにおけるYahoo! JAPAN発表資料を公開します。
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
Cloudera World Tokyo 2015の発表資料 https://clouderaworld.tokyo/session/
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
Hadoop Conference Japan 2016 の発表資料 前半のCloudera嶋内さん発表パートはこちら http://www.slideshare.net/Cloudera_jp/hcj2016-hadoopetl-20160208
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Makoto SHIMURA
2016年7月25日開催 「夏真っ盛り!Spark + Python + Data Science祭り」
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!デベロッパーネットワーク
GREE Tech Conference 2020 で発表された資料です。 https://techcon.gree.jp/2020/session/ShortSession-3
All about 開発本部infra部 TASKs
All about 開発本部infra部 TASKs
gree_tech
Recommended
阿南高専にて 2015/12/22
データにまつわるWeb業界の仕事について
データにまつわるWeb業界の仕事について
Masanori Takano
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
本年のWebDBフォーラム2015 http://db-event.jpn.org/webdbf2015/ 技術報告セッションにおけるYahoo! JAPAN発表資料を公開します。
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
Cloudera World Tokyo 2015の発表資料 https://clouderaworld.tokyo/session/
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
Hadoop Conference Japan 2016 の発表資料 前半のCloudera嶋内さん発表パートはこちら http://www.slideshare.net/Cloudera_jp/hcj2016-hadoopetl-20160208
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Makoto SHIMURA
2016年7月25日開催 「夏真っ盛り!Spark + Python + Data Science祭り」
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo! JAPANが持つデータ分析ソリューションの紹介 #yjdsnight
Yahoo!デベロッパーネットワーク
GREE Tech Conference 2020 で発表された資料です。 https://techcon.gree.jp/2020/session/ShortSession-3
All about 開発本部infra部 TASKs
All about 開発本部infra部 TASKs
gree_tech
2022/3/11 に行われた Observability Conference 2022 での資料です。 Observability tool の「New Relic One」の事例登壇として参加させていただきました。 === Track A 2022/03/11 15:05-15:45 『NewsPicks のプロダクト開発エンジニアが実践する スキルとしての SRE』 https://event.cloudnativedays.jp/o11y2022/talks/1383
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
Iida Yukako
「AWS クラウド移行セミナー」で発表された資料です。
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
gree_tech
Developers Summit 2016 Summer 【A-1】八子様の資料です。
【A-1】すべてがつながるIoT時代の共創のあり方
【A-1】すべてがつながるIoT時代の共創のあり方
Developers Summit
Developers Summit 2016 【19-B-1】和智様の資料です。
【19-B-1】情シスの中のアーキテクト ~ソフトウェアアーキテクチャを超えて~
【19-B-1】情シスの中のアーキテクト ~ソフトウェアアーキテクチャを超えて~
Developers Summit
Scala, F.O.X
F.O.Xを支える技術
F.O.Xを支える技術
Yuto Suzuki
[社内合同勉強会]@20170222
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
Takahiro Moteki
グリー開発本部 Meetup #5 U30 で発表された資料です https://gree.connpass.com/event/143875/
行ってみよう、やってみよう!
行ってみよう、やってみよう!
gree_tech
[CROSS 2016] Google big query × Amazon redshift
Google big query × Amazon redshift
Google big query × Amazon redshift
Fumihide Nario
HDE DAY 2014 TOKYOで発表された資料です。 http://www.hde.co.jp/hdeday/
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
Developers Summit 2016 【19-D-2】菱沼様の資料です。
【19-D-2】今更聞けない!?インフラ選定のケーススタディ「ベアメタルクラウド」を活用した最適な環境構築をするためのポイントはなんだ!?
【19-D-2】今更聞けない!?インフラ選定のケーススタディ「ベアメタルクラウド」を活用した最適な環境構築をするためのポイントはなんだ!?
Developers Summit
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!デベロッパーネットワーク
TensorFlow User Group #5 で発表された資料です。 https://tfug-tokyo.connpass.com/event/56100/
第一回☆GREE AI Programming ContestでTensorFlow
第一回☆GREE AI Programming ContestでTensorFlow
gree_tech
第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!」2013年3月9日 http://websig247.jp/meeting/32/ チームラボ佐伯さん,高須さんの発表資料です。
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
WebSig24/7
「WFS Tech Talk #2」で発表された資料です。 https://gree.connpass.com/event/158257/
リリースを支える負荷測定
リリースを支える負荷測定
gree_tech
「Akamai Security Conference 2019」で発表された資料です。 https://www.event-entry.net/akamai/sc2019/
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
gree_tech
DevLOVE Xで発表した資料です。 https://devlove.wixsite.com/devlovex タイトルごとに直面した課題と、その課題を乗り越えるためにどのようなアーキテクチャを設計したのかを説明しました。
スタートアップで培ったアーキテクチャ設計ノウハウ
スタートアップで培ったアーキテクチャ設計ノウハウ
Masakazu Matsushita
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
DataWorks Summit/Hadoop Summit
サイバーエージェントアドテクスタジオで利用しているHadoop基盤「MapR M7」の利用事例について話した時の資料です。
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
Ken Takao
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
夏真っ盛り!Spark + Python + Data Science祭り 発表資料 http://connpass.com/event/34680/
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Nagato Kasaki
成城大学 経営情報論
ソーシャル系Webサービスのデータを用いた社会科学 資料
ソーシャル系Webサービスのデータを用いた社会科学 資料
Masanori Takano
TableauとGoogle Cloud Platformをヘビーに使っているアドテクスタジオですが、今回イベントでどのように利用しているかを話してきました。その時の資料です。
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
Ken Takao
More Related Content
What's hot
2022/3/11 に行われた Observability Conference 2022 での資料です。 Observability tool の「New Relic One」の事例登壇として参加させていただきました。 === Track A 2022/03/11 15:05-15:45 『NewsPicks のプロダクト開発エンジニアが実践する スキルとしての SRE』 https://event.cloudnativedays.jp/o11y2022/talks/1383
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
Iida Yukako
「AWS クラウド移行セミナー」で発表された資料です。
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
gree_tech
Developers Summit 2016 Summer 【A-1】八子様の資料です。
【A-1】すべてがつながるIoT時代の共創のあり方
【A-1】すべてがつながるIoT時代の共創のあり方
Developers Summit
Developers Summit 2016 【19-B-1】和智様の資料です。
【19-B-1】情シスの中のアーキテクト ~ソフトウェアアーキテクチャを超えて~
【19-B-1】情シスの中のアーキテクト ~ソフトウェアアーキテクチャを超えて~
Developers Summit
Scala, F.O.X
F.O.Xを支える技術
F.O.Xを支える技術
Yuto Suzuki
[社内合同勉強会]@20170222
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
Takahiro Moteki
グリー開発本部 Meetup #5 U30 で発表された資料です https://gree.connpass.com/event/143875/
行ってみよう、やってみよう!
行ってみよう、やってみよう!
gree_tech
[CROSS 2016] Google big query × Amazon redshift
Google big query × Amazon redshift
Google big query × Amazon redshift
Fumihide Nario
HDE DAY 2014 TOKYOで発表された資料です。 http://www.hde.co.jp/hdeday/
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
gree_tech
Developers Summit 2016 【19-D-2】菱沼様の資料です。
【19-D-2】今更聞けない!?インフラ選定のケーススタディ「ベアメタルクラウド」を活用した最適な環境構築をするためのポイントはなんだ!?
【19-D-2】今更聞けない!?インフラ選定のケーススタディ「ベアメタルクラウド」を活用した最適な環境構築をするためのポイントはなんだ!?
Developers Summit
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!デベロッパーネットワーク
TensorFlow User Group #5 で発表された資料です。 https://tfug-tokyo.connpass.com/event/56100/
第一回☆GREE AI Programming ContestでTensorFlow
第一回☆GREE AI Programming ContestでTensorFlow
gree_tech
第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!」2013年3月9日 http://websig247.jp/meeting/32/ チームラボ佐伯さん,高須さんの発表資料です。
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
WebSig24/7
「WFS Tech Talk #2」で発表された資料です。 https://gree.connpass.com/event/158257/
リリースを支える負荷測定
リリースを支える負荷測定
gree_tech
「Akamai Security Conference 2019」で発表された資料です。 https://www.event-entry.net/akamai/sc2019/
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
gree_tech
DevLOVE Xで発表した資料です。 https://devlove.wixsite.com/devlovex タイトルごとに直面した課題と、その課題を乗り越えるためにどのようなアーキテクチャを設計したのかを説明しました。
スタートアップで培ったアーキテクチャ設計ノウハウ
スタートアップで培ったアーキテクチャ設計ノウハウ
Masakazu Matsushita
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
DataWorks Summit/Hadoop Summit
サイバーエージェントアドテクスタジオで利用しているHadoop基盤「MapR M7」の利用事例について話した時の資料です。
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
Ken Takao
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
夏真っ盛り!Spark + Python + Data Science祭り 発表資料 http://connpass.com/event/34680/
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Nagato Kasaki
What's hot
(20)
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
[Observability conference 2022/3/11] NewsPicks のプロダクト開発エンジニアが実践するスキルとしての SRE
グリーにおけるAWS移行の必然性
グリーにおけるAWS移行の必然性
【A-1】すべてがつながるIoT時代の共創のあり方
【A-1】すべてがつながるIoT時代の共創のあり方
【19-B-1】情シスの中のアーキテクト ~ソフトウェアアーキテクチャを超えて~
【19-B-1】情シスの中のアーキテクト ~ソフトウェアアーキテクチャを超えて~
F.O.Xを支える技術
F.O.Xを支える技術
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
行ってみよう、やってみよう!
行ってみよう、やってみよう!
Google big query × Amazon redshift
Google big query × Amazon redshift
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
クラウドの積極的利活用による生産性向上と経営に寄与する仕組みづくり
【19-D-2】今更聞けない!?インフラ選定のケーススタディ「ベアメタルクラウド」を活用した最適な環境構築をするためのポイントはなんだ!?
【19-D-2】今更聞けない!?インフラ選定のケーススタディ「ベアメタルクラウド」を活用した最適な環境構築をするためのポイントはなんだ!?
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
Yahoo!ブラウザーアプリのプロダクトマネージャーが考えていること
第一回☆GREE AI Programming ContestでTensorFlow
第一回☆GREE AI Programming ContestでTensorFlow
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
上司が信用できない会社の内部統制~第32回WebSig会議「便利さと、怖さと、心強さと〜戦う会社のための社内セキュリティ 2013年のスタンダードとは?!...
リリースを支える負荷測定
リリースを支える負荷測定
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
グリーのセキュリティ戦略:組織改革成功の秘訣と新たな課題への取り組み
スタートアップで培ったアーキテクチャ設計ノウハウ
スタートアップで培ったアーキテクチャ設計ノウハウ
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
MapR Hadoop M7 in CyberAgent AdTech Studio
MapR Hadoop M7 in CyberAgent AdTech Studio
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Viewers also liked
成城大学 経営情報論
ソーシャル系Webサービスのデータを用いた社会科学 資料
ソーシャル系Webサービスのデータを用いた社会科学 資料
Masanori Takano
TableauとGoogle Cloud Platformをヘビーに使っているアドテクスタジオですが、今回イベントでどのように利用しているかを話してきました。その時の資料です。
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
Ken Takao
第13回ネットワーク生態学シンポジウム アピールタイム用スライド
社会関係の強さに基づく社会的グルーミング戦略の適応性
社会関係の強さに基づく社会的グルーミング戦略の適応性
Masanori Takano
データサイエンスLT祭り 1日目 発表資料 #dslt祭り
サラリーマンのための計算社会科学
サラリーマンのための計算社会科学
Masanori Takano
Masanori Takano, Kazuya Wada, and Ichiro Fukuda, "How Do Newcomers Blend into a Group?: Study on a Social Network Game", 3rd International Workshop on Data Oriented Constructive Mining and Multi-Agent Simulation (DOCMAS) & 7th International Workshop on Emergent Intelligence on Networked Agents (WEIN) (workshop at WI-IAT 2015), 2015.
How Do Newcomers Blend into a Group?: Study on a Social Network Game
How Do Newcomers Blend into a Group?: Study on a Social Network Game
Masanori Takano
Tableau Conference On Tour 2015 Tokyoで登壇した際の資料です。 サイバーエージェント アドテクスタジオでは複数の広告部門・子会社より構成されており、広告のビッグデータをTableauを利用して可視化し、業務に役立てています。 今回どのような基盤で、どのような解析をしているかについて発表させていただきました。
広告におけるビッグデータの分析事例
広告におけるビッグデータの分析事例
Ken Takao
Viewers also liked
(6)
ソーシャル系Webサービスのデータを用いた社会科学 資料
ソーシャル系Webサービスのデータを用いた社会科学 資料
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
How to work Tableau x Google Cloud Platform in CyberAgent AdTech Studio
社会関係の強さに基づく社会的グルーミング戦略の適応性
社会関係の強さに基づく社会的グルーミング戦略の適応性
サラリーマンのための計算社会科学
サラリーマンのための計算社会科学
How Do Newcomers Blend into a Group?: Study on a Social Network Game
How Do Newcomers Blend into a Group?: Study on a Social Network Game
広告におけるビッグデータの分析事例
広告におけるビッグデータの分析事例
Similar to データファースト開発
2015年4月16日に開催されました、「Agile Japan 2015」で発表させていただいた資料の詳細版です。 http://www.agilejapan.org/ プロジェクトメトリクスによる具体的な改善の実践例、およびマネージャ層の方との協力のあり方についてまとめています。 あなたのチーム・組織の改善のヒントになれば幸いです。
CIサーバを制圧せよ! - プロジェクトメトリクスと自動化技術の活用よる混乱の収拾と「最強」の組織の育成
CIサーバを制圧せよ! - プロジェクトメトリクスと自動化技術の活用よる混乱の収拾と「最強」の組織の育成
Rakuten Group, Inc.
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
dstn
「JXUGC #24 春の App Center 祭り」発表資料 https://jxug.connpass.com/event/72491/
App center analyticsを使い倒そう
App center analyticsを使い倒そう
Atsushi Nakamura
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
Insight Technology, Inc.
グリー開発本部 Meetup #1 DataEngConf NYC報告会で発表された資料です。 https://gree.connpass.com/event/107057/
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
gree_tech
グリー開発本部 Meetup #1 DataEngConf NYC報告会で発表された資料です。 https://gree.connpass.com/event/107057/
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
Takashi Suzuki
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
taiju higashi
第2回 八王子 AI (2019年8月24日開催) LT資料 初心者向けの QnA Maker および LUIS の紹介
チャットボットの自然言語処理
チャットボットの自然言語処理
Yoshitaka Seo
2018年3月26日に行われた iOS Test Night #7 で登壇した発表資料です。
Visual Studio App Centerで始めるCI/CD(iOS)
Visual Studio App Centerで始めるCI/CD(iOS)
Shinya Nakajima
Rsj2013 sekiyama 3
Rsj2013 sekiyama 3
openrtm
リクルートライフスタイルの全サービス横断で、ログデータ(システム系ログやユーザ行動ログなど)をリアルタイムに収集・可視化・分析する基盤を構築するプロジェクトのご紹介 RCO Study Night #3 - Spark・Scala勉強会 ( https://atnd.org/events/72146 ) にて発表
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
Recruit Lifestyle Co., Ltd.
クラウド型データベース「kintone」のご紹介 @DataSpider DevConn Hackathon
170520 DataSpider DevConn Hackathon
170520 DataSpider DevConn Hackathon
kintone papers
BPStudy #88 http://bpstudy.connpass.com/event/10139/
connpass特徴と開発の流れ
connpass特徴と開発の流れ
Ikeda Yosuke
「ゼロから作るDeep Learning2(自然言語処理編) 輪読&勉強会 #3」 (2018年8月10日開催) LT資料 機械学習・深層学習に詳しい方に向けて「あえて」QnA Maker を紹介しました。
QnA Maker 逆入門
QnA Maker 逆入門
Yoshitaka Seo
2015/05/31 Bizreach✕Cookpad✕Gunosy✕UserLocal 分析プラットホームとその技術で発表した内容です
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
tetsuro ito
Spark Casual Talk #1の発表資料です。 spark summit 2015の
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
2018年3月19日に行われた Android Test Night #3 で登壇した発表資料です。
Visual Studio App Centerで始めるCI/CD(Android)
Visual Studio App Centerで始めるCI/CD(Android)
Shinya Nakajima
2018-03-03 セキュリティ・ミニキャンプ in 四国 2018(徳島) 専門講義「クラウドではじめるリアルタイムデータ分析」
クラウドではじめるリアルタイムデータ分析 #seccamp
クラウドではじめるリアルタイムデータ分析 #seccamp
Masahiro NAKAYAMA
2018/08/02(木)におこなわれた shibuya.apk #27 でLTした資料です。 https://shibuya-apk.connpass.com/event/94402/
Visual Studio App CenterでAndroid開発にCI/CDを導入しよう
Visual Studio App CenterでAndroid開発にCI/CDを導入しよう
Shinya Nakajima
【中級者向け】データ基盤の機能の考え方 https://sqlserver.connpass.com/event/210962/ 2021/07/24 登壇資料
Data platformdesign
Data platformdesign
Ryoma Nagata
Similar to データファースト開発
(20)
CIサーバを制圧せよ! - プロジェクトメトリクスと自動化技術の活用よる混乱の収拾と「最強」の組織の育成
CIサーバを制圧せよ! - プロジェクトメトリクスと自動化技術の活用よる混乱の収拾と「最強」の組織の育成
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
2014年4月17日 dstnHub発表スライド「dataspiderインターナル:アーキテクチャ編」
App center analyticsを使い倒そう
App center analyticsを使い倒そう
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
DataEngConf NYC’18 セッションサマリー #1
DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
[Gree] DataEngConf NYC’18 セッションサマリー #1
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
俺のローカル開発環境 - MTDDC Meetup NAGOYA 2014
チャットボットの自然言語処理
チャットボットの自然言語処理
Visual Studio App Centerで始めるCI/CD(iOS)
Visual Studio App Centerで始めるCI/CD(iOS)
Rsj2013 sekiyama 3
Rsj2013 sekiyama 3
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
170520 DataSpider DevConn Hackathon
170520 DataSpider DevConn Hackathon
connpass特徴と開発の流れ
connpass特徴と開発の流れ
QnA Maker 逆入門
QnA Maker 逆入門
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
20150531分析プラットホームとその技術(bizreach) cookpad ito #dcube_analysis
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Visual Studio App Centerで始めるCI/CD(Android)
Visual Studio App Centerで始めるCI/CD(Android)
クラウドではじめるリアルタイムデータ分析 #seccamp
クラウドではじめるリアルタイムデータ分析 #seccamp
Visual Studio App CenterでAndroid開発にCI/CDを導入しよう
Visual Studio App CenterでAndroid開発にCI/CDを導入しよう
Data platformdesign
Data platformdesign
More from Katsunori Kanda
Airflow Study #1にて発表した資料です。Airflow2.0へ移行を考えている方に向けて公式の移行手順の解説とクラウド環境別の移行手順を解説しています。 https://finatext.connpass.com/event/214704/
Airflow 2.0 migration ガイド
Airflow 2.0 migration ガイド
Katsunori Kanda
Tech x Marketing meetup #2 https://techxmarketing.connpass.com/event/177792/
Web Privacy Survival Guide
Web Privacy Survival Guide
Katsunori Kanda
電通デジタルではワークフローエンジンとしてAWS Fargate上に構築したAirflowを利用しています。 この発表に含まれること なぜAirflowを導入したのか? AWS Glue / Airflow on AWS EKS / GCP Cloud Composer との比較 AirflowをAWS Fargate上に構築する方法 Airflowを運用しておきた問題と対応
Airflowを広告データのワークフローエンジンとして運用してみた話
Airflowを広告データのワークフローエンジンとして運用してみた話
Katsunori Kanda
Bazelを使ってDataflowアプリをビルドするとつらかったという話。gRPC+golangの組み合わせであればそれなりに使える。
BazelでビルドしたアプリをGCPにデプロイしようとしてハマった話
BazelでビルドしたアプリをGCPにデプロイしようとしてハマった話
Katsunori Kanda
GCSを使って静的なサイトをホストするための手順を解説します
GCSでstatic web hosting
GCSでstatic web hosting
Katsunori Kanda
kubernetesのCRIとは何か?という疑問に応えるべく、コンテナの歴史とOCIコンテナ標準仕様について整理をした。
Dockerだけではないコンテナのはなし
Dockerだけではないコンテナのはなし
Katsunori Kanda
ROS Japan UG#10 での発表資料。RealseSense + Crazyflieで制御して見た話。
RealSenseを使ってCrazyflieを自律飛行させてみた
RealSenseを使ってCrazyflieを自律飛行させてみた
Katsunori Kanda
社内で開催したROS勉強会の発表資料です。ROSに接続されたKinectから取得した画像から物体検出をする仕組みについて発表しました。
KINECT WITH ROS
KINECT WITH ROS
Katsunori Kanda
社内で開催したDocker初心者向け勉強会での発表資料です
Docker超入門
Docker超入門
Katsunori Kanda
これからはじめるHadoop/Spark発表資料 http://hadoop.connpass.com/event/27345/
Hadoopことはじめ
Hadoopことはじめ
Katsunori Kanda
scalaをプロダクションで使っていこうとした経緯と導入した結果。現在抱えている課題など。
20150207 何故scalaを選んだのか
20150207 何故scalaを選んだのか
Katsunori Kanda
SOSP'13で発表された「Discretized Streams: Fault-Tolerant Streaming Computation at Scale」の日本語解説.
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Katsunori Kanda
自動テストのすすめ
自動テストのすすめ
Katsunori Kanda
More from Katsunori Kanda
(13)
Airflow 2.0 migration ガイド
Airflow 2.0 migration ガイド
Web Privacy Survival Guide
Web Privacy Survival Guide
Airflowを広告データのワークフローエンジンとして運用してみた話
Airflowを広告データのワークフローエンジンとして運用してみた話
BazelでビルドしたアプリをGCPにデプロイしようとしてハマった話
BazelでビルドしたアプリをGCPにデプロイしようとしてハマった話
GCSでstatic web hosting
GCSでstatic web hosting
Dockerだけではないコンテナのはなし
Dockerだけではないコンテナのはなし
RealSenseを使ってCrazyflieを自律飛行させてみた
RealSenseを使ってCrazyflieを自律飛行させてみた
KINECT WITH ROS
KINECT WITH ROS
Docker超入門
Docker超入門
Hadoopことはじめ
Hadoopことはじめ
20150207 何故scalaを選んだのか
20150207 何故scalaを選んだのか
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
Discretized Streams: Fault-Tolerant Streaming Computation at Scaleの解説
自動テストのすすめ
自動テストのすすめ
Recently uploaded
Syed Talal Wasim, Muzammal Naseer, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan , "Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Grounding" arXiv2024 https://arxiv.org/abs/2401.00901v2
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
LoRaWANスマート距離検出センサー DS20Lカタログ
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Jue Wang, Wentao Zhu, Pichao Wang, Xiang Yu, Linda Liu, Mohamed Omar, Raffay Hamid, " Selective Structured State-Spaces for Long-Form Video Understanding" CVPR2023 https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Selective_Structured_State-Spaces_for_Long-Form_Video_Understanding_CVPR_2023_paper.html
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
This is an introduction to MAPPO's paper.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
2024年5月8日 Power Platform 勉強会 #1 LT資料
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
Key topics covered: - Understanding Ballerina's role in integrations: features and advantages - Designing and implementing REST APIs for integration - Designing and implementing GraphQL services with Ballerina - Monitoring and observing applications - Introduction to data integration
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
2022年10月27日に社内向けに開催した勉強会資料の社外公開版です(発表8分程度)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(11)
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
データファースト開発
1.
データファースト開発 2015.10.14 @ Developers
Summit 2015 Autumn 開発チームのためのデータ分析環境の構築と 継続的改善の仕組み Presented By: Katsunori Kanda(@potix2) CyberAgent Inc.
2.
自己紹介 神田勝規(かんだかつのり) 株式会社サイバーエージェント アドテク本部 AMoAd所属 サーバーサイドエンジニア(OS/分散システムが専門) ! potix2@twitter/github ※1 毎月LispMeetup(shibuya.lisp)を開催してます ※2
SparkのMeetupや勉強会を開催してます
3.
システム改善のサイクル 現状把握 改善案の策定設計・実装 今日の話はこの辺り
4.
現状把握に何分かかるか? • 日別・週別のアクティブユーザー数 • ユーザーの平均広告接触回数/日 •
など・・・ 定型的な分析であれば即時 アドホックな分析だと1週間以上かかることも・・・
5.
時間がかかることによる弊害(1/2) 本当に困るまで調査しなくなる 「根拠のない思い込みによる誤った判断」 「古い調査結果に基づく誤った判断」
6.
時間がかかることによる弊害(2/2) データを見るには特異なスキルが必要だと誤認 (実際は、ステップ数が多いだけで誰でもできる) データ抽出&分析の属人化
7.
どの行程に時間がかかるのか? 2.ETL1.仮説立案 (対象データ選定) 3.データ抽出 4.分析 ※前提:すべてのデータを分析環境に置けない 分析対象のデータサイズに依存
8.
理想的には、 誰でも、気軽に データ抽出&分析ができるべき
9.
理想に向けて必要なこと 1.データへアクセスが容易 2.高い応答性(理想的には5分以内) 3.手順の再現性 最重要
10.
やったこと • データ分析の専用ログを出力するようにした • データ分析基盤の構築 •
計算エンジン: BigQuery + Spark(オンプレ) • ストレージ: Google Cloud Storage • UI: Apache Zeppelin + Jupyter
11.
データ分析基盤の構成
12.
どうしてこの構成になったのか? • 応答性を重視 • BigQueryではIndex的なものの定義が不要 •
アドホック分析にはBigQueryを使うのがベスト • 用途/データソースによって環境を使い分ける • 機械学習を使いたいときはSparkやscikit-learn • 分析ログに含まれないデータを調べたいときは Spark
13.
応答性を重視する理由 • フィーリングは重要 • 直感は、案外正しい •
根拠がない直感はダメ • 結果を得るのに時間がかかると • 調査コストと得られるメリットを天 にかけてし まい、遊びのある調査ができない • 思いついてから10分以内には結果を見たい
14.
データ分析環境ができ てみて・・・
15.
使われない・・・
16.
何故、使われないのか? 1.使い方がわからない 2.何に使えるのかが分からない
17.
「使い方」を共有するために • チュートリアルを開催 • BigQueryハンズオン •
ドキュメント化 • QiitaチームにTipsを共有 • ノートブックを活用 • 他の人が分析した手順がノートブックとして残っ ているので、参考にしやすい
18.
Apache Zeppleinのデモ
19.
「何に使えるのか」を共有するために • 基礎集計の結果と手順を共有 • チーム内のチャットグループで共有 •
有用なものは、定型ジョブとして自動化 • Tableauなどを使って可視化した結果を共有
20.
結局、エンジニアは データ分析基盤を何に使うのか? • 開発項目の選定 • 現状をより正確に把握 •
開発すべき根拠を導出 • システム改善の事前・事後の評価 • 改善施策の効果を客観的に評価 • 運用フローの改善 絶賛試行錯誤中
21.
これからの課題 • データの評価/分析のレベルをあげる • 得られた結果から何が言えるのか?読み取る力を あげる。(統計学の基礎知識など) •
可視化 • 可視化されることで新たな知見が得られる • ワークフローの自動化 • 手順が複雑になるとデータ分析が属人化する • ノートブックを定期実行ジョブ化したい
22.
まとめ • 速いことは正義 • BigQueryを使って人生が変わりました •
気軽にデータ抽出できることで新たな気付き • 誰でもデータアクセスできるといいことがある • 開発者がリリースした機能を自分で評価できる • 改善サイクルを回すスピードがあがる(はず) • データを見れないことをリスクと捉えるべき
Download now