Submit Search
Upload
『アジャイルデータサイエンス』2章 データ
•
2 likes
•
2,829 views
Hisao Soyama
Follow
Technology
Report
Share
Report
Share
1 of 32
Download now
Download to read offline
Recommended
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論
Hisao Soyama
Talking about Microsoft On-premises Data Gateway
Talking about Microsoft On-premises Data Gateway
Shinya Sakakibara
研究室勉強会資料「データ分析チュートリアル」
研究室勉強会資料「データ分析チュートリアル」
ymmt3-lab
a story about an application that uses a real quantum computer
a story about an application that uses a real quantum computer
Satoyuki Tsukano
PredictionIOのPython対応計画
PredictionIOのPython対応計画
Shinsuke Sugaya
Asakusa fw勉強会2014真夏
Asakusa fw勉強会2014真夏
鉄平 土佐
Introduction to Quantum Programming Studio
Introduction to Quantum Programming Studio
Satoyuki Tsukano
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
Hisao Soyama
Recommended
『アジャイルデータサイエンス』1章 理論
『アジャイルデータサイエンス』1章 理論
Hisao Soyama
Talking about Microsoft On-premises Data Gateway
Talking about Microsoft On-premises Data Gateway
Shinya Sakakibara
研究室勉強会資料「データ分析チュートリアル」
研究室勉強会資料「データ分析チュートリアル」
ymmt3-lab
a story about an application that uses a real quantum computer
a story about an application that uses a real quantum computer
Satoyuki Tsukano
PredictionIOのPython対応計画
PredictionIOのPython対応計画
Shinsuke Sugaya
Asakusa fw勉強会2014真夏
Asakusa fw勉強会2014真夏
鉄平 土佐
Introduction to Quantum Programming Studio
Introduction to Quantum Programming Studio
Satoyuki Tsukano
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
階層ベイズでプロ野球各球団の「本当の強さ」を推定してみる
Hisao Soyama
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
Hisao Soyama
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
Hisao Soyama
みんなで使おう京都データストア・ワークショップ
みんなで使おう京都データストア・ワークショップ
Department of Policy Planning, Kyoto Prefectural Government
Matrix
Matrix
Hisao Soyama
第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
Katsushi Yamashita
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
Hisao Soyama
ベイズ統計学
ベイズ統計学
Monta Yashi
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
Hisao Soyama
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
Hisao Soyama
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
CO-Sol for Community
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入
Hisao Soyama
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Hisao Soyama
学部生向けベイズ統計イントロ(公開版)
学部生向けベイズ統計イントロ(公開版)
考司 小杉
非エンジニアのSQL活用が加速させる事業成長
非エンジニアのSQL活用が加速させる事業成長
Keiko Inagaki
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
【2017年4月時点】Oracle Essbase 概要
【2017年4月時点】Oracle Essbase 概要
オラクルエンジニア通信
東海GTUG 20110910発表資料
東海GTUG 20110910発表資料
Kenji NAKAGAKI
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
データ分析を武器にしたエンジニアの道の拓き方
データ分析を武器にしたエンジニアの道の拓き方
mayu tech
scala未経験者がフルペアプロで新規事業の開発をしている話
scala未経験者がフルペアプロで新規事業の開発をしている話
hayato iida
Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界
Takahiro Inoue
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
Insight Technology, Inc.
More Related Content
Viewers also liked
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
Hisao Soyama
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
Hisao Soyama
みんなで使おう京都データストア・ワークショップ
みんなで使おう京都データストア・ワークショップ
Department of Policy Planning, Kyoto Prefectural Government
Matrix
Matrix
Hisao Soyama
第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
Katsushi Yamashita
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
Hisao Soyama
ベイズ統計学
ベイズ統計学
Monta Yashi
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
Hisao Soyama
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
Hisao Soyama
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
CO-Sol for Community
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入
Hisao Soyama
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Hisao Soyama
学部生向けベイズ統計イントロ(公開版)
学部生向けベイズ統計イントロ(公開版)
考司 小杉
Viewers also liked
(13)
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
本当に知ってる!? リアルなデータ分析の世界~サイカのエンジニアが語る、話題の技術の「いま」と「未来」~
10分でわかるPythonの開発環境
10分でわかるPythonの開発環境
みんなで使おう京都データストア・ワークショップ
みんなで使おう京都データストア・ワークショップ
Matrix
Matrix
第1回「データ解析のための統計モデリング入門」読書会 オープニング
第1回「データ解析のための統計モデリング入門」読書会 オープニング
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
大学生のTwitter利用に関する定量分析―利用目的とサービス設計の関係―
ベイズ統計学
ベイズ統計学
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
『オープンソースで学ぶ社会ネットワーク分析』1章 イントロダクション
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
グラフデータベース「Neo4j」の 導入の導入(続き)-Cypherの基本のキ-
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
SQL Developerって必要ですか? 株式会社コーソル 河野 敏彦
グラフデータベース「Neo4j」の 導入の導入
グラフデータベース「Neo4j」の 導入の導入
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
Pythonによるソーシャルデータ分析―わたしはこうやって修士号を取得しました―
学部生向けベイズ統計イントロ(公開版)
学部生向けベイズ統計イントロ(公開版)
Similar to 『アジャイルデータサイエンス』2章 データ
非エンジニアのSQL活用が加速させる事業成長
非エンジニアのSQL活用が加速させる事業成長
Keiko Inagaki
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
Kenta Oono
【2017年4月時点】Oracle Essbase 概要
【2017年4月時点】Oracle Essbase 概要
オラクルエンジニア通信
東海GTUG 20110910発表資料
東海GTUG 20110910発表資料
Kenji NAKAGAKI
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
データ分析を武器にしたエンジニアの道の拓き方
データ分析を武器にしたエンジニアの道の拓き方
mayu tech
scala未経験者がフルペアプロで新規事業の開発をしている話
scala未経験者がフルペアプロで新規事業の開発をしている話
hayato iida
Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界
Takahiro Inoue
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
Insight Technology, Inc.
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
Tatsuya Tojima
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
shakezo
情報共有ツールの投資対効果を考える
情報共有ツールの投資対効果を考える
日本マイクロソフト株式会社
Data Scientist Workbench - dots0729
Data Scientist Workbench - dots0729
s. kaijima
カタログDTPのデータを活用しよう!
カタログDTPのデータを活用しよう!
Masataka Kawahara
Casual learning-machinelearningwithexcelno8
Casual learning-machinelearningwithexcelno8
KazuhiroSato8
Data-centricなML開発
Data-centricなML開発
Takeshi Suzuki
Interop2017
Interop2017
tak9029
Data Scientists Love SQL Server
Data Scientists Love SQL Server
Tomoyuki Oota
The real world use of Big Data to change business
The real world use of Big Data to change business
DataWorks Summit/Hadoop Summit
[db analytics showcase Sapporo 2018] B32 無いなら作ろう!教師データ作成のあれこれ
[db analytics showcase Sapporo 2018] B32 無いなら作ろう!教師データ作成のあれこれ
Insight Technology, Inc.
Similar to 『アジャイルデータサイエンス』2章 データ
(20)
非エンジニアのSQL活用が加速させる事業成長
非エンジニアのSQL活用が加速させる事業成長
ディープラーニング最近の発展とビジネス応用への課題
ディープラーニング最近の発展とビジネス応用への課題
【2017年4月時点】Oracle Essbase 概要
【2017年4月時点】Oracle Essbase 概要
東海GTUG 20110910発表資料
東海GTUG 20110910発表資料
Big data解析ビジネス
Big data解析ビジネス
データ分析を武器にしたエンジニアの道の拓き方
データ分析を武器にしたエンジニアの道の拓き方
scala未経験者がフルペアプロで新規事業の開発をしている話
scala未経験者がフルペアプロで新規事業の開発をしている話
Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介~JR東日本情報システム様における導入事例...
Python による 「スクレイピング & 自然言語処理」入門
Python による 「スクレイピング & 自然言語処理」入門
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
プロトタイプで終わらせない死の谷を超える機械学習プロジェクトの進め方 #MLCT4
情報共有ツールの投資対効果を考える
情報共有ツールの投資対効果を考える
Data Scientist Workbench - dots0729
Data Scientist Workbench - dots0729
カタログDTPのデータを活用しよう!
カタログDTPのデータを活用しよう!
Casual learning-machinelearningwithexcelno8
Casual learning-machinelearningwithexcelno8
Data-centricなML開発
Data-centricなML開発
Interop2017
Interop2017
Data Scientists Love SQL Server
Data Scientists Love SQL Server
The real world use of Big Data to change business
The real world use of Big Data to change business
[db analytics showcase Sapporo 2018] B32 無いなら作ろう!教師データ作成のあれこれ
[db analytics showcase Sapporo 2018] B32 無いなら作ろう!教師データ作成のあれこれ
Recently uploaded
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Recently uploaded
(10)
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
『アジャイルデータサイエンス』2章 データ
1.
アジャイルデータサイエン ス 2章 データ 2014/05/27 第2回「データ解析のための統計モデリング⼊⾨」読書会 @who_you_me
2.
お前誰よ @who_you_me 株式会社ハウテレビジョン所属 (2014/04〜) Webエンジニアになったと思ったら名刺に「エンジニ ア」としか書いてない ⾒習いスクラムマスター CakePHPでサービス作ってる会社でひとりPythonを書い てる chefのレシピ書くのがダルいのでdockerに置き換えたい ついでにdocker上⼿く使ってイケてる開発環境つくりた い
3.
1章のおさらい データサイエンスの世界でもアジャイルに開発したい! そのためには、各種ツール群をうまく活⽤しよう ⾞輪の再発明はしない 巨⼈の肩に乗る
4.
2章の内容 本書で扱うデータ メールデータ データの保存 SQL or NoSQL 分析の視点
5.
はじまりはじまり〜
6.
本書で扱うデータ メールデータ ⾝近 ほどほどの容量 エンロンの公開アーカイブが有名だよね http://www.enronemail.com/
7.
ペタバイトのスケールで使われている のと同じツール群を、⼿元のマシンで 使ってみる スモールスタート スケールアップ
8.
データの特徴 半構造データ 厳密には定義されていない構造をもち, その中にテキストなどの⾮構造化データを含んでいる. 例えば,XMLデータなどは,全体は⽊構造のタグ構造をもつが, そのタグの中⾝は⾮構造化データであるテキストである. http://ibisforest.org/index.php?半構造データ
9.
メール XML HTML そこまで厳密じゃないけど、タグとか改⾏を⽬印に構造 化されている
10.
半構造データの保存 SQLは以下のような場合に向いている データが始めから構造化されている どのような処理をするか最初から決まっていて、変更が ない
11.
現実のデータは構造化されておらず、汚い どんな処理が必要か決まっていない
12.
そんな場合はNOSQL
13.
とはいえ、半構造なんだから、それな りに構造化しておきたいよね
14.
シリアライズ ⽣のレコードにスキーマで構造を当てはめ、複数の⾔語、 ツールからアクセスできるようにする処理 Thrift Protocolbuffers Avro
15.
アジャイルなので、すぐにリリースして継続的に改善のサ イクルを回す なので、スキーマも単純なものからスタートし、随時追加 していく そのため、⽣のデータは専⽤のフィールドに残しておいた ほうが良い
16.
データパイプライン 半構造データはこんな流れで処理する
17.
18.
19.
SQLは宣⾔的⾔語 「こんなデータをください!」と要求する NoSQLなので、⼿続き的に記述する 「こんな⾵に処理してください!」と要求する
20.
データに対する視点 どんな視点でデータを調べ、マイニングするべきか
21.
ネットワーク
22.
詳しく知りたい⼈は昔勉強会やった時 の資料を⾒てね^^ http://d.hatena.ne.jp/fuyumi3/20130723/1374582748
23.
時系列
24.
⾃然⾔語処理
25.
確率
26.
以上
27.
次回予告
28.
3章 アジャイルなツール 群
29.
Python Avro Pig MongoDB Elastichsearch (sを⼤⽂字にすると怒られる) Flask Bootstrap D3.js
30.
これらをセットアップして 使ってみよう
31.
1章で終わるわけないだ ろ!!!
32.
おしまい
Download now