Submit Search
Upload
第3回集合知プログラミング勉強会 #TokyoCI グループを見つけ出す
•
22 likes
•
4,642 views
Atsushi KOMIYA
Follow
2012/10/30 に開催された第3回集合知プログラミング勉強会「グループを見つけ出す」の発表資料です。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 43
Recommended
DSIRNLP #3 LZ4 の速さの秘密に迫ってみる
DSIRNLP #3 LZ4 の速さの秘密に迫ってみる
Atsushi KOMIYA
2章推薦を行う(後編)
2章推薦を行う(後編)
Tanaka Hidenori
NETGEAR ReadyNAS - 5段階のデータ保護
NETGEAR ReadyNAS - 5段階のデータ保護
NETGEAR Japan
Introduction to Recommender Systems 2012.1.30 Zansa #3
Introduction to Recommender Systems 2012.1.30 Zansa #3
Atsushi KOMIYA
集合知プログラミング第2章推薦を行う
集合知プログラミング第2章推薦を行う
Hiroko Onari
ここが変わる!Unity 5のスマホ開発 ~アセットバンドル、ビルド、プラグイン~
ここが変わる!Unity 5のスマホ開発 ~アセットバンドル、ビルド、プラグイン~
MakotoItoh
KDD 2015読み会
KDD 2015読み会
正志 坪坂
AssetBundle (もどき) の作り方
AssetBundle (もどき) の作り方
Mori Tetsuya
More Related Content
Viewers also liked
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの?
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの?
Kazuaki SAKAI
計量時系列分析の立場からビジネスの現場のデータを見てみよう - 30th Tokyo Webmining
計量時系列分析の立場からビジネスの現場のデータを見てみよう - 30th Tokyo Webmining
Takashi J OZAKI
5年後のデータサイエンティスト
5年後のデータサイエンティスト
Drecom Co., Ltd.
デブサミ2013の明後日な楽しみ方
デブサミ2013の明後日な楽しみ方
陽一 滝川
PMフォーラム2011大阪_maekawa_20110731
PMフォーラム2011大阪_maekawa_20110731
Naoya Maekawa
xDev2010 早い安い新しい「Fast IT」を使いこなせ! クラウドを楽しめるエンジニアの条件
xDev2010 早い安い新しい「Fast IT」を使いこなせ! クラウドを楽しめるエンジニアの条件
Yusuke Suzuki
アジャイルサムライ他流試合 - 道場紹介
アジャイルサムライ他流試合 - 道場紹介
Kiichi Kajiura
アジャイル×パターン=ぼくたちの現場 イントロダクション
アジャイル×パターン=ぼくたちの現場 イントロダクション
Takeshi Kakeda
リーンスタートアップを実践してのこれまでとこれから
リーンスタートアップを実践してのこれまでとこれから
Yoshihito Kuranuki
20130423 #devlove 職場を劇的にさせる四十八手 —「n次請けSIerでも出来ること」のその続き—
20130423 #devlove 職場を劇的にさせる四十八手 —「n次請けSIerでも出来ること」のその続き—
陽一 滝川
小さな幸せの集め方ForDevLOVE
小さな幸せの集め方ForDevLOVE
Yuji Tomiyama
米国のスマートフォンアプリ市場とプロモーション
米国のスマートフォンアプリ市場とプロモーション
Hiromitsu Ishimori
とべとべ vol.9【第一部】「エンジニアの成長戦略 in ブラック」
とべとべ vol.9【第一部】「エンジニアの成長戦略 in ブラック」
Hiromu Shioya
勉強会カンファレンス2011、企業と勉強会
勉強会カンファレンス2011、企業と勉強会
Hiro Yoshioka
20140925ついうっかりよさようなら
20140925ついうっかりよさようなら
kishitaku
魅せる! How to fascinate audiences by your Lightning Talk
魅せる! How to fascinate audiences by your Lightning Talk
Hiromu Shioya
たのしい宿題発表会 〜慣れない言語で車輪の再開発しよう〜
たのしい宿題発表会 〜慣れない言語で車輪の再開発しよう〜
Hiromu Shioya
パタン・ランゲージからプロジェクト・ランゲージへ Part1
パタン・ランゲージからプロジェクト・ランゲージへ Part1
Takeshi Kakeda
お客様とコードの間
お客様とコードの間
Moriyuki Hirata
Viewers also liked
(19)
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの?
みんなビックデータビックデータって言ってるけど 名寄せとかどうしてんの?
計量時系列分析の立場からビジネスの現場のデータを見てみよう - 30th Tokyo Webmining
計量時系列分析の立場からビジネスの現場のデータを見てみよう - 30th Tokyo Webmining
5年後のデータサイエンティスト
5年後のデータサイエンティスト
デブサミ2013の明後日な楽しみ方
デブサミ2013の明後日な楽しみ方
PMフォーラム2011大阪_maekawa_20110731
PMフォーラム2011大阪_maekawa_20110731
xDev2010 早い安い新しい「Fast IT」を使いこなせ! クラウドを楽しめるエンジニアの条件
xDev2010 早い安い新しい「Fast IT」を使いこなせ! クラウドを楽しめるエンジニアの条件
アジャイルサムライ他流試合 - 道場紹介
アジャイルサムライ他流試合 - 道場紹介
アジャイル×パターン=ぼくたちの現場 イントロダクション
アジャイル×パターン=ぼくたちの現場 イントロダクション
リーンスタートアップを実践してのこれまでとこれから
リーンスタートアップを実践してのこれまでとこれから
20130423 #devlove 職場を劇的にさせる四十八手 —「n次請けSIerでも出来ること」のその続き—
20130423 #devlove 職場を劇的にさせる四十八手 —「n次請けSIerでも出来ること」のその続き—
小さな幸せの集め方ForDevLOVE
小さな幸せの集め方ForDevLOVE
米国のスマートフォンアプリ市場とプロモーション
米国のスマートフォンアプリ市場とプロモーション
とべとべ vol.9【第一部】「エンジニアの成長戦略 in ブラック」
とべとべ vol.9【第一部】「エンジニアの成長戦略 in ブラック」
勉強会カンファレンス2011、企業と勉強会
勉強会カンファレンス2011、企業と勉強会
20140925ついうっかりよさようなら
20140925ついうっかりよさようなら
魅せる! How to fascinate audiences by your Lightning Talk
魅せる! How to fascinate audiences by your Lightning Talk
たのしい宿題発表会 〜慣れない言語で車輪の再開発しよう〜
たのしい宿題発表会 〜慣れない言語で車輪の再開発しよう〜
パタン・ランゲージからプロジェクト・ランゲージへ Part1
パタン・ランゲージからプロジェクト・ランゲージへ Part1
お客様とコードの間
お客様とコードの間
Similar to 第3回集合知プログラミング勉強会 #TokyoCI グループを見つけ出す
コンピュータビジョン7章資料_20140830読書会
コンピュータビジョン7章資料_20140830読書会
Nao Oec
Jubatusでマルウェア分類
Jubatusでマルウェア分類
Shuzo Kashihara
Test to net core 3
Test to net core 3
Tatsuya Ishikawa
Pfi last seminar
Pfi last seminar
Hidekazu Oiwa
Introduction to Spock
Introduction to Spock
Takahiro Sugiura
Azure Machine Learning Services 概要 - 2019年2月版
Azure Machine Learning Services 概要 - 2019年2月版
Daiyu Hatakeyama
機械学習 / Deep Learning 大全 (5) Tool編
機械学習 / Deep Learning 大全 (5) Tool編
Daiyu Hatakeyama
Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
Kazuyuki Miyake
Opencv object detection_takmin
Opencv object detection_takmin
Takuya Minagawa
[DL Hacks 実装]StyleNet: Generating Attractive Visual Captions with Styles
[DL Hacks 実装]StyleNet: Generating Attractive Visual Captions with Styles
Deep Learning JP
「エクストリームエンジニアへの道(Swift編)」
「エクストリームエンジニアへの道(Swift編)」
tech-arts
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
sleepy_yoshi
Drupal、group、quiz、webformを利用したeラーニングサイト「sqt」
Drupal、group、quiz、webformを利用したeラーニングサイト「sqt」
Kenji Shirane
20181031 springfest spring data geode
20181031 springfest spring data geode
Masaki Yamakawa
捗るリコメンドシステムの裏事情(ハッカドール)
捗るリコメンドシステムの裏事情(ハッカドール)
mosa siru
Javaセキュアコーディングセミナー東京第1回 講義
Javaセキュアコーディングセミナー東京第1回 講義
JPCERT Coordination Center
CodeIgniter入門
CodeIgniter入門
Sho A
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Keisuke Nakata
Azure Cosmos DB を使った高速分散アプリケーションの設計パターン
Azure Cosmos DB を使った高速分散アプリケーションの設計パターン
Kazuyuki Miyake
Markdown DB Unit
Markdown DB Unit
aha_oretama
Similar to 第3回集合知プログラミング勉強会 #TokyoCI グループを見つけ出す
(20)
コンピュータビジョン7章資料_20140830読書会
コンピュータビジョン7章資料_20140830読書会
Jubatusでマルウェア分類
Jubatusでマルウェア分類
Test to net core 3
Test to net core 3
Pfi last seminar
Pfi last seminar
Introduction to Spock
Introduction to Spock
Azure Machine Learning Services 概要 - 2019年2月版
Azure Machine Learning Services 概要 - 2019年2月版
機械学習 / Deep Learning 大全 (5) Tool編
機械学習 / Deep Learning 大全 (5) Tool編
Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
Azure Cosmos DB を使った クラウドネイティブアプリケーションの 設計パターン
Opencv object detection_takmin
Opencv object detection_takmin
[DL Hacks 実装]StyleNet: Generating Attractive Visual Captions with Styles
[DL Hacks 実装]StyleNet: Generating Attractive Visual Captions with Styles
「エクストリームエンジニアへの道(Swift編)」
「エクストリームエンジニアへの道(Swift編)」
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
Drupal、group、quiz、webformを利用したeラーニングサイト「sqt」
Drupal、group、quiz、webformを利用したeラーニングサイト「sqt」
20181031 springfest spring data geode
20181031 springfest spring data geode
捗るリコメンドシステムの裏事情(ハッカドール)
捗るリコメンドシステムの裏事情(ハッカドール)
Javaセキュアコーディングセミナー東京第1回 講義
Javaセキュアコーディングセミナー東京第1回 講義
CodeIgniter入門
CodeIgniter入門
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement ...
Azure Cosmos DB を使った高速分散アプリケーションの設計パターン
Azure Cosmos DB を使った高速分散アプリケーションの設計パターン
Markdown DB Unit
Markdown DB Unit
Recently uploaded
2024 03 CTEA
2024 03 CTEA
arts yokohama
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
Recently uploaded
(11)
2024 03 CTEA
2024 03 CTEA
2024 04 minnanoito
2024 04 minnanoito
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
第3回集合知プログラミング勉強会 #TokyoCI グループを見つけ出す
1.
集合知 プログラミング #3 グループを見つけ出す (前半) 2012.10.30 集合知プログラミング勉強会
#TokyoCI @komiya_atsushi https://github.com/komiya-atsushi/TokyoCI-study
2.
Supervised
and Unsupervised learning Photo by cybrarian77 http://www.flickr.com/photos/cybrarian77/6284181389/
3.
教師あり学習 •「正解」が明らかになっている入力 データをもとにモデルを構築する(学 習) •「正解」があるが、明らかになってい
ないデータを入力として、「正解」を 予測する
4.
教師あり学習 •「正解」が明らかになっている入力 データをもとにモデルを構築する(学 習) •「正解」があるが、明らかになってい
ないデータを入力として、「正解」を 予測する データを『分類』したり 結果を『予測』する
5.
教師なし学習 •「正解」が存在しない •データをごにょごにょして「なにか」 を見つける
6.
教師なし学習 •「正解」が存在しない •データをごにょごにょして「なにか」 を見つける
データ全体の『特徴』や 『特性』を明らかにする
7.
目的・問題に応じて使いわけよう •「がく」の長さと幅、そして「花弁」 の長さと幅から既知のアヤメの種類を 判別してくれる高精度な分類器が欲し
いなあ… •うちの EC サイトで商品を買ってくれ る人たちって、どんな傾向の人が多い んだろう?
8.
目的・問題に応じて使いわけよう •「がく」の長さと幅、そして「花弁」 の長さと幅から既知のアヤメの種類を 判別してくれる高精度な分類器が欲し
いなあ… •うちの EC サイトで商品を買ってくれ 教師あり学習向き る人たちって、どんな傾向の人が多い んだろう?
9.
目的・問題に応じて使いわけよう •「がく」の長さと幅、そして「花弁」 の長さと幅から既知のアヤメの種類を
教師なし学習向き 判別してくれる高精度な分類器が欲し いなあ… •うちの EC サイトで商品を買ってくれ る人たちって、どんな傾向の人が多い んだろう?
10.
教師あり学習と教師なし学習の例 •教師あり •ニューラルネットワーク、決定木、サ
ポートベクトルマシン、ベイジアンフィ ルタなど •教師なし •クラスタリング、非負値行列因子分解、 自己組織化マップなど
11.
教師あり学習と教師なし学習の例 •教師あり •ニューラルネットワーク、決定木、サ
ポートベクトルマシン、ベイジアンフィ ルタなど •教師なし •クラスタリング、非負値行列因子分解、 自己組織化マップなど
12.
Clustering Photo by tjuel
http://www.flickr.com/photos/tjuel/5805997664/
13.
クラスタリング 概要 •「似たもの同士でグループにしてみま しょう」
14.
クラスタリング 概要 •「似たもの同士でグループにしてみま しょう」
15.
クラスタリング 概要 •「似たもの同士でグループにしてみま しょう」
16.
クラスタリング 概要 •「似たもの同士でグループにしてみま しょう」
色が同じ
17.
クラスタリング 概要 •「似たもの同士でグループにしてみま しょう」
18.
クラスタリング 概要 •「似たもの同士でグループにしてみま しょう」
形が同じ
19.
クラスタリングに必要な「もの」 •データをよく表現する「特徴」 •【例】
• 人:年齢、伸長、体重、性別… •似ているかどうかを判断する/測る 「ものさし」 •「類似度」のこと •ピアソン相関係数、コサイン類似度、 Jaccard 係数…
20.
クラスタリングの手順 どのように進めていくのか? 1. 個々のデータから「特徴ベクトル」
を抽出する 2. ふたつの「特徴ベクトル」間の 「距離・類似度」を計算する 3. 距離・類似度の近いものをまとめる
21.
問題設定と準備 Photo by kakissel
http://www.flickr.com/photos/kakissel/7182285229/
22.
書籍中での問題設定(前半) •「ブログサイト」を一つ一つのデータ と見立てる •ブログ中で使われている単語の傾向で ブログをクラスタリングしてみる
•ブログエントリ中に出てくる単語の 「出現回数」からなる特徴ベクトルを 用意する
23.
準備 •feedparser を使って、100ほどのサイトの RSS
フィードを取得する •取得したフィードから単語を抽出し、かつ 出現回数をカウントする •ブログのサイト名とともに、出現回数を特 徴ベクトルとしてファイル出力する •ソースコード • http://goo.gl/Pn6aS (generatefeedvector.py)
24.
Hierarchical
Clustering Photo by pretendtious http://www.flickr.com/photos/27273053@N05/4646753786/
25.
階層的クラスタリング •そのときもっともよく似ているものを2つ くっつけましょう 1.
すべての2つの特徴ベクトルの組み合わせ について、 2. 距離が最小となるものを選び、 3. 一つの新たなグループとする 4. 特徴ベクトルは二者の平均とする • 上記をグループがひとつになるまで繰り返す
26.
階層的クラスタリング
C D E A B 平面上の距離の近さを「類似度」とします
27.
階層的クラスタリング
C D E A B 平面上の距離の近さを「類似度」とします
28.
階層的クラスタリング
C D E A B 平面上の距離の近さを「類似度」とします
29.
階層的クラスタリング
C D E A B 平面上の距離の近さを「類似度」とします
30.
階層的クラスタリング
C D E A B 平面上の距離の近さを「類似度」とします
31.
デンドログラム
A B C D E A B C D E
32.
階層的クラスタリングの実装 •距離関数を用意する
33.
階層的クラスタリングの実装 •距離関数を用意する
34.
階層的クラスタリングの実装 • 距離計算→最小距離の2つをマージ…を繰り返す
35.
階層的クラスタリングの実装 • 距離計算→最小距離の2つをマージ…を繰り返す ソースコード https://github.com/komiya-atsushi/TokyoCI-study/blob/master/chap.3/clusters.py
36.
階層的クラスタリングのデモ
demo
37.
k-Means Clustering
38.
k-means(k平均法) •クラスタの数 k を事前に決める •最初にランダムに
k 個の重心を配置する 1. データを最寄りの重心に割り当てる 2. 重心に割り当てられたデータの平均を、 次の重心とする •上記を重心が収束するか、一定回数繰り返 したところで終了する
39.
すばらしいオンラインデモが! http://tech.nitoyon.com/ja/blog/2009/04/09/kmeans-visualise/
40.
k-Means の実装 ソースコード https://github.com/komiya-atsushi/TokyoCI-study/blob/master/chap.3/clusters.py
41.
Thanks !
& Any questions? Photo by tjuel http://www.flickr.com/photos/tjuel/5805421265/
42.
おまけ
43.
Emacs で Python
コードを書きたい方へ https://github.com/komiya-atsushi/TokyoCI-study/blob/master/EmacsPythonEnvironment.md