SlideShare a Scribd company logo
1 of 105
Download to read offline
Update 2019/06/02
Tatsuya Shirakawa (tatsuya@abejainc.com)
ヒトの機械学習
ICLR2019読み会@京都
Tatsuya Shirakawa
2
ABEJA, Inc. (Researcher)
- Deep Learning (CV, Graph, NLP, )
- Machine Learning
Github https://github.com/TatsuyaShirakawa
NTT Data Mathematical Systems Inc.
- Mathematical Optimization
- Machine Learning / Deep Learning
Math.
Tech blog http://tech-blog.abeja.asia/
- 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開
- 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介
- 双曲空間でのMachine Learningの最近の進展
- より良い機械学習のためのアノテーションの機械学習
Now
Copyright © ABEJA, Inc. All rights reserved.
Retailの話
3
Copyright © ABEJA, Inc. All rights reserved.
ABEJA Insight for Retailでやっていること
4
店舗にカメラを設置し、
• 来店⼈数カウント
• 来店者属性(年齢・性別)推定
• リピーター推定
• 導線分析

Copyright © ABEJA, Inc. All rights reserved.
デモグラ推定
個別来店者の年齢・性別を推定し、来店者全体の年齢・性別分布を把握したい
5
Male or Female?
How old?
← わりと簡単
← けっこう難しい
Copyright © ABEJA, Inc. All rights reserved.
年齢推定の難しさ — ⾒た⽬年齢と⽣物学的年齢
⾒た⽬から⽣物学的年齢を推定するのは難しい

⾒た⽬年齢は感覚的で撮影環境や画質にも依存する
6
How old am I?(⽣物学的年齢)
How old do I look?(⾒た⽬年齢)
Copyright © ABEJA, Inc. All rights reserved.
年齢推定の難しさ — アノテーションバイアス
ヒトは無意識に特定の年齢ばかりアノテーションしてしまう
7
Copyright © ABEJA, Inc. All rights reserved.
年齢推定の難しさ — 範囲のある数値データ
識別がよいのか回帰が良いのか。
また、構造的に、範囲の端(0歳とか100歳とか)を出⼒しづらい。
8
0 1 2 3 100歳 35.6歳
Age Classification Age Regression
or
Copyright © ABEJA, Inc. All rights reserved.
DEX — 識別による回帰
R. Rothe+, “DEX: Deep EXpectation of apparent age from a single image”, ICCV workshop 2015
softmaxで年齢ラベル推定し、それで年齢の期待値をとる。

4年くらい前のSOTAで、最近の⽅法もこれをベース(たたき台)にしているもの
が多い。ただし、DEXでも範囲の端が予測できない問題は解決できない…
9https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
Copyright © ABEJA, Inc. All rights reserved.
年齢推定の難しさ — 全体の分布を⼀致させたい
個⼈個⼈の年齢性別はもちろんだが、来店者全体の年齢性別の分布を知りたい

=> 個別データではなく、分布をground truthにあわせたい

…が、漫然とやると、予測値は平均値/中央値側に間違いやすくなる
10
Ground Truth
← 予測値の“分布”をこれに

  近づけなければいけない
Copyright © ABEJA, Inc. All rights reserved.
年齢推定あらゆるタスクにおける難しさ
現実世界はとにかくノイジー!だいたい正⾯向いてくれない!

カメラの選定・設置・調整技術は超重要!(限界はある)
11
Copyright © ABEJA, Inc. All rights reserved.
ヒトの認知能⼒由来の難しさ
アノテーションをする際、画質のコントロールをすることは超重要!
12
Who are you?
明るさ補正
Who are you?
ヒトにとってやさしく。
Copyright © ABEJA, Inc. All rights reserved.
よいデータセットがない問題
世の中で公開されているデータセットも⾃分で作るデータセットも、年齢分布が
⾮常にインバランス。⼦供と⾼齢者は精度を出しにくい。
13https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
Copyright © ABEJA, Inc. All rights reserved.
⾃前でもデータをためにくい問題 — プライバシー保護
個⼈識別できるデータ(特徴量など)は6ヶ⽉以内に破棄する必要がある等
→ ⾃前で学習データセットを作って保持することが困難
14https://abejainc.com/insight/retail/ja/privacy/
Copyright © ABEJA, Inc. All rights reserved.
印刷/表⽰された顔問題(anti-spoofing)
店舗内広告とかTシャツに印刷された顔とか凶悪
15
Copyright © ABEJA, Inc. All rights reserved.
リッチだけどチャレンジングな動線データ
16
Copyright © ABEJA, Inc. All rights reserved.
Insight for Retailは、

店舗内のヒトの動きを科学するサービス
17
Copyright © ABEJA, Inc. All rights reserved.
Annotationの話
18
Copyright © ABEJA, Inc. All rights reserved. 19
10,000⼈のアノテーター!
品質管理!
速度!
Copyright © ABEJA, Inc. All rights reserved.
なぜAnnotationにこだわるのか?
20
Copyright © ABEJA, Inc. All rights reserved.
MLの典型的プロセス
21
収集 意味付け 学習 評価 運⽤
アノテーション
=
“cat
Copyright © ABEJA, Inc. All rights reserved.
MLの典型的プロセス
22
“cat”
収集
アノテーション
学習
評価
運⽤
Process
Copyright © ABEJA, Inc. All rights reserved.
MLの典型的プロセス
23
“cat”
Info. Loss
上流で重要な情報
を⽋落させない

ことが重要
収集
アノテーション
学習
評価
運⽤
Process
Copyright © ABEJA, Inc. All rights reserved.
MLの典型的プロセス
24
“cat”
Info. Loss
収集
アノテーション
学習
評価
運⽤
Process
上流で重要な情報
を⽋落させない

ことが重要
Copyright © ABEJA, Inc. All rights reserved.
実験: Learning on Noisy Dataset
25
Classification Dataset 100%
識別モデルの学習
テストデータでTest 100%
アノテーション精度
Copyright © ABEJA, Inc. All rights reserved.
実験: Learning on Noisy Dataset
26
Classification Dataset 100%
Label Noising

学習データの0~100%のラベルを付替 0~100%
識別モデルの学習
テストデータでTest 100%
アノテーション精度
クリーンなデータで学習した⽅が精度が⾼くなりやすく、過学習しにくい
実験結果
Accuracy
Epochs
※線はそれぞれ上からノイズ0, 10, …, 100%の結果。
相対精度 = 精度 / 全試⾏で達成されたの最良精度 のヒートマップ
学習データの精度とサイズに対するモデルのテスト精度
学習に使うデータ数
データの精度
Copyright © ABEJA, Inc. All rights reserved.
顔認識でもデータセットのアノテーション精度が⼤事
29
顔認識 = 顔画像が誰の顔かを当てる技術

⼤規模で多様でクリーンなデータセットを学習に使うことがクリティカル
⼤規模な(9000⼈の330万枚の顔画像)

綿密にクリーニングされたデータセット
(https://github.com/davidsandberg/facenet)
Copyright © ABEJA, Inc. All rights reserved.
[Loy2018]
C. C. Loy+, “The Devil of Face Recognition is in the Noise”, ECCV2018

クリーンなデータセットを使うと⾼精度のモデルを効率的に得られる
30
論⽂中で提案されたクリーンなデータセット
Copyright © ABEJA, Inc. All rights reserved.
GPT-2
31
A. Radford+, “Language Models are Unsupervised Multitask Learners”, 2019
信頼性の⾼いWebページをクローリングして得たクリーンで多様なコーパス(WebText)
上で強⼒な⾔語モデル(GPT-2)を教師なし学習(尤度最⼤化)。

⽂書⽣成系のさまざまなタスクのZero-shot学習でSOTAを更新
Copyright © ABEJA, Inc. All rights reserved.
なぜAnnotationにこだわるのか
アノテーションがなきゃ始まらない
アノテーションの品質が良くなきゃ始まらない
アノテーションを⼤量にできなきゃ始まらない
32
Copyright © ABEJA, Inc. All rights reserved.
なぜAnnotationにこだわるのか
アノテーションがなきゃ始まらない
アノテーションの品質が良くなきゃ始まらない
アノテーションを⼤量にできなきゃ始まらない
33
ホント?
Copyright © ABEJA, Inc. All rights reserved.
Annotationサボる系研究
• Unsupervised Learning
• Domain Adaptation
• Data Augmentation
• Transfer Learning
• Weakly-Supervised Learning
• Semi-Supervised Learning

34
Copyright © ABEJA, Inc. All rights reserved.
Annotationサボる系研究
• Unsupervised Learning
• Domain Adaptation
• Data Augmentation
• Transfer Learning
• Weakly-Supervised Learning
• Semi-Supervised Learning

35
アノテーションに関係ない部分を頑張る系
Copyright © ABEJA, Inc. All rights reserved.
Annotationサボる系研究
• Unsupervised Learning
• Domain Adaptation
• Data Augmentation
• Transfer Learning
• Weakly-Supervised Learning
• Semi-Supervised Learning

36
個⼈的に⼀番好きだけど、タスク依存
Copyright © ABEJA, Inc. All rights reserved.
Annotationサボる系研究
• Unsupervised Learning
• Domain Adaptation
• Data Augmentation
• Transfer Learning
• Weakly-Supervised Learning
• Semi-Supervised Learning

37
できるだけサボる系 ←
Copyright © ABEJA, Inc. All rights reserved.
Semi-Supervised Learning
38
少量の教師ありデータと(⽐較的)⼤量の教師なしデータから学習する
教師なしデータを利⽤して
教師あり学習の精度を向上
できるか?
“cat”
“dog”
“dog”
“cat”
“cat”
Copyright © ABEJA, Inc. All rights reserved.
有名なSSL⼿法+αの効果検証
39
• Temporal Ensemble (ICLR2017)
• Mean Teacher (NeurIPS2018)
• TE++ (WAICに基づく筆者らの未発表⼿法)
x, y ⼊出⼒ペア

w dropoutやDAなどの

効果を表す確率変数

θ … モデルパラメータ(省略可)
いずれも、モデルの出⼒が揺らが
ないように正則化を加える⼿法
Copyright © ABEJA, Inc. All rights reserved.
CIFAR10での検証結果
40
TE Mean Teacher TE++
※モデルはいずれも同じ
効果はあるが不安定・限定的で、教師データを増やしたほうが明らかに効果的
Copyright © ABEJA, Inc. All rights reserved.
[Oliver2018]
A. Oliver+, “Realistic Evaluation of Deep Semi-Supervised Learning Algorithms”, NeurIPS2019

既存のSSL論⽂は過度なパラメータチューニングなどがなされており、

⼿法⾃体の正当な評価が出来ていない
41
Copyright © ABEJA, Inc. All rights reserved.
アノテーションしないで戦うのは

⾯⽩いけどいばらの道
42
Copyright © ABEJA, Inc. All rights reserved.
じゃあAnnotationしよう。
で、誰がするの?
43
Copyright © ABEJA, Inc. All rights reserved.
アノテーターさん
44
10,000⼈!
Copyright © ABEJA, Inc. All rights reserved. 45
10,000⼈
Copyright © ABEJA, Inc. All rights reserved.
アノテーターの個性問題
アノテーターによって、上⼿い下⼿、速い遅いがある
アノテーターによって、得意なタスクとそうでないタスクがある
アノテーターによって、際どいケースでの思い切りが違う
アノテーションが業界的にスキルとして確⽴していない
46
Copyright © ABEJA, Inc. All rights reserved.
アノテーターの解析例 (EM-algo)
47
Copyright © ABEJA, Inc. All rights reserved.
詳しくはWebで
• アノテーションがコケると機械学習

がWorkしなくなる
• アノテーションの精度が重要
• アノテーションの量が重要
• アノテーションをサボるとロクな

ことがない
48
https://tech-blog.abeja.asia/entry/ml-annotation
Copyright © ABEJA, Inc. All rights reserved.
Annotation Serviceは、
ヒトを上⼿につかってデータに命を吹き込むサービス
49
Copyright © ABEJA, Inc. All rights reserved.
Retailの解析もAnnotationも

ヒトの⾏動や意思決定を対象にしたサービス
50
Copyright © ABEJA, Inc. All rights reserved.
などと取り繕って⾒ましたが、

ヒトを理解してみたいというのが本⼼。
パターンはあるけどモヤモヤものに切り込むのって楽しいですよね…?
51
52
Psychology 

x

ML
Why ML?
53
Why ML?
1. 理論駆動アプローチは視野を狭める

2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される

3. ⼈間の⾏動は⾮常に複雑

4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない
54
Why ML?
1. 理論駆動アプローチは視野を狭める

2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される

3. ⼈間の⾏動は⾮常に複雑

4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない
55
理論で説明される現象しか⾒なくなる
R. E. Jack+, “Data-Driven Methods to Diversify Knowledge of Human Psychology”, Trends in cognitive sciences 2018
広く信奉されているEkmanの基本6感情理論は、暗黙のうちに⻄洋⼈を仮定して
いた。最近は、そもそも6感情に分けること⾃体に疑義(おまけ参照)。
“theory-driven lenses ‒ the hallmark of hypothesis testing ‒ can constrain the
development of knowledge, even within a culture “
56
↑ 表情が表す感情の理論は⻄洋⼈をベースに作られており、東洋⼈には通⽤しなかったという解析
Why AI?
1. 理論駆動アプローチは視野を狭める

2.⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される

3.⼈間の⾏動は⾮常に複雑

4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない
57
関連因⼦が多すぎて、理論(モデル)駆動では

部分的にしか扱いきれない
Why AI?
1. 理論駆動アプローチは視野を狭める

2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される

3. ⼈間の⾏動は⾮常に複雑

4.⼼理学で使われているML⼿法は、古典的でアップデートされていない
58
Copyright © ABEJA, Inc. All rights reserved.
⼼理学でもっともよく使われているML⼿法
因⼦分析、共分散構造解析、…
59
“State-of-the-art”
M. Gerlach+, “A robust data-driven approach identifies four personality types
across four large data sets”, Nature Human Behaviour 2018
60
State-of-the-art clustering techniques

= GMMs (Gaussian Mixture Models)
Copyright © ABEJA, Inc. All rights reserved.
教師あり学習が使われていない…!?
⼼理学じゃなくて社会科学だけど…

> データサイエンスでは⼀般的に使われるが、社会科学では滅多に使われない

強⼒な⽅法、つまり教師付き学習 

(「ビット・バイ・ビット — デジタル社会科学⼊⾨」)
研究⽅法の違いはあれど、⽬を疑うような⾔及は

(この本だけでなく)これにとどまらない…。
61
MLをやっている⼈間は

無限に貢献できそう!
62
Copyright © ABEJA, Inc. All rights reserved.
パーソナリティ⼼理学
63
Personality Psychology — ⼈格⼼理学
Personality Psychology is a scientific study which aims to show how people
are individually different due to psychological forces (wikipedia).
64
Personality Traits(特性)

Features
Personality Types(類型)
Clustering / Classification
あなたは○○タイプ!
パーソナリティ = ふるまいや⼼の動き⽅のパターン
65
Personality
✔
✗
Big 5 — Five Factor Model (FFM)
66
1. Openness(経験への開放性)

is a general appreciation for art, emotion, adventure, 

unusual ideas, imagination, curiosity, and variety of experience
2. Conscientiousness(誠実性)

is a tendency to display self-discipline, act dutifully, and strive 

for achievement against measures or outside expectations
3. Extraversion(外向性)

is characterized by breadth of activities (as opposed to depth), surgency 

from external activity/situations, and energy creation from external means
4. Agreeableness(協調性)

trait reflects individual differences in general concern for social harmony
5. Neuroticism(神経症的傾向)

is the tendency to experience negative emotions, such as anger, anxiety, or depression
(wikipedia)
Big5は⼼理学におけるデファクトスタンダード
• Big5の有効性を裏付ける研究成果がたくさんある
• むしろ、Big5との相関性を測ることが基本的な研究スキームにさえなっている
• Big5は年をとっても変わりにくい(=その⼈の本質を表している?)
• Big5の50%程度は遺伝要因で決まる(残りは環境要因 or 未知)
67
パーソナリティの測り⽅
68
Questionnaire Method Projective Technique

(e.g. Rorschach test)
質問紙法
69
Questionnaire Method Projective Technique

(e.g. Rorschach test)
⼀般的な質問紙調査法の⼿順
1. リサーチクエスションと仮説
2. 分析計画の⽴案
3. 質問の作成
4. 調査票の構成
5. 対象者の決定
6. 調査⽅法の選択
70
← 共変数(交絡変数)の⾒落としがないか⼗分チェック
← 試⾏錯誤。平易で短い表現が望ましい。
← a. ⼀般的で答えやすい質問を最初に
b. プライバシーに関わる質問は最後に 

c. 重要な質問はできるだけ前に

d. 意識や意⾒を尋ねる質問は、事実に関する質問より前に

e. 同じテーマの質問はまとめて、まとまりを超える場合はその旨がわかるように

f. 回答者の興味と熱意が持続するように、質問の内容や形式を、適宜変更
↑

⾯接調査、留置調査、電話調査、…
めちゃくちゃ⾯倒で

めちゃくちゃ仮説駆動的
Ex. Newcastle Personality Assessor
71
5 Very unlikely

4 Moderately unlikely

3 Neutral

2 Moderately likely

1 Very likely
1. Start a conversation with a stranger
3
2. Make sure others are comfortable and happy
3
3. Use difficult words
4
4. Prepare for things in advance
4
5. Feel blue or depressed
2
6. Plan parties or social events
2
7. Insult people
3
8. Think about phillosophical or social questions
5
9. Let things get into a mess
3
10. Feel stressed or worried
2
Caluculation Score
Extroversion Q1 + Q6 5
Neuroticisim Q5 + Q10 4
Conscientiousness Q4 + Q9 7
Agreeableness Q2 + Q7 6
Openness Q3 + Q8 9
https://www.theguardian.com/lifeandstyle/2009/mar/07/personality-test
単純な⾜し算でいいの?

個⼈毎のバイアス(下駄はき)の調整は?
Big5を測るための簡易なテスト
Copyright © ABEJA, Inc. All rights reserved.
IPIP-300 — 有名なBig5計測テスト
全300問。
⾃分でやってみたら30分弱かかった(1問5-6秒)。
⻄洋⽂化に最適化されているっぽく、どう答えてよいかわからない質問もある
• 「教会で賛美歌を歌うとき⽴ってますか」
72
Copyright © ABEJA, Inc. All rights reserved.
⼼理テストの課題
1. 質問の作り⽅が理論志向で恣意的すぎる

2. 解像度を上げるためには多量の質問が必要 = 時間がかかる

3. ⾔語能⼒や質問内容の読み取り⽅に依存する

4. 無意識的な側⾯を測りづらい

5. 何がよい質問かがカルチャーに依存する

(「教会で賛美歌を歌うときに⽴ってますか」〜とか聞かれても…)
73
Copyright © ABEJA, Inc. All rights reserved.
感じていること
1. ちょっと踏み外してみた質問もされるべき

2. 質問⼿順の効率性も解析されるべき

3. アカウント管理され、⼼理テストは統合されるべき

4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき

5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき
74
Copyright © ABEJA, Inc. All rights reserved.
やりたいこと
1. ちょっと踏み外してみた質問もされるべき

2. 質問⼿順の効率性も解析されるべき

3. アカウント管理され、⼼理テストは統合されるべき

4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき

5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき
75
潜在⼼理を探るAkinator的ななにか
パーソナリティを双曲空間などへ埋め込んで観察してみる
アノテーターのパーソナリティとパフォーマンスの相関
顧客⾏動データからの⾏動特性解析
Copyright © ABEJA, Inc. All rights reserved.
やりたいこと
1. ちょっと踏み外してみた質問もされるべき

2. 質問⼿順の効率性も解析されるべき

3. アカウント管理され、⼼理テストは統合されるべき

4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき

5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき
76
潜在⼼理を探るAkinator的ななにか
パーソナリティを双曲空間などへ埋め込んで観察してみる
アノテーターのパーソナリティとパフォーマンスの相関
Copyright © ABEJA, Inc. All rights reserved.
やりたいこと
1. ちょっと踏み外してみた質問もされるべき

2. 質問⼿順の効率性も解析されるべき

3. アカウント管理され、⼼理テストは統合されるべき

4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき

5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき
77
潜在⼼理を探るAkinator的ななにか
パーソナリティを双曲空間などへ埋め込んで観察してみる
アノテーターのパーソナリティとパフォーマンスの相関
そろそろ無理やり分類するのはやめて、

データをあるがままに観察しませんか?
Copyright © ABEJA, Inc. All rights reserved.
双曲空間?
78
Copyright © ABEJA, Inc. All rights reserved.
双曲空間(Hyperbolic Spaces)
⼀定の(断⾯)曲率をもった空間

- 曲率 < 0 → (超)球⾯

- 曲率 = 0 → ユークリッド空間
- 曲率 < 0 → 双曲空間

79
Tech blog http://tech-blog.abeja.asia/
- 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開
- 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介
- より良い機械学習のためのアノテーションの機械学習
「異空間散歩!双曲空間を歩いてみよう。」
“⽊構造を連続化した空間”
- 双曲空間でのMachine Learningの最近の進展
Copyright © ABEJA, Inc. All rights reserved.
双曲空間の表し⽅(座標のとり⽅)はさまざま
80
Poincaré Ballモデル

- 可視化に優れる|

- 外側ほど空間が密
上半空間モデル

- 可視性に優れる

- 下⽅ほど空間が密
Lorentz/Hyperboloidモデル

- 最も計算が簡単なモデル

- 数学的には⼀番簡易?
https://mnick.github.io/publication/nickel2018learning/
Embeddings in Hyperbolic Spaces
81
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Embeddings in Hyperbolic Spaces
82
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Embeddings in Hyperbolic Spaces
83
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Copyright © ABEJA, Inc. All rights reserved.
Poincaré Embeddings
M. Nickel+, “Poincaré Embeddings for Learning Hierarchical Representations”, NeurIPS2017



Poincaré ballへの埋め込み(Poincaré Embeddings)を提案し、⽊構造データを低
次元で精度良く埋め込めることを⽰した。





共起した2データi, jの間の距離が、他の点より

近くなるように埋め込みを最適化する
84
Embeddings in Hyperbolic Spaces
85
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Copyright © ABEJA, Inc. All rights reserved.
Representation Tradeoff / h-MDS
C. D. Sa, “Representation Tradeoffs for Hyperbolic Embeddings”, ICML2018
• Sarkar’s Constructionをn-次元に拡張し、任意精度で距離を保って⽊を埋込
• Poincaré Ballの縁(密度集中)部分を表現するに⾜る浮動⼩数点精度の評価
• ⼆点間距離データが与えられた場合に双曲空間への最適埋込を⾏うh-MDS
• 本質的に双曲空間でのPCAを構成した(軸<—>測地線)
86
双曲空間でのPCA(接空間に移⾏してPCAをして戻すだけ)
Embeddings in Hyperbolic Spaces
87
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Copyright © ABEJA, Inc. All rights reserved.
Hyperbolic Entailment Cones
O. Ganea+, “Hyperbolic Entailment Cones for Learning Hierarchical Embeddings”, ICML2018
双曲空間に点として埋め込むのではなく、錐体(cone)として埋め込む⽅法

を提案。階層関係が錐の包含関係として⾃然に表現される。
88
Embeddings in Hyperbolic Spaces
89
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Copyright © ABEJA, Inc. All rights reserved.
Disk Embeddings
R. Suzuki+, “Hyperbolic Disk Embeddings for Directed Acyclic Graphs”, ICML2019
Hyperbolic Entail Coneが実は双曲空間の特性を活⽤できておらず、本質的にn次
元超球⾯におけるn-1次元超球⾯としての埋め込みになっていることを⾒抜いた。

その上で、双曲空間において正しく超球⾯として埋め込む⼿法を提案。
任意のDAGが超球⾯、双曲空間、ユークリッド空間

に統⼀的に埋め込めるようになった!
90
Embeddings in Hyperbolic Spaces
91
[M. Nickel+]

Poincaré Embeddings ~
17’ 05 18’ 04
[C. D. Sa+]

Representation Tradeoff ~

(Near-exact tree embs., h-MDS)
[O. Ganea+]

Hyperbolic Entailment Cones

(Poincare embs. + Order embs.)
18’ 05
[C. Gulcehre+]

Hyperbolic Attention Networks

(Einstein Mid. Point)
[O. Ganea+]

Hyperbolic Neural Networks
[M. Nickel+]

Learning Continuous Hierarchies

in the Lorentz Model~
[A. Tifrea+]

Poincaré Glove ~
(Poincaré Glove)
18’ 06 18’ 10 …19’ 2
[R. Suzuki+]

Hyperbolic Disk Embeddings
[A. Gu+]

Mixed-Curvature 

Representations
18’ 9
Copyright © ABEJA, Inc. All rights reserved.
Mixed-Curvature Representations
A. Gu+, “Learning Mixed-Curvature Representations in Product Spaces”, ICLR2019
ユークリッド空間、超球⾯、双曲空間の積空間への埋め込みを構成することで、
より⾃由な曲率の空間への埋め込みを実現。データ中に潜む平⾯構造、サイクル
構造、⽊構造が埋め込みを通じて抽出できるようになった。

ユークリッド空間、超球⾯、双曲空間

の曲率スケール⾃体も最適化する。
92
Copyright © ABEJA, Inc. All rights reserved.
データの構造をみる
↓
最適なデータの埋め込みを求める

↓
最適な空間への最適な埋め込みを求める
93
Copyright © ABEJA, Inc. All rights reserved.
Personality Embeddings
A. Gu+, “Learning Mixed-Curvature Representations in Product Spaces”, ICLR2019
ユークリッド空間、超球⾯、双曲空間の積空間への埋め込みを構成することで、
より⾃由な曲率の空間への埋め込みを実現。データ中に潜む平⾯構造、サイクル
構造、⽊構造が埋め込みを通じて抽出できるようになった。

ユークリッド空間、超球⾯、双曲空間

の曲率スケール⾃体も最適化する。
⼼理学でこれをやりたい!
…が、空間の組み合わせを

 逐次探索するのはつらい
Copyright © ABEJA, Inc. All rights reserved.
数学/ML観点で気になってること
さまざまな空間をなめらかにパラメトライズする⽅法が知りたい
• 双曲空間・超球⾯ごとには曲率はなめらかにパラメトライズされているが、双
曲空間やユークリッド空間、超球⾯をなめらかに接続する表現は知らない
• 積空間では空間がシンプルすぎる(世界はトイレットペーパーの芯程度の単純
さではないはず)
そもそも空間(の計量?)をパラメトライズする必要はあるのか
• 計算上必要なのは勾配情報(更新⽅法)だけ
• 勾配情報だけを適切にパラメータ付する⽅法は?(cf. LambdaRank, NODE)
95
Copyright © ABEJA, Inc. All rights reserved.
To be continued
96
Copyright © ABEJA, Inc. All rights reserved.
おまけ
97
Ekmanの基本6感情と表情
エクマンは感情には⽂化共通的な下記の基本6感情があり、表情から各感情を読
むことができると主張した。
1. Anger(怒り)
2. Disgust(嫌悪)
3. Fear(恐れ)
4. Happiness(幸福)
5. Sadness(悲しみ)
6. Surprise(驚き)
7. (Neutral)
98
https://howwegettonext.com/silicon-valley-thinks-everyone-feels-the-same-six-emotions-38354a0ef3d7
基本6感情理論に対する3つの反論
“AI believes we express emotions the same six ways ‒ That is a problem” 

https://thebigsmoke.com.au/2019/04/28/ai-believes-we-express-emotions-same-six-ways-that-problem-emotion/
1. 感情の定義⾃体、合意がとれていない

2. Ekmanのパプアニューギニアでの調査⾃体ずさん(sloppy)。すでに⻄洋の影響
を受けてしまっていたらしい。

3. ⼈ごとに異なる“基本感情”がある(⽂化的な相違)
99
表情はコミュニケーションツール!
C. Crivelli+, “Facial Displays Are Tools for Social Influence”, Trends in Cognitive Sciences 2018
100
⼀⽅で、ほとんどの表情からの感情推定アプリは

多かれ少なかれEkman流
• API A
• 怒り、軽蔑、嫌悪、恐れ、幸福、悲しみ、驚き、ニュートラル
• API B
• 喜び、悲しみ、怒り、驚き
• API C, D
• 怒り、嫌悪、恐れ、幸福、悲しみ、驚き、ニュートラル
• API E
• 喜び、怒り、驚き、ポジネガ
101
⽇本⼈もEkman的ではない!
W. Sato+, “Facial Expressions of Basic Emotions in Japanese Laypeople”, Frontiers in Psychology 2019
102https://academist-cf.com/journal/?p=10185
Copyright © ABEJA, Inc. All rights reserved.
もっと最新の研究成果を

実⽤に反映させなきゃ!
103
Copyright © ABEJA, Inc. All rights reserved.
Conclusion

ヒトの解析楽しい
104
105
Annotation Driven AI

More Related Content

What's hot

強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類佑 甲野
 
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617Jun Okumura
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII
 
深層学習とTensorFlow入門
深層学習とTensorFlow入門深層学習とTensorFlow入門
深層学習とTensorFlow入門tak9029
 
Lecture univ.tokyo 2017_okanohara
Lecture univ.tokyo 2017_okanoharaLecture univ.tokyo 2017_okanohara
Lecture univ.tokyo 2017_okanoharaPreferred Networks
 
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用についてゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用についてJun Okumura
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太Preferred Networks
 
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔Preferred Networks
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Taiga Nomi
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)Satoshi Hara
 
機械学習 / Deep Learning 大全 (1) 機械学習基礎編
機械学習 / Deep Learning 大全 (1) 機械学習基礎編機械学習 / Deep Learning 大全 (1) 機械学習基礎編
機械学習 / Deep Learning 大全 (1) 機械学習基礎編Daiyu Hatakeyama
 
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔Preferred Networks
 
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~Preferred Networks
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用Kazuki Fujikawa
 
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識佑 甲野
 
20160525はじめてのコンピュータビジョン
20160525はじめてのコンピュータビジョン20160525はじめてのコンピュータビジョン
20160525はじめてのコンピュータビジョンTakuya Minagawa
 

What's hot (20)

強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類強化学習の基礎的な考え方と問題の分類
強化学習の基礎的な考え方と問題の分類
 
ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617ICLR読み会 奥村純 20170617
ICLR読み会 奥村純 20170617
 
PBAI
PBAIPBAI
PBAI
 
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
SSII2021 [SS1] Transformer x Computer Visionの 実活用可能性と展望 〜 TransformerのCompute...
 
深層学習とTensorFlow入門
深層学習とTensorFlow入門深層学習とTensorFlow入門
深層学習とTensorFlow入門
 
Lecture univ.tokyo 2017_okanohara
Lecture univ.tokyo 2017_okanoharaLecture univ.tokyo 2017_okanohara
Lecture univ.tokyo 2017_okanohara
 
ゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用についてゲーム体験を支える強化学習の実応用について
ゲーム体験を支える強化学習の実応用について
 
aiconf2017okanohara
aiconf2017okanoharaaiconf2017okanohara
aiconf2017okanohara
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
 
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
 
Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷Deep learningの概要とドメインモデルの変遷
Deep learningの概要とドメインモデルの変遷
 
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
 
機械学習 / Deep Learning 大全 (1) 機械学習基礎編
機械学習 / Deep Learning 大全 (1) 機械学習基礎編機械学習 / Deep Learning 大全 (1) 機械学習基礎編
機械学習 / Deep Learning 大全 (1) 機械学習基礎編
 
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
【参考文献追加】20180115_東大医学部機能生物学セミナー_深層学習の最前線とこれから_岡野原大輔
 
Ibis2016okanohara
Ibis2016okanoharaIbis2016okanohara
Ibis2016okanohara
 
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
20180305_ppl2018_演繹から帰納へ~新しいシステム開発パラダイム~
 
一般向けのDeep Learning
一般向けのDeep Learning一般向けのDeep Learning
一般向けのDeep Learning
 
DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用DeNAにおける機械学習・深層学習活用
DeNAにおける機械学習・深層学習活用
 
多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識多様な強化学習の概念と課題認識
多様な強化学習の概念と課題認識
 
20160525はじめてのコンピュータビジョン
20160525はじめてのコンピュータビジョン20160525はじめてのコンピュータビジョン
20160525はじめてのコンピュータビジョン
 

Similar to ヒトの機械学習

データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1Shunsuke Nakamura
 
オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座
オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座
オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座munjapan
 
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアルリクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアルRecruit Technologies
 
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜SSII
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎Preferred Networks
 
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...DataWorks Summit/Hadoop Summit
 
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...Recruit Technologies
 
データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』
データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』
データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』The Japan DataScientist Society
 
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析貴志 上坂
 
第26回 萩本匠道場
第26回 萩本匠道場第26回 萩本匠道場
第26回 萩本匠道場Hagimoto Junzo
 
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析貴志 上坂
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Recruit Technologies
 
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜Yasuyuki Sugai
 
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1Shunsuke Nakamura
 
CNNチュートリアル
CNNチュートリアルCNNチュートリアル
CNNチュートリアルIkuro Sato
 
ディープラーニング入門 ~ 画像処理・自然言語処理について ~
ディープラーニング入門 ~ 画像処理・自然言語処理について ~ディープラーニング入門 ~ 画像処理・自然言語処理について ~
ディープラーニング入門 ~ 画像処理・自然言語処理について ~Kensuke Otsuki
 
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則aslead
 

Similar to ヒトの機械学習 (20)

データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで V e-1
 
SOINN PBR
SOINN PBRSOINN PBR
SOINN PBR
 
オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座
オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座
オンライン講座を利用して機械学習・人工知能・ データ分析の最適な学び方を学ぶ講座
 
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアルリクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
 
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
SSII2021 [TS3] 機械学習のアノテーションにおける データ収集​ 〜 精度向上のための仕組み・倫理や社会性バイアス 〜
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」  佐野正太郎
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
 
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
A3RT - the details and actual use cases of "Analytics & Artificial intelligen...
 
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
A3RT -The details and actual use cases of“Analytics & Artificial intelligence...
 
データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』
データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』
データサイエンティスト協会 木曜勉強会 #09 『意志の力が拓くシステム~最適化の適用事例から見たデータ活用システムの現在と未来~』
 
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
 
第26回 萩本匠道場
第26回 萩本匠道場第26回 萩本匠道場
第26回 萩本匠道場
 
リクルート式AIの活用法
リクルート式AIの活用法リクルート式AIの活用法
リクルート式AIの活用法
 
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
開発者のための機械学習入門:Azure Machine Learning Studioで構造化データから予測分析
 
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
 
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
R言語で始めよう、データサイエンス(ハンズオン勉強会) 〜機会学習・データビジュアライゼーション事始め〜
 
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
データサイエンティストに聞く!今更聞けない機械学習の基礎から応用まで Vm 1
 
CNNチュートリアル
CNNチュートリアルCNNチュートリアル
CNNチュートリアル
 
ディープラーニング入門 ~ 画像処理・自然言語処理について ~
ディープラーニング入門 ~ 画像処理・自然言語処理について ~ディープラーニング入門 ~ 画像処理・自然言語処理について ~
ディープラーニング入門 ~ 画像処理・自然言語処理について ~
 
「人工脳」のご紹介
「人工脳」のご紹介「人工脳」のご紹介
「人工脳」のご紹介
 
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
NRI流 検索ソリューション導入時にこれだけはおさえておきたい鉄則
 

More from Tatsuya Shirakawa

2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phraseTatsuya Shirakawa
 
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
 Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ... Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...Tatsuya Shirakawa
 
Learning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data AugmentationLearning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data AugmentationTatsuya Shirakawa
 
Poincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical RepresentationsPoincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical RepresentationsTatsuya Shirakawa
 
Improving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive FlowImproving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive FlowTatsuya Shirakawa
 

More from Tatsuya Shirakawa (8)

2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase
 
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
 Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ... Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
Taskonomy: Disentangling Task Transfer Learning -- Scouty Meetup 2018 Feb., ...
 
Hyperbolic Neural Networks
Hyperbolic Neural NetworksHyperbolic Neural Networks
Hyperbolic Neural Networks
 
Learning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data AugmentationLearning to Compose Domain-Specific Transformations for Data Augmentation
Learning to Compose Domain-Specific Transformations for Data Augmentation
 
Icml2017 overview
Icml2017 overviewIcml2017 overview
Icml2017 overview
 
Poincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical RepresentationsPoincare embeddings for Learning Hierarchical Representations
Poincare embeddings for Learning Hierarchical Representations
 
Dynamic filter networks
Dynamic filter networksDynamic filter networks
Dynamic filter networks
 
Improving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive FlowImproving Variational Inference with Inverse Autoregressive Flow
Improving Variational Inference with Inverse Autoregressive Flow
 

Recently uploaded

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 

Recently uploaded (9)

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 

ヒトの機械学習

  • 1. Update 2019/06/02 Tatsuya Shirakawa (tatsuya@abejainc.com) ヒトの機械学習 ICLR2019読み会@京都
  • 2. Tatsuya Shirakawa 2 ABEJA, Inc. (Researcher) - Deep Learning (CV, Graph, NLP, ) - Machine Learning Github https://github.com/TatsuyaShirakawa NTT Data Mathematical Systems Inc. - Mathematical Optimization - Machine Learning / Deep Learning Math. Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - 双曲空間でのMachine Learningの最近の進展 - より良い機械学習のためのアノテーションの機械学習 Now
  • 3. Copyright © ABEJA, Inc. All rights reserved. Retailの話 3
  • 4. Copyright © ABEJA, Inc. All rights reserved. ABEJA Insight for Retailでやっていること 4 店舗にカメラを設置し、 • 来店⼈数カウント • 来店者属性(年齢・性別)推定 • リピーター推定 • 導線分析

  • 5. Copyright © ABEJA, Inc. All rights reserved. デモグラ推定 個別来店者の年齢・性別を推定し、来店者全体の年齢・性別分布を把握したい 5 Male or Female? How old? ← わりと簡単 ← けっこう難しい
  • 6. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — ⾒た⽬年齢と⽣物学的年齢 ⾒た⽬から⽣物学的年齢を推定するのは難しい
 ⾒た⽬年齢は感覚的で撮影環境や画質にも依存する 6 How old am I?(⽣物学的年齢) How old do I look?(⾒た⽬年齢)
  • 7. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — アノテーションバイアス ヒトは無意識に特定の年齢ばかりアノテーションしてしまう 7
  • 8. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — 範囲のある数値データ 識別がよいのか回帰が良いのか。 また、構造的に、範囲の端(0歳とか100歳とか)を出⼒しづらい。 8 0 1 2 3 100歳 35.6歳 Age Classification Age Regression or
  • 9. Copyright © ABEJA, Inc. All rights reserved. DEX — 識別による回帰 R. Rothe+, “DEX: Deep EXpectation of apparent age from a single image”, ICCV workshop 2015 softmaxで年齢ラベル推定し、それで年齢の期待値をとる。
 4年くらい前のSOTAで、最近の⽅法もこれをベース(たたき台)にしているもの が多い。ただし、DEXでも範囲の端が予測できない問題は解決できない… 9https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
  • 10. Copyright © ABEJA, Inc. All rights reserved. 年齢推定の難しさ — 全体の分布を⼀致させたい 個⼈個⼈の年齢性別はもちろんだが、来店者全体の年齢性別の分布を知りたい
 => 個別データではなく、分布をground truthにあわせたい
 …が、漫然とやると、予測値は平均値/中央値側に間違いやすくなる 10 Ground Truth ← 予測値の“分布”をこれに
   近づけなければいけない
  • 11. Copyright © ABEJA, Inc. All rights reserved. 年齢推定あらゆるタスクにおける難しさ 現実世界はとにかくノイジー!だいたい正⾯向いてくれない!
 カメラの選定・設置・調整技術は超重要!(限界はある) 11
  • 12. Copyright © ABEJA, Inc. All rights reserved. ヒトの認知能⼒由来の難しさ アノテーションをする際、画質のコントロールをすることは超重要! 12 Who are you? 明るさ補正 Who are you? ヒトにとってやさしく。
  • 13. Copyright © ABEJA, Inc. All rights reserved. よいデータセットがない問題 世の中で公開されているデータセットも⾃分で作るデータセットも、年齢分布が ⾮常にインバランス。⼦供と⾼齢者は精度を出しにくい。 13https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
  • 14. Copyright © ABEJA, Inc. All rights reserved. ⾃前でもデータをためにくい問題 — プライバシー保護 個⼈識別できるデータ(特徴量など)は6ヶ⽉以内に破棄する必要がある等 → ⾃前で学習データセットを作って保持することが困難 14https://abejainc.com/insight/retail/ja/privacy/
  • 15. Copyright © ABEJA, Inc. All rights reserved. 印刷/表⽰された顔問題(anti-spoofing) 店舗内広告とかTシャツに印刷された顔とか凶悪 15
  • 16. Copyright © ABEJA, Inc. All rights reserved. リッチだけどチャレンジングな動線データ 16
  • 17. Copyright © ABEJA, Inc. All rights reserved. Insight for Retailは、
 店舗内のヒトの動きを科学するサービス 17
  • 18. Copyright © ABEJA, Inc. All rights reserved. Annotationの話 18
  • 19. Copyright © ABEJA, Inc. All rights reserved. 19 10,000⼈のアノテーター! 品質管理! 速度!
  • 20. Copyright © ABEJA, Inc. All rights reserved. なぜAnnotationにこだわるのか? 20
  • 21. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 21 収集 意味付け 学習 評価 運⽤ アノテーション = “cat
  • 22. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 22 “cat” 収集 アノテーション 学習 評価 運⽤ Process
  • 23. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 23 “cat” Info. Loss 上流で重要な情報 を⽋落させない
 ことが重要 収集 アノテーション 学習 評価 運⽤ Process
  • 24. Copyright © ABEJA, Inc. All rights reserved. MLの典型的プロセス 24 “cat” Info. Loss 収集 アノテーション 学習 評価 運⽤ Process 上流で重要な情報 を⽋落させない
 ことが重要
  • 25. Copyright © ABEJA, Inc. All rights reserved. 実験: Learning on Noisy Dataset 25 Classification Dataset 100% 識別モデルの学習 テストデータでTest 100% アノテーション精度
  • 26. Copyright © ABEJA, Inc. All rights reserved. 実験: Learning on Noisy Dataset 26 Classification Dataset 100% Label Noising
 学習データの0~100%のラベルを付替 0~100% 識別モデルの学習 テストデータでTest 100% アノテーション精度
  • 28. 相対精度 = 精度 / 全試⾏で達成されたの最良精度 のヒートマップ 学習データの精度とサイズに対するモデルのテスト精度 学習に使うデータ数 データの精度
  • 29. Copyright © ABEJA, Inc. All rights reserved. 顔認識でもデータセットのアノテーション精度が⼤事 29 顔認識 = 顔画像が誰の顔かを当てる技術
 ⼤規模で多様でクリーンなデータセットを学習に使うことがクリティカル ⼤規模な(9000⼈の330万枚の顔画像)
 綿密にクリーニングされたデータセット (https://github.com/davidsandberg/facenet)
  • 30. Copyright © ABEJA, Inc. All rights reserved. [Loy2018] C. C. Loy+, “The Devil of Face Recognition is in the Noise”, ECCV2018
 クリーンなデータセットを使うと⾼精度のモデルを効率的に得られる 30 論⽂中で提案されたクリーンなデータセット
  • 31. Copyright © ABEJA, Inc. All rights reserved. GPT-2 31 A. Radford+, “Language Models are Unsupervised Multitask Learners”, 2019 信頼性の⾼いWebページをクローリングして得たクリーンで多様なコーパス(WebText) 上で強⼒な⾔語モデル(GPT-2)を教師なし学習(尤度最⼤化)。
 ⽂書⽣成系のさまざまなタスクのZero-shot学習でSOTAを更新
  • 32. Copyright © ABEJA, Inc. All rights reserved. なぜAnnotationにこだわるのか アノテーションがなきゃ始まらない アノテーションの品質が良くなきゃ始まらない アノテーションを⼤量にできなきゃ始まらない 32
  • 33. Copyright © ABEJA, Inc. All rights reserved. なぜAnnotationにこだわるのか アノテーションがなきゃ始まらない アノテーションの品質が良くなきゃ始まらない アノテーションを⼤量にできなきゃ始まらない 33 ホント?
  • 34. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 34
  • 35. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 35 アノテーションに関係ない部分を頑張る系
  • 36. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 36 個⼈的に⼀番好きだけど、タスク依存
  • 37. Copyright © ABEJA, Inc. All rights reserved. Annotationサボる系研究 • Unsupervised Learning • Domain Adaptation • Data Augmentation • Transfer Learning • Weakly-Supervised Learning • Semi-Supervised Learning
 37 できるだけサボる系 ←
  • 38. Copyright © ABEJA, Inc. All rights reserved. Semi-Supervised Learning 38 少量の教師ありデータと(⽐較的)⼤量の教師なしデータから学習する 教師なしデータを利⽤して 教師あり学習の精度を向上 できるか? “cat” “dog” “dog” “cat” “cat”
  • 39. Copyright © ABEJA, Inc. All rights reserved. 有名なSSL⼿法+αの効果検証 39 • Temporal Ensemble (ICLR2017) • Mean Teacher (NeurIPS2018) • TE++ (WAICに基づく筆者らの未発表⼿法) x, y ⼊出⼒ペア
 w dropoutやDAなどの
 効果を表す確率変数
 θ … モデルパラメータ(省略可) いずれも、モデルの出⼒が揺らが ないように正則化を加える⼿法
  • 40. Copyright © ABEJA, Inc. All rights reserved. CIFAR10での検証結果 40 TE Mean Teacher TE++ ※モデルはいずれも同じ 効果はあるが不安定・限定的で、教師データを増やしたほうが明らかに効果的
  • 41. Copyright © ABEJA, Inc. All rights reserved. [Oliver2018] A. Oliver+, “Realistic Evaluation of Deep Semi-Supervised Learning Algorithms”, NeurIPS2019
 既存のSSL論⽂は過度なパラメータチューニングなどがなされており、
 ⼿法⾃体の正当な評価が出来ていない 41
  • 42. Copyright © ABEJA, Inc. All rights reserved. アノテーションしないで戦うのは
 ⾯⽩いけどいばらの道 42
  • 43. Copyright © ABEJA, Inc. All rights reserved. じゃあAnnotationしよう。 で、誰がするの? 43
  • 44. Copyright © ABEJA, Inc. All rights reserved. アノテーターさん 44 10,000⼈!
  • 45. Copyright © ABEJA, Inc. All rights reserved. 45 10,000⼈
  • 46. Copyright © ABEJA, Inc. All rights reserved. アノテーターの個性問題 アノテーターによって、上⼿い下⼿、速い遅いがある アノテーターによって、得意なタスクとそうでないタスクがある アノテーターによって、際どいケースでの思い切りが違う アノテーションが業界的にスキルとして確⽴していない 46
  • 47. Copyright © ABEJA, Inc. All rights reserved. アノテーターの解析例 (EM-algo) 47
  • 48. Copyright © ABEJA, Inc. All rights reserved. 詳しくはWebで • アノテーションがコケると機械学習
 がWorkしなくなる • アノテーションの精度が重要 • アノテーションの量が重要 • アノテーションをサボるとロクな
 ことがない 48 https://tech-blog.abeja.asia/entry/ml-annotation
  • 49. Copyright © ABEJA, Inc. All rights reserved. Annotation Serviceは、 ヒトを上⼿につかってデータに命を吹き込むサービス 49
  • 50. Copyright © ABEJA, Inc. All rights reserved. Retailの解析もAnnotationも
 ヒトの⾏動や意思決定を対象にしたサービス 50
  • 51. Copyright © ABEJA, Inc. All rights reserved. などと取り繕って⾒ましたが、
 ヒトを理解してみたいというのが本⼼。 パターンはあるけどモヤモヤものに切り込むのって楽しいですよね…? 51
  • 54. Why ML? 1. 理論駆動アプローチは視野を狭める
 2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3. ⼈間の⾏動は⾮常に複雑
 4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない 54
  • 55. Why ML? 1. 理論駆動アプローチは視野を狭める
 2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3. ⼈間の⾏動は⾮常に複雑
 4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない 55
  • 56. 理論で説明される現象しか⾒なくなる R. E. Jack+, “Data-Driven Methods to Diversify Knowledge of Human Psychology”, Trends in cognitive sciences 2018 広く信奉されているEkmanの基本6感情理論は、暗黙のうちに⻄洋⼈を仮定して いた。最近は、そもそも6感情に分けること⾃体に疑義(おまけ参照)。 “theory-driven lenses ‒ the hallmark of hypothesis testing ‒ can constrain the development of knowledge, even within a culture “ 56 ↑ 表情が表す感情の理論は⻄洋⼈をベースに作られており、東洋⼈には通⽤しなかったという解析
  • 57. Why AI? 1. 理論駆動アプローチは視野を狭める
 2.⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3.⼈間の⾏動は⾮常に複雑
 4. ⼼理学で使われているML⼿法は、古典的でアップデートされていない 57 関連因⼦が多すぎて、理論(モデル)駆動では
 部分的にしか扱いきれない
  • 58. Why AI? 1. 理論駆動アプローチは視野を狭める
 2. ⼼理的側⾯は、いつもノイジーで部分的なデータとして観測される
 3. ⼈間の⾏動は⾮常に複雑
 4.⼼理学で使われているML⼿法は、古典的でアップデートされていない 58
  • 59. Copyright © ABEJA, Inc. All rights reserved. ⼼理学でもっともよく使われているML⼿法 因⼦分析、共分散構造解析、… 59
  • 60. “State-of-the-art” M. Gerlach+, “A robust data-driven approach identifies four personality types across four large data sets”, Nature Human Behaviour 2018 60 State-of-the-art clustering techniques
 = GMMs (Gaussian Mixture Models)
  • 61. Copyright © ABEJA, Inc. All rights reserved. 教師あり学習が使われていない…!? ⼼理学じゃなくて社会科学だけど…
 > データサイエンスでは⼀般的に使われるが、社会科学では滅多に使われない
 強⼒な⽅法、つまり教師付き学習 
 (「ビット・バイ・ビット — デジタル社会科学⼊⾨」) 研究⽅法の違いはあれど、⽬を疑うような⾔及は
 (この本だけでなく)これにとどまらない…。 61
  • 63. Copyright © ABEJA, Inc. All rights reserved. パーソナリティ⼼理学 63
  • 64. Personality Psychology — ⼈格⼼理学 Personality Psychology is a scientific study which aims to show how people are individually different due to psychological forces (wikipedia). 64 Personality Traits(特性)
 Features Personality Types(類型) Clustering / Classification あなたは○○タイプ!
  • 66. Big 5 — Five Factor Model (FFM) 66 1. Openness(経験への開放性)
 is a general appreciation for art, emotion, adventure, 
 unusual ideas, imagination, curiosity, and variety of experience 2. Conscientiousness(誠実性)
 is a tendency to display self-discipline, act dutifully, and strive 
 for achievement against measures or outside expectations 3. Extraversion(外向性)
 is characterized by breadth of activities (as opposed to depth), surgency 
 from external activity/situations, and energy creation from external means 4. Agreeableness(協調性)
 trait reflects individual differences in general concern for social harmony 5. Neuroticism(神経症的傾向)
 is the tendency to experience negative emotions, such as anger, anxiety, or depression (wikipedia)
  • 67. Big5は⼼理学におけるデファクトスタンダード • Big5の有効性を裏付ける研究成果がたくさんある • むしろ、Big5との相関性を測ることが基本的な研究スキームにさえなっている • Big5は年をとっても変わりにくい(=その⼈の本質を表している?) • Big5の50%程度は遺伝要因で決まる(残りは環境要因 or 未知) 67
  • 69. 質問紙法 69 Questionnaire Method Projective Technique
 (e.g. Rorschach test)
  • 70. ⼀般的な質問紙調査法の⼿順 1. リサーチクエスションと仮説 2. 分析計画の⽴案 3. 質問の作成 4. 調査票の構成 5. 対象者の決定 6. 調査⽅法の選択 70 ← 共変数(交絡変数)の⾒落としがないか⼗分チェック ← 試⾏錯誤。平易で短い表現が望ましい。 ← a. ⼀般的で答えやすい質問を最初に b. プライバシーに関わる質問は最後に 
 c. 重要な質問はできるだけ前に
 d. 意識や意⾒を尋ねる質問は、事実に関する質問より前に
 e. 同じテーマの質問はまとめて、まとまりを超える場合はその旨がわかるように
 f. 回答者の興味と熱意が持続するように、質問の内容や形式を、適宜変更 ↑
 ⾯接調査、留置調査、電話調査、… めちゃくちゃ⾯倒で
 めちゃくちゃ仮説駆動的
  • 71. Ex. Newcastle Personality Assessor 71 5 Very unlikely
 4 Moderately unlikely
 3 Neutral
 2 Moderately likely
 1 Very likely 1. Start a conversation with a stranger 3 2. Make sure others are comfortable and happy 3 3. Use difficult words 4 4. Prepare for things in advance 4 5. Feel blue or depressed 2 6. Plan parties or social events 2 7. Insult people 3 8. Think about phillosophical or social questions 5 9. Let things get into a mess 3 10. Feel stressed or worried 2 Caluculation Score Extroversion Q1 + Q6 5 Neuroticisim Q5 + Q10 4 Conscientiousness Q4 + Q9 7 Agreeableness Q2 + Q7 6 Openness Q3 + Q8 9 https://www.theguardian.com/lifeandstyle/2009/mar/07/personality-test 単純な⾜し算でいいの?
 個⼈毎のバイアス(下駄はき)の調整は? Big5を測るための簡易なテスト
  • 72. Copyright © ABEJA, Inc. All rights reserved. IPIP-300 — 有名なBig5計測テスト 全300問。 ⾃分でやってみたら30分弱かかった(1問5-6秒)。 ⻄洋⽂化に最適化されているっぽく、どう答えてよいかわからない質問もある • 「教会で賛美歌を歌うとき⽴ってますか」 72
  • 73. Copyright © ABEJA, Inc. All rights reserved. ⼼理テストの課題 1. 質問の作り⽅が理論志向で恣意的すぎる
 2. 解像度を上げるためには多量の質問が必要 = 時間がかかる
 3. ⾔語能⼒や質問内容の読み取り⽅に依存する
 4. 無意識的な側⾯を測りづらい
 5. 何がよい質問かがカルチャーに依存する
 (「教会で賛美歌を歌うときに⽴ってますか」〜とか聞かれても…) 73
  • 74. Copyright © ABEJA, Inc. All rights reserved. 感じていること 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 74
  • 75. Copyright © ABEJA, Inc. All rights reserved. やりたいこと 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 75 潜在⼼理を探るAkinator的ななにか パーソナリティを双曲空間などへ埋め込んで観察してみる アノテーターのパーソナリティとパフォーマンスの相関 顧客⾏動データからの⾏動特性解析
  • 76. Copyright © ABEJA, Inc. All rights reserved. やりたいこと 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 76 潜在⼼理を探るAkinator的ななにか パーソナリティを双曲空間などへ埋め込んで観察してみる アノテーターのパーソナリティとパフォーマンスの相関
  • 77. Copyright © ABEJA, Inc. All rights reserved. やりたいこと 1. ちょっと踏み外してみた質問もされるべき
 2. 質問⼿順の効率性も解析されるべき
 3. アカウント管理され、⼼理テストは統合されるべき
 4. ⼼理テスト結果はもっと機械学習され、データから理論/仮説が⽣まれるべき
 5. ⼼理テストの結果は現実世界において、もっと有効活⽤されるべき 77 潜在⼼理を探るAkinator的ななにか パーソナリティを双曲空間などへ埋め込んで観察してみる アノテーターのパーソナリティとパフォーマンスの相関 そろそろ無理やり分類するのはやめて、
 データをあるがままに観察しませんか?
  • 78. Copyright © ABEJA, Inc. All rights reserved. 双曲空間? 78
  • 79. Copyright © ABEJA, Inc. All rights reserved. 双曲空間(Hyperbolic Spaces) ⼀定の(断⾯)曲率をもった空間
 - 曲率 < 0 → (超)球⾯
 - 曲率 = 0 → ユークリッド空間 - 曲率 < 0 → 双曲空間
 79 Tech blog http://tech-blog.abeja.asia/ - 異空間への埋め込み!Poincare Embeddingsが拓く表現学習の新展開 - 機は熟した!グラフ構造に対するDeep Learning、Graph Convolutionのご紹介 - より良い機械学習のためのアノテーションの機械学習 「異空間散歩!双曲空間を歩いてみよう。」 “⽊構造を連続化した空間” - 双曲空間でのMachine Learningの最近の進展
  • 80. Copyright © ABEJA, Inc. All rights reserved. 双曲空間の表し⽅(座標のとり⽅)はさまざま 80 Poincaré Ballモデル
 - 可視化に優れる|
 - 外側ほど空間が密 上半空間モデル
 - 可視性に優れる
 - 下⽅ほど空間が密 Lorentz/Hyperboloidモデル
 - 最も計算が簡単なモデル
 - 数学的には⼀番簡易? https://mnick.github.io/publication/nickel2018learning/
  • 81. Embeddings in Hyperbolic Spaces 81 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 82. Embeddings in Hyperbolic Spaces 82 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 83. Embeddings in Hyperbolic Spaces 83 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 84. Copyright © ABEJA, Inc. All rights reserved. Poincaré Embeddings M. Nickel+, “Poincaré Embeddings for Learning Hierarchical Representations”, NeurIPS2017
 
 Poincaré ballへの埋め込み(Poincaré Embeddings)を提案し、⽊構造データを低 次元で精度良く埋め込めることを⽰した。
 
 
 共起した2データi, jの間の距離が、他の点より
 近くなるように埋め込みを最適化する 84
  • 85. Embeddings in Hyperbolic Spaces 85 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 86. Copyright © ABEJA, Inc. All rights reserved. Representation Tradeoff / h-MDS C. D. Sa, “Representation Tradeoffs for Hyperbolic Embeddings”, ICML2018 • Sarkar’s Constructionをn-次元に拡張し、任意精度で距離を保って⽊を埋込 • Poincaré Ballの縁(密度集中)部分を表現するに⾜る浮動⼩数点精度の評価 • ⼆点間距離データが与えられた場合に双曲空間への最適埋込を⾏うh-MDS • 本質的に双曲空間でのPCAを構成した(軸<—>測地線) 86 双曲空間でのPCA(接空間に移⾏してPCAをして戻すだけ)
  • 87. Embeddings in Hyperbolic Spaces 87 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 88. Copyright © ABEJA, Inc. All rights reserved. Hyperbolic Entailment Cones O. Ganea+, “Hyperbolic Entailment Cones for Learning Hierarchical Embeddings”, ICML2018 双曲空間に点として埋め込むのではなく、錐体(cone)として埋め込む⽅法
 を提案。階層関係が錐の包含関係として⾃然に表現される。 88
  • 89. Embeddings in Hyperbolic Spaces 89 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 90. Copyright © ABEJA, Inc. All rights reserved. Disk Embeddings R. Suzuki+, “Hyperbolic Disk Embeddings for Directed Acyclic Graphs”, ICML2019 Hyperbolic Entail Coneが実は双曲空間の特性を活⽤できておらず、本質的にn次 元超球⾯におけるn-1次元超球⾯としての埋め込みになっていることを⾒抜いた。
 その上で、双曲空間において正しく超球⾯として埋め込む⼿法を提案。 任意のDAGが超球⾯、双曲空間、ユークリッド空間
 に統⼀的に埋め込めるようになった! 90
  • 91. Embeddings in Hyperbolic Spaces 91 [M. Nickel+]
 Poincaré Embeddings ~ 17’ 05 18’ 04 [C. D. Sa+]
 Representation Tradeoff ~
 (Near-exact tree embs., h-MDS) [O. Ganea+]
 Hyperbolic Entailment Cones
 (Poincare embs. + Order embs.) 18’ 05 [C. Gulcehre+]
 Hyperbolic Attention Networks
 (Einstein Mid. Point) [O. Ganea+]
 Hyperbolic Neural Networks [M. Nickel+]
 Learning Continuous Hierarchies
 in the Lorentz Model~ [A. Tifrea+]
 Poincaré Glove ~ (Poincaré Glove) 18’ 06 18’ 10 …19’ 2 [R. Suzuki+]
 Hyperbolic Disk Embeddings [A. Gu+]
 Mixed-Curvature 
 Representations 18’ 9
  • 92. Copyright © ABEJA, Inc. All rights reserved. Mixed-Curvature Representations A. Gu+, “Learning Mixed-Curvature Representations in Product Spaces”, ICLR2019 ユークリッド空間、超球⾯、双曲空間の積空間への埋め込みを構成することで、 より⾃由な曲率の空間への埋め込みを実現。データ中に潜む平⾯構造、サイクル 構造、⽊構造が埋め込みを通じて抽出できるようになった。
 ユークリッド空間、超球⾯、双曲空間
 の曲率スケール⾃体も最適化する。 92
  • 93. Copyright © ABEJA, Inc. All rights reserved. データの構造をみる ↓ 最適なデータの埋め込みを求める
 ↓ 最適な空間への最適な埋め込みを求める 93
  • 94. Copyright © ABEJA, Inc. All rights reserved. Personality Embeddings A. Gu+, “Learning Mixed-Curvature Representations in Product Spaces”, ICLR2019 ユークリッド空間、超球⾯、双曲空間の積空間への埋め込みを構成することで、 より⾃由な曲率の空間への埋め込みを実現。データ中に潜む平⾯構造、サイクル 構造、⽊構造が埋め込みを通じて抽出できるようになった。
 ユークリッド空間、超球⾯、双曲空間
 の曲率スケール⾃体も最適化する。 ⼼理学でこれをやりたい! …が、空間の組み合わせを
  逐次探索するのはつらい
  • 95. Copyright © ABEJA, Inc. All rights reserved. 数学/ML観点で気になってること さまざまな空間をなめらかにパラメトライズする⽅法が知りたい • 双曲空間・超球⾯ごとには曲率はなめらかにパラメトライズされているが、双 曲空間やユークリッド空間、超球⾯をなめらかに接続する表現は知らない • 積空間では空間がシンプルすぎる(世界はトイレットペーパーの芯程度の単純 さではないはず) そもそも空間(の計量?)をパラメトライズする必要はあるのか • 計算上必要なのは勾配情報(更新⽅法)だけ • 勾配情報だけを適切にパラメータ付する⽅法は?(cf. LambdaRank, NODE) 95
  • 96. Copyright © ABEJA, Inc. All rights reserved. To be continued 96
  • 97. Copyright © ABEJA, Inc. All rights reserved. おまけ 97
  • 98. Ekmanの基本6感情と表情 エクマンは感情には⽂化共通的な下記の基本6感情があり、表情から各感情を読 むことができると主張した。 1. Anger(怒り) 2. Disgust(嫌悪) 3. Fear(恐れ) 4. Happiness(幸福) 5. Sadness(悲しみ) 6. Surprise(驚き) 7. (Neutral) 98 https://howwegettonext.com/silicon-valley-thinks-everyone-feels-the-same-six-emotions-38354a0ef3d7
  • 99. 基本6感情理論に対する3つの反論 “AI believes we express emotions the same six ways ‒ That is a problem” 
 https://thebigsmoke.com.au/2019/04/28/ai-believes-we-express-emotions-same-six-ways-that-problem-emotion/ 1. 感情の定義⾃体、合意がとれていない
 2. Ekmanのパプアニューギニアでの調査⾃体ずさん(sloppy)。すでに⻄洋の影響 を受けてしまっていたらしい。
 3. ⼈ごとに異なる“基本感情”がある(⽂化的な相違) 99
  • 100. 表情はコミュニケーションツール! C. Crivelli+, “Facial Displays Are Tools for Social Influence”, Trends in Cognitive Sciences 2018 100
  • 101. ⼀⽅で、ほとんどの表情からの感情推定アプリは
 多かれ少なかれEkman流 • API A • 怒り、軽蔑、嫌悪、恐れ、幸福、悲しみ、驚き、ニュートラル • API B • 喜び、悲しみ、怒り、驚き • API C, D • 怒り、嫌悪、恐れ、幸福、悲しみ、驚き、ニュートラル • API E • 喜び、怒り、驚き、ポジネガ 101
  • 102. ⽇本⼈もEkman的ではない! W. Sato+, “Facial Expressions of Basic Emotions in Japanese Laypeople”, Frontiers in Psychology 2019 102https://academist-cf.com/journal/?p=10185
  • 103. Copyright © ABEJA, Inc. All rights reserved. もっと最新の研究成果を
 実⽤に反映させなきゃ! 103
  • 104. Copyright © ABEJA, Inc. All rights reserved. Conclusion
 ヒトの解析楽しい 104