SSII2021 [OS2] 続・限られたデータからの深層学習（オーガナイザーによる冒頭の導入） 6月10日 (木) 11:00 - 12:30 メイン会場（vimeo + sli.do） オーガナイザー： 中山 英樹 氏（東京大学） 概要：深層学習は既に画像解析における中核技術となっているが、大量の教師付きデータを必要とすることが実応用上の障壁となりやすい。本セッションでは昨年に引き続き、少量のデータから高精度なニューラルネットワークを学習する手法を紹介する。具体的には、転移学習・データ拡張・自己教師付き学習などの先端的な技術について、それぞれ第一線で活躍している講師に解説を頂き、基礎理論から画像分野への応用まで俯瞰すると共に、産業展開へ向けた議論を深めたい。

1. OS2 続・限られたデータからの深層学習
2021.6.10
中山 英樹（東京大学）

2.  11:00 - イントロダクション
 11:10 - 「転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法」
松井 孝太 氏（名古屋大学）
 11:32 - 「深層学習におけるデータ拡張の原理と最新動向」
中山 英樹 氏（東京大学） 幡谷 龍一郎 氏（東京大学）
 11:54 - 「自己教師あり学習における対照学習の基礎と応用」
Xueting Wang 氏（株式会社サイバーエージェント）
 12:16 - 総合討論
2
OS2 続・限られたデータからの深層学習

3.  教師あり学習の成功
◦ 大量のラベル付き訓練データに支えられた学習
3
背景：深層学習とデータ
𝐱𝑖, 𝒚𝑖 , 𝑖 = 1, . . . , 𝑁
“cat”
𝐱 𝒚
 
x
f
…
cat dog bird
ラベル付き訓練データセット
(x:画像，y:ラベル）
Credit: Andrew Ng

4.  現実には、いつでも大量のラベル付きデータが手に入るわけではない
◦ 特に、データ（画像）にラベルを付与する作業（アノテーション）が大変！
 例えば…
◦ 医療応用： そもそもデータが集めにくい（希少疾患、プライバシー保護）
◦ 監視カメラ、ロボット： 生画像はとれてもアノテーションは高コスト
4
背景：深層学習とデータ
少ないラベル付きデータで深層学習の
性能を引き出すことは可能だろうか？
SSII 2020 オーガナイズドセッション
『限られたデータからの深層学習』
解説技術：
ドメイン適応、弱教師あり学習、半教師あり学習

5.  大事なこと
◦ 深層学習（機械学習）はあくまでデータの統計的な性質を利用するもの
◦ 少ないラベル付きデータで学習することは、そもそもの原理とは逆行するアプローチ
統計的に不可能なことはどう頑張っても不可能
5
続・限られたデータからの深層学習
 本セッションの講演テーマ
それでも何とか深層学習を使いたい・・・ 「少ないラベル付きデータ」
以外の何かも活用する
転移学習
データ拡張
自己教師あり学習
他のタスク・データセットから得られる知識を活用！
目的タスクに関する人の先見知識を活用！
ラベルなしデータを活用！

6. 松井 孝太 先生（名古屋大学）
『転移学習の基礎：異なるタスクの
知識を利用するための機械学習の方
法 』
概要： 転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタス
クからの知識（データ、特徴、モデルなど）を利用するための方法を与える機械学
習のフレームワークです。深層モデルの学習方法として広く普及している事前学
習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発
表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習
の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメ
イン適応、メタ学習について解説します。
6
講演１

7. 中山 英樹 先生（東京大学）
幡谷 龍一郎 氏（東京大学）
『深層学習における
データ拡張の原理と最新動向』
概要： データ拡張は画像認識の精度向上テクニックとして古くから用いられてきた
が、最新の深層学習においても最重要技術の一つとして年々注目を集めており、
多様かつ複雑な進化を遂げている。その成功のカギは、タスクに関する先見知識
を活用しながら、如何にして汎化性能を高めるように訓練画像を変換あるいは生
成するかにある。本講演では、データ拡張の原理や最新動向について解説すると
共に、自動的なデータ拡張に関する講演者の研究事例についても紹介する。
7
講演２

8. 汪 雪婷 (Xueting Wang) 先生
（株式会社サイバーエージェント）
『自己教師あり学習における
対照学習の基礎と応用』
概要： 自己教師あり学習は、データ自身から用意した教師を用いてデータの表
現を学習することで、人間のアノテーション作業の負担を大きく削減可能という高
い実用性を持つ。その中でも、特に近年では対照学習(Contrastive Learning)と
呼ばれる技術は、教師あり学習に匹敵、あるいはそれ以上の性能を示すことで
注目されている。本講演では、講演者の研究事例に基づき、対照学習の原理や
応用について紹介する。
8
講演３

9.  11:00 - イントロダクション
 11:10 - 「転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法」
松井 孝太 氏（名古屋大学）
 11:32 - 「深層学習におけるデータ拡張の原理と最新動向」
中山 英樹 氏（東京大学） 幡谷 龍一郎 氏（東京大学）
 11:54 - 「自己教師あり学習における対照学習の基礎と応用」
Xueting Wang 氏（株式会社サイバーエージェント）
 12:16 - 総合討論
9
OS2 続・限られたデータからの深層学習