Tenenbaum review-20140704-1600

論文紹介： How to Grow a Mind
高橋達二
東京電機大学理工学部
2014-Jul-04-Fri AGI 輪読会
高橋達二 (TDU) 論文紹介： How to Grow a Mind 2014-Jul-04-Fri AGI 輪読会 1 / 62

Outline
1 紹介論文
2 Joshua B. Tenenbaum について
3 要約と主要な三つの問題
4 チャレンジ：どうやって一だけ聞いて十を知るか？
5 問 1. 抽象的知識の役割
6 問 2. 抽象的知識の形式
7 問 3. 抽象的知識の起源
8 オープンクエスチョンズ
9 結論

紹介論文
Topic
1 紹介論文
9 結論

紹介論文
紹介論文
Joshua B. Tenenbaum, Charles Kemp, Thomas L. Griﬃths, Noah D.
Goodman, How to Grow a Mind: Statistics, Structure, and
Abstraction, Science, 331, 1279–1285. (2011)
NIPS 2010 での招待講演（動画）
How to Grow a Mind: Statistics, Structure and Abstraction
@ 24th NIPS, Vancouver 2010
レビューされている具体的な内容
言語獲得 F. Xu, J. B. Tenenbaum, Psych. Rev. 114, 245 (2007).
構造発見 C. Kemp, J. B. Tenenbaum, PNAS, 105, 10687 (2008).
概念学習・理論形成 C. Kemp et al., Cognition 114, 165 (2010).

Joshua B. Tenenbaum について
Topic
1 紹介論文
9 結論

MIT の認知科学者
ゴール：「人間の心の reverse-engineering」
CBMM メンバー
機械学習で ISOMAP を提唱
認知心理学ではベイズ的方法論を全面的に導入
中村國則, 認知科学におけるベイズ的アプローチに関する文
献の紹介, 認知科学, 16(4), 523-529. (Dec. 2009)
Tenenbaum school を形成
Ruslan Salakhutdinov も Tenenbaum lab あたりでポスドク（共
著論文二本あり）
最近の意見：不変性だけでなく因果関係の表現の獲得が重
要 (CBMM 関係の WS でのトークの動画)
生成モデルの構築
確率論理、確率プログラミング言語 (e.g., Church) の必要性

要約と主要な三つの問題
Topic
1 紹介論文
9 結論

要約
人間の心は得られるデータを超えて推論を行い世界を理解
主要な帰納的推論と学習の例：
概念の学習
言語の獲得
因果関係の把握
人間の心はいかにしてそれを可能とするのか
そして、人間の学習と認知発達を reverse-engineering し、より
人間的な機械学習システムを作るにはどうすればよいか
これに関し、柔軟に構造化された表現の階層の上での確率推
論は、次の三つの問題を扱うことができる

三つの主要な問題
問 1. 抽象的な知識はスパースなデータからの学習と推論を
どのように導くのか
問 2. 我々の知識は、異なる領域やタスクを越えて、いかな
る形式をとるのか
問 3. 抽象的な知識それ自体はどのように獲得されるのか

チャレンジ：どうやって一だけ聞いて十を知るか？
Topic
1 紹介論文
9 結論

説明すべき問題
我々が手にする入力データはスパース、ノイジー、かつ曖昧
であり、あらゆる意味であまりにも貧弱
他方、我々は
上等な因果モデルを形成
強い汎化を実行
強力な抽象概念を構築
この入力と出力の間の大きなミスマッチをどう説明できるか？

発達において
子どもは少数の例から適切に汎化
汎化を見て初めて、子どもが、単に音や文字でなく、言葉の
意味を把握したと判断できる
完璧でなくとも、新しい状況でその言葉を適切に使える
感覚入力データ上の計算と考えれば、これは異例の離れ技

スパースデータからの汎化
言語の多くの側面（統語論的構成や形態学的規則など）の学
習でデータはかなりスパース
子どもは片手に余る程度の事象のみ、少なすぎるサンプルか
ら、因果リンクも日常的に推論
認知発達における最も深い達成は大規模な知識のシステムの
構築
直感的な物理・心理・生物学の理論
社会構造や倫理判断のためのルールシステム
数年の単位でなされる大規模な知識システムの構築において
も、やはり最終産物は観察されたデータをはるかに凌駕

制約の必要性
適切な汎化には適切な制約が必要：
心理学・言語学：制約 constraints
機械学習・人工知能：帰納的バイアス inductive bias
統計学：事前分布 priors
これは基本的に Plato 以来の哲学者 (Aristotle, . . . , Hume,
Whewell, Mill, . . . , Carnap, Quine, Goodman, . . . ) が示唆して
きたもの
最近になってはじめて、
帰納学習を計算論的な問題の一種として
人間の心を、そのような問題を解くための天然の計算機として
捉えられるように

この論文の内容と立場
心理学、言語学、機械学習、人工知能、統計学の交点で生ま
れた最近のモデルについてレビュー
心の reverse engineering のための "Bayesian" または "確率論
的" なアプローチ
そのキーアイディアは先の主要な三つの問題に答えるための
提案

扱う問題と、対比される他の２アプローチ
具体的な二つのタスクを扱い、
概念の学習
因果関係の学習
人間の認知発達の open challenges を簡単に議論し、
ベイズ的アプローチの貢献をまとめて結論とする
その際、知識の起源の問題への従来の二つのアプローチ：
生得説
連合説（コネクショニズム）
との対比を行うこれらは先述の三つの問題に応えるための基礎の
強弱において異なる

旧来の二つの選択肢
これまで認知理論家のアプローチは二つのみ：
1 強力な統計学習を、単純で非構造的な知識形式の上で働か
せる：
典型例：意味的認知 semantic cognition のコネクショニストの
説明にあったような、結合重みの行列の更新
2 豊かに構造化された記号的知識に単純な非統計的な形式の学
習と仮説と観察データの論理的不整合性のチェックを付与
典型例：生得説者の言語獲得の説明（パラメータ調整）
これでは、どっちもどっちで：
抽象知識が学習できない（生得的）であるとする
人間の知識は抽象的でなく、構造化もされていないとする
だから、発達の研究者などは非形式的なアプローチで、「構築主義
constructivism」や「理論の理論 theory of theory」の名の下に子ど
もの心の発達を記述

ベイズアプローチ
ベイズアプローチでは典型的には豊かに構造化された表現力の高
い知識表現（問 2）と強力な統計推論エンジン（問 1, 3）を結合さ
せ、両者の総合だけが人間の知性を説明できると主張
この融合的アプローチが計算論的にうまくいくと理解されたのは
最近になってから
人々がいかにして、抽象的な構造化された知識を真に用いながら
学習するのか、ということを説明できる潜在能力を持つことが、
ベイズアプローチの流行、そして、その批判者からの懐疑論の標
的となっていることの、理由
これによって、発達研究でもフォーマルなアプローチが有意義に
可能に

問 1. 抽象的知識の役割
Topic
1 紹介論文
9 結論

認知心理学におけるベイズ的方法論
高次認知（学習・推論・判断）の研究では次で大きな成功
類似性の感覚
代表性
ランダム性
隠れた原因への手がかりとしての同時発生・一致
因果関係の強度の判断
evidential support
診断的・条件的推論
日常的出来事の将来についての予測

ベイズ的方法論
ベイズ的原理に従って人間が学習・推論する ̸=
心が何らかのベイズ的推論を実装
心が得意な帰納的計算についてのみ、効率的なメカニズムが生
物学的に獲得されており、ベイズ的な言葉で理解可能
学習や推論以外に、迅速で信頼できる無意識な処理で有効
知覚、言語、記憶、感覚運動系
他方、確率を数量として明示的・意識的に操作するタスクに
おいてはベイズ的な規範から悪名高く逸脱する
確率論自体は最近の文化的考案で、トレーニングも必要

確率的生成モデル
ベイズ式は問 1 に答える道具：
問 1 抽象的知識の不完全データからの推論の導き方
抽象的な知識は確率的生成モデルとしてエンコード
確率的生成モデル：
一種のメンタルモデルで、学習者がその隠れた状態を推論で
きれば効果的な予測や行動をサポートするような観察されて
いない・潜在的な変数と、学習者が観察するものをもたらす
因果的プロセスを記述
因果プロセスや潜在変数の状態に関する学習者の不確実性を
扱うため、生成モデルは次の二点で確率的：
1 目前の個別の状況だけでなく、学習が汎化すべきより広い状況
クラスを記述
2 学習者が観察するものの原因となり、また汎化を可能とするよ
うな、本質的な世界の構造を倹約的な形式で把握

ベイズ推論
ベイズ推論は観察されたデータに応じた、生成モデルの潜在変数
についての信念を更新するための合理的な枠組み
背景知識は潜在変数の可能な値に関する仮説 H 、（観察データを
説明できる世界の構造の候補）の制限された空間を通じてコード化
より精細な知識は「事前確率」 P(h) （観察に先立つ（あるいは観
察に独立な）特定の仮説 h についての信念の度合い）の形で提供
ベイズ式は事前分布を、観察データ d で条件付けられた「事後分
布」P(h|d) に更新：
P(h|d) =
P(d|h)P(h)
Σh′∈HP(d|h′)P(h′)
∼ P(d|h)P(h) (1)
事後確率は事前確率と尤度 P(d|h) の積に比例、データ d が仮説
h の下で、 H の中の他の全ての仮説 h′
に、相対的にどれだけ期
待されるか、の評価

スパースデータからの人間の概念学習
概念学習では、データ：例、仮説：概念の可能な外延
データに整合的な無数のルールに対し、なぜ子どもは馬を三頭見
れば、「馬」を全ての馬のみ (h1) に汎化し、
クライズデール以外の全ての馬 (h2) とか全ての動物 (h3) などと
は理解しないのか
尤度はより特定のパターンである h1 や h2 を好む：三つの
ランダムな例が h3 から実際に引き出されたならば、三頭とも
h1 や h2 に入るというのは信じがたい
事前確率は h1 や h3 を好む：カテゴリーが首尾一貫してお
り特有である方が、言語の共通の語の指示対象としてより
もっともらしい
両方の基準で好まれるのは h1 のみ

スパースデータからの人間の因果学習
データが複数の事象間の共起情報であるならば、
仮説はそれら事象をリンクする可能な因果関係
尤度はその共起情報をよりよく説明する因果関係を、
事前分布は、病気 (風邪) → 症状 (咳) を引き起こすのはその
逆、症状 (咳) → 病気 (風邪) よりもありそうなことであると
いうように、どの種の事象がどの他の事象を引き起こしやす
いかに関する我々の背景知識に合うリンクを、
それぞれ好む

問 2. 抽象的知識の形式
Topic
1 紹介論文
9 結論

抽象的知識の形式：問2
問 2. 我々の知識は、異なる領域やタスクを越えて、いかな
る形式をとるのか
概念学習や因果推論のような学習のような複雑な認知タスクでは、
素朴に全ての論理的に可能な仮説を――それぞれの事前分布と尤
度とともに――リストアップすることはできない
もっと洗練された形式の知識表現が、ベイズ的認知に必要な確率
的生成モデルの基礎をなしているはず

知識表現の構造
連想的・コネクショニストアプローチでは、学習の統計モデルは
大きな数値ベクトル上で定義するので、学習とは：
連想記憶の強さ、
ニューラルネットの重み、
あるいは高次元非線形関数のパラメータの評価
ベイズ的認知モデルでは、知識表現のもっと構造化された記号的
形式上に確率 (重み) を割り当てることに成功している。そういっ
た形式は計算機科学や AI で用いられる：
グラフ
文法
述語論理
関係スキーマ
関数型プログラム
異なる形式の表現を、人々の、異なる領域やタスク、そして異なっ
た抽象化のレベルに応じて使用

言葉と概念の学習における知識表現
子どもと大人の汎化を導く知識は、木構造表現の上での確率モデ
ルとしてうまく表現可能 (図 1B)
生物学的概念や自然種についての推論もまた、ツリー上で近くに
ある対象同士は性質を共有しやすい、と前提するベイズモデルで
よく記述できる
しかし木構造は普遍的な表現ではなく、
都市の地理的特性については二次元空間かグリッド
値や能力については一次元順序
因果的に伝染する種の特性（病気や色素、栄養素）について
は有向ネットワーク
がそれぞれ用いられる (図 2)

原因と結果の知識表現とその上の制約
有向グラフィカルモデルが有効
ノード変数
有向エッジ確率的な因果リンク
限られたデータからの因果ネットワークの学習には、より抽象的
な知識の制約が必要
医療の例では (図 3A) ノードは患者が風邪か、咳をするか、熱が
あるか、などエッジの在不在は風邪は咳や発熱の原因となるが、
胸痛は起こさない、肺病は咳の原因だが発熱は起こさない、など
より高次の知識によって変数を疾病と症状に分け、同じクラス内
や、症状から疾病へ、よりは、疾病から症状へと因果関係（グラ
フのエッジ）が走りやすいといったことを使えば、(図 3A–C) 因果
的依存関係を学習しやすい。

抽象的な高次知識
抽象的な高次知識の関係的データ構造は
グラフスキーマ
ノードのタイプに基づくグラフの雛型
確率的グラフ文法
言語知識の表現に標準となっている文字列の確率的文法と同様
によって表現できる
最も抽象的なレベルでは、因果性の概念自体が、外部エージェン
トの介入や操作をサポートする有向関係という意味で、行動と観
察可能な事象を関係づける有向グラフの構造の上の制約を表現す
る論理法則によって定式化可能 (図 3D)

汎化の制約と科学における仮説
各々の知識の形式が、帰納推論に異なる制約を定義し、課すよう
な異なった種類の事前分布をもたらす。汎化の成功のためにはそ
れらの制約を明確に持たなければならない。
帰納の制約はしばしば計量的だが、もっとも簡単なのは、学習者が
考慮できる仮説を単純に制限してしまう、質的制約を与える（多く
の論理的に可能な仮説の事前確率を 0 にしてしまう）ことである。
人々のある領域に関する心的表現は、生物種に対する木構造など、
しばしば科学者の同じ領域の記述・表現と同じ構造を持つ
世界のごく一部の在り方を近似するコンパクトな記述は、帰納学
習の制約のもっとも便利な形式を提供する

具体的な制約
概念学習の領域に対象が n あれば、概念は 2n
概念の外延に関する 2n
の仮説が論理的には可能
概念が対象上の特定の二分木の枝に対応するなら、(図 1B) 仮説の
空間は n − 1 通り（トーナメントでの試合の回数）に制限
因果学習において変数が 16 あるとすれば、可能な仮説は、有向非
循環グラフなので、約 1046
疾病と症状の二部グラフを考えれば 1023
、どの変数が疾病と症状
のクラスに属するかが分かれば 1018
仮説空間が小さければ小さいほど、正確に汎化が可能となると期
待できるが、それは学習すべき真の構造が学習者の仮説空間の中
か確率的に近くにある場合のみ

問 3. 抽象的知識の起源
Topic
1 紹介論文
9 結論

「いかにして学習者は学習を可能とするものを
学習するのか」
抽象的な知識を考える必要は
問 3 いかにして学習者は学習を可能とするものを学習する
のか
という問題に繋がる
子どもは、言語学習において仮説を表現するのに木構造が適
切であるとどうやって知るのか
ある存在物や概念の領域をいかなるデータ構造で表現すべ
きか
因果学習であれば、人々はどうやって抽象的な疾病と症状の
変数のクラスを、因果リンクは疾病から症状へと向かうもの
だとして、学習の枠組みとなる理論を修正するのか

認知発達
言葉を学習する子どもは、
最初は対象を、ラベル付クラスターにフラットで相互排他的
に分割
その後になって初めて、カテゴリーは木構造の階層で組織化
されるべきであるということを発見
これは科学史にも見られる
リンネ生物種の表現を伝統的なチェーン構造からツリー構造
に切り替え

図 1A (Tenenbaum et al., Science, 2011)
ll./_figs/Fig1A.pdf

図 1B (Tenenbaum et al., Science, 2011)
ty about the
the true causa
model is abst
only the specif
class of situa
generalize, an
the essential w
observations
Bayesian i
for updating b
erative mode
Background
constrained s
sible values
world structu
data. Finer-gra
probability” P
a specific hyp
of) the observ
to “posterior
the observed
P(hjd) ¼
∑
The posterior
product of the
P(d|h), measur
hypothesis h, r
To illustra
we observe J
three hypothe
Fig. 1. Human children learning names for object concepts routinely make strong generalizations from
just a few examples. The same processes of rapid generalization can be studied in adults learning names
for novel objects created with computer graphics. (A) Given these alien objects and three examples
(boxed in red) of “tufas” (a word in the alien language), which other objects are tufas? Almost everyone
selects just the objects boxed in gray (75). (B) Learning names for categories can be modeled as
Bayesian inference over a tree-structured domain representation (2). Objects are placed at the leaves of
Figure : オブジェクトのツリー

これまでの機械学習手法と認知発達理論
データ構造の形成は心理学者にも科学哲学者にも謎
従来の教師なし学習での構造発見での
階層的クラスタリング
主成分分析 (PCA)
多次元スケーリング
クリーク検出 clique detection
などは、単一の固定されたデータ・表現構造を前提
複数のデータ構造や新奇なデータからの新しい形式を学習不
可能
生得説では、質的に異なる形式は生得的
コネクショニストによれば、新しい構造は学べるが、ジェネリック
な結合重みのシステムでは、人々が明示的に知っていると見える構
造、ツリー、因果ネットワークなどを、せいぜい近似できるだけ

近年の認知理論
構造的知識表現とベイズ統計学のツールを組み合わせ
階層的ベイズモデル (HBMs: hierarchical Bayesian models) はデー
タを説明するのに、単一のレベルの仮説や事前分布ではなく、仮
説空間の仮説空間・事前分布の事前分布、といった複数のレベルの
仮説・事前分布を措定し仮説空間や事前分布の起源の問題を扱う
HBM の各レベルはその下のレベルの変数の確率分布を生成
全てのレベルにわたるベイズ推論は、特定の学習タスクに必要な
仮説や事前分布をそれ自体より大きい・長い時間スケールで学ぶ
ことを許し、同時にそれはより下のレベルの学習を制約
機械学習や人工知能では、 HBM は第一に転移学習：「以前の関連
したタスクでの経験からの帰納制約の獲得」に用いられてきたが、
(Supplemental Online Material を参照) ここでは HBM が人間が抽
象知識を正しい形で獲得する仕方の説明に利用

構造の発見
Kemp and Tenenbaum は、グラフや文法に基づく表現の上で定義
された HBM がいかにしてある領域の同一性を支配する構造の形
式を発見できるかを示した
ツリー、クラスター、空間、リング、順序など、様々な形式の構造
は全てグラフとして、そして各形式を基礎づける抽象的原則はそ
の形式のグラフの成長の単純な文法ルールとして表現される
階層ベイズ的枠組みに埋め込むと、このアプローチは多くの実世
界で問題になる領域の構造の正しい形式（文法）を、適切な形式
の最も良い構造（グラフ）と一緒に、発見できる (図 2)
図 1A にあるような新奇なオブジェクトに対する階層的な構造 (図
1B のような) が、たとえば二次元空間のような別の表現よりも
人々がそこに見いだす類似性に良く合うことを推論できる

図 2 A, B, C (Tenenbaum et al., Science, 2011)
Fig. 2A
Fig. 2. Kemp and Tenenbaum (47)
showed how the form of structure in
a domain can be discovered by using
a HBM defined over graph gram-
mars. At the bottom level of the
model is a data matrix D of objects
and their properties, or similarities
between pairs of objects. Each square
of the matrix represents whether a
given feature (column) is observed
for a given object (row). One level
up is the structure S, a graph of rela-
tions between objects that describes
how the features in D are distributed.
Intuitively, objects nearby in the graph
are expected to share similar feature
values;technically,thegraph Laplacian
parameterizes the inverse covariance
of a gaussian distribution with one
dimensionperobject,andeachfeature
is drawn independently from that dis-
tribution. The highest level of abstract
principles specifies the form F of
structure in the domain, in terms of
grammatical rules for growinga graph
S of a constrained form out of an
initial seed node. Red arrows repre-
sent P(S|F) and P(D|S), the condi-
tional probabilities that each level
specifies for the level below. A search
algorithm attempts to find both the
form F and the structure S of that form
that jointly maximize the posterior
probability P(S,F|D), a function of the
productofP(D|S)andP(S|F).(A)Given
as data the features of animals, the
A
E
B
C
D
Abstract
principles
tree: chain:
ring:
ring x chain
chain x chain
Features
Structure
Data
Animals
Brennan
Marshal
Blackmun
Stevens Souter
Ginsburg
Breyer White
O'Connor
Rehnquist
Scalia
Thomas
Kennedy
Mexico City LimaBogota
Ostrich
Chicken
Finch
Robin
Eagle
Penguin
Salmon Trout Alligator
Iguana
Whale
Dolphin
Ant
Cockroach
Butterfly
Bee
Seal
Wolf
Dog
Cat
Lion
Tiger
Squirrel
Mouse
Cow
Horse
Rhino
Elephant
Deer
Giraffe
Camel
Gorilla
Chimp
REVIEW
onMay23,2011ww.sciencemag.org
Fig. 2B, 2C
Fig. 2. Kemp and Tenenbaum (47)
showed how the form of structure in
a domain can be discovered by using
a HBM defined over graph gram-
mars. At the bottom level of the
model is a data matrix D of objects
and their properties, or similarities
between pairs of objects. Each square
of the matrix represents whether a
given feature (column) is observed
for a given object (row). One level
up is the structure S, a graph of rela-
tions between objects that describes
how the features in D are distributed.
Intuitively, objects nearby in the graph
are expected to share similar feature
values;technically,thegraph Laplacian
parameterizes the inverse covariance
of a gaussian distribution with one
dimensionperobject,andeachfeature
A
E
B
C
D
Abstract
principles
tree: chain:
ring:
ring x chain
Features
Structure
Data
Animals
Brennan
Marshal
Blackmun
Stevens Souter
Ginsburg
Breyer White
O'Connor
Rehnquist
Scalia
Thomas
Kennedy
Ostrich
Chicken
Finch
Robin
Eagle
Penguin
Salmon Trout Alligator
Iguana
Whale
Dolphin
Ant
Cockroach
Butterfly
Bee
Seal
Wolf
Dog
Cat
Lion
Tiger
Squirrel
Mouse
Cow
Horse
Rhino
Elephant
Deer
Giraffe
Camel
Gorilla
Chimp
REVIEW

図 2 D, E (Tenenbaum et al., Science, 2011)
Fig. 2D
as data the features of animals, the
algorithm finds a tree structure with
intuitively sensible categories at mul-
tiple scales. (B) The same algorithm
discovers that the voting patterns of
U.S. Supreme Court judges are best
explained by a linear “left-right” spec-
trum.(C)Subjective similaritiesamong
colors are best explained by a circu-
larring.(D) Given proximitiesbetween
cities on the globe, the algorithm dis-
covers a cylindrical representation
analogous to latitude and longitude:
the cross product of a ring and a
ring. (E) Given images of realistically
synthesized faces varying in two di-
mensions, race and masculinity, the
algorithm successfully recovers the un-
derlying two-dimensional grid struc-
ture: a cross product of two chains.
D
ring x chain
Los Angeles
Honolulu
Wellington
Sydney
Perth
Jakarta
Manila
Shanghai
Bangkok
Tokyo
Vladivostok
Irkutsk Moscow
Berlin
London
Madrid
Dakar
New
York
Anchorage
Vancouver
Chicago
Toronto
Bombay
Teheran
Cairo
Nairobi
Budapest
Cape
Town
Mexico City LimaBogota
Santiago
Buenos
Aires
Sao
Paulo
Kinshasa
onMay23,20www.sciencemag.orgDownloadedfrom
Fig. 2E
if different domains of cognition are represented tics. Hierarchical B
E
D
chain x chain
Features
Data
Animals
L
Hono
Wellington
Sydney
Perth
Jakarta
M
Mouse

枠組み理論の学習
HBM はまた、疾病と症状といった、枠組みの理論のような抽象的
な因果知識の学習にも用いることが出来る。
Manshinghka et al. は疾病と症状の二つのクラスを表現するグラフ
スキーマと因果リンクが疾病変数から症状変数へと走ることの優
先、が、特定の疾病と症状の間の因果リンクの学習を支持する同
じデータから学習できることを示した (図 3B, 3C)
学習されたスキーマは、また、より下のレベルの特定の因果関係
（有向グラフ構造）の学習を大幅に加速する
全体像――特定の疾病―症状リンクを特定する前に、疾病が症状
の原因となることを発見する――をまず獲得し、そしてその枠組
みを特定の知識のギャップを埋めるのに用いる、というのは（ボト
ムアップとトップダウンである種のループを作れる）人間に特徴
的な学習の様式である
これは子どもの発達や科学の発展に顕著に現れるが、これまでの
合理的あるいは統計的な学習モデルには収まらなかった

図 3 A (Tenenbaum et al., Science, 2011)
A C
True structure
Abstrac
principle
'diseases'
'symptoms'
1
1
1
6 7
6
7
16
162 3 4 5 6
7 8 9 10 11 12 13 14 15 16

図 3 B, C (Tenenbaum et al., Science, 2011)
Fig. 3B
B
True structure
n = 20 n = 80 n = 20 n = 80
Variables
Variab
Abstract
principles
Structure
Data
Structure
Data
Patients
Events
1
6
7
162 3 4 5
1 2 3 7 8 9 10
11 12 13
14 15 16
...
...
4 5 6
0.4
6
7 8 9 10 11 12 13 14 15 16
C1 C2
Fig. 3. HBMs defined over graph schemas can explain how intuitive theories
are acquired and used to learn about specific causal relations from limited
schema discovers the disease-symptom framewo
iables 1 to 6 to class C , variables 7 to 16 to cla
Fig. 3C
A
B
C D
True structure
n = 20 n = 80 n = 20 n = 80
Variables
Abstract
principles
Structure
Data
Structure
Data
Patients
'diseases'
'symptoms'
1
1
1
6 7
6
7
16
162 3 4 5
1 2 3 7 8 9 10
11 12 13
14 15 16
...
...
4 5 6
0.4
6
7 8 9 10 11 12 13 14 15 16
C1
C2

図 3 D (Tenenbaum et al., Science, 2011)
Fig. 3D
D
REVIEW
onMay23,2011
因果性の抽象的な理論
因果関係の抽象概念？
エージェントが外部から介入したと
きに分かる因果関係の向き？
事象が介入の下にあることを示す
特徴？
これらの論理的な法則が下レベルのグラ
フィカルモデルを制約

HBM
HBM は因果ネットワークの仮説空間に強く価値ある制約を課す
が、極めて柔軟でもある：
枠組み理論（任意の数の変数クラスとそれらのクラスの中の変数が
どのように結合される傾向があるかによって定義）を発見できる。
変数クラスの数さえ事前に未知で良い。
これは「無限」あるいはノンパラメトリックな階層的モデリング
によって可能となっている
そのようなモデルは無際限な量の構造を措定するが、有限の自由
度のみが与えられたデータセットに関与
ベイズ推論に備わる自動的なオッカムの剃刀が、モデルの複雑性
とデータの適合をトレードオフし、データが本当に要請するとき
のみ新しい構造（ここでは変数クラス）を導入させる。

HBM と "the blessing of abstraction"
抽象知識の学習のケーススタディ
構造的形式の発見
因果枠組み理論
転移学習を通じて獲得された他の帰納的制約
を通じ、HBM の抽象概念が、より下位のレベルの学習で必要な
データに比べて相対的に少量のデータから著しく早く学習される
ことが分かった。
これは HBM のより上位レベルの各自由度がその下のレベルの多
数の変数に影響を及ぼし、またそれらから証拠を共同出資 (pool)
するからこれを HBM の「抽象化のたまもの」と呼ぶ

HBM の取り柄
これは知識の起源へのトップダウンの道筋を提供し、生得説にお
いて誕生から存在する知識と、経験論や連合説における、抽象概
念が構築されるが近似的にすぎず、また多くの経験をお互いの上
に重ね合わせ、それらの共通要素をだんだんと取り出すため、ボ
トムアップで遅い、というのとは異なる。
HBM だけが、人間の抽象知識の目覚ましい特性の説明に適してい
るように見える：
1 経験から学ぶことができ、
2 人生の非常に初期に関与し、より個別の学習タスクを制約
する

オープンクエスチョンズ
Topic
1 紹介論文
9 結論

知識の起源
HBM は知識の起源についてのいくつかの問に答えることが出
来るかもしれない。
それでも残る問題：知識のそもそもの始まりは？
発達心理学者は、全てが後天的に学習可能なのでなく、「エー
ジェント」、「オブジェクト」、「原因」といった抽象的な概念の
生得的なストックが経験を切り分ける基礎的な存在論を与える
と言う

生得的概念の獲得
確かに、心的表現のいくつかの側面は生得的だろうが、ベイ
ズ派の理論家は最も抽象的な概念でさえ原理的には学習しう
ることを議論した。
たとえば、多くの特定の因果システムを横断して汎化する
HBM は、有向グラフの構造上の論理的な制約として表現され
た抽象概念としての因果性を、経験から学習可能 (図 3D)
「抽象概念のたまもの」として、これらの制約は各ネットワー
クの振る舞いの小さいサンプルからだけで生じ得、今度は新し
いシステムでより効率的な因果学習を可能とする。
発達研究での今後の課題：
このような分析が、エージェント、オブジェクトや原因の概念
に拡張できるのか、
子どもは実際にそのようにこれらの概念を獲得するのか

直感理論の表現
認知発達にはもっと重要な問題がある：
常識の核をなす領域の枠組み理論：
直感物理学、直感心理学、直感生物学
最初のステップは
心の理論の発達の説明
子どもの明示的な偽の信念や好みの個人差を理解
直感的生物学の本質論的理論の起源や直感物理学での磁力に
関する初期の信念
最も手強いチャレンジは、直感理論の全ての内容の形式化には
チューリング完全な合成的な表現、確率的一階論理や確率的プロ
グラミング言語を必要としているように見えるところにある
そのような柔軟な表現を用いて効果的に学習を制約するやり方は
まだ全く明らかになっていない

リバースエンジニアリングとマーの三レベル
心のリバースエンジニアリングには複数のレベルの分析への展開
が必要 Marr は次の三つのレベルを統合する分析を主張：
計算論的レベル computational level
認知システムが解くべき問題と、自然環境での利用可能な入力
からの解の計算のための原理
アルゴリズムレベル algorithmic level
その解を生み出すため実行される手続きと、アルゴリズムが操
作する表現やデータ構造
実装レベル implementation level
脳や機械の回路においてアルゴリズムやデータ構造がどのよう
に実現されるか

計算論的・アルゴリズムレベルの間
多くのベイズモデルは計算論的レベルのみに取り組み、
与えられた環境での近似的に最適な統計推論
を扱い、純粋に帰納的な観点から認知を特徴付け、計算がいかに
実行されるかについては触れず
本論文での学習や発達の HBM は計算論的・アルゴリズムレベル
の間の見方を狙っている：
客観的で固定的な世界の統計学ではなく、世界の構造に関する学
習者の主観的でダイナミックに成長する心的表現の上に定義され
た、確率モデルでの近似的に最適な推論としての認知

ベイズモデルのアルゴリズムと実装
ベイズモデルのアルゴリズムと実装については研究が進んでいる
大規模なモデルでの厳密推論の複雑性は、動作するすべてのベイ
ズ AI システムがそうであるように、これらの二レベルがせいぜい
ベイズ計算を近似できるだけであることを含意
心はどのような近似アルゴリズムを用いているのか
それらのアルゴリズムは確率的 AI における近似の設計にどの
ように関連するのか
神経回路ではそれがどのように実装されているのか
最近の研究はモンテカルロ法や確率的サンプリングに基づいた近
似を、いかにしてベイズ推論が心や脳や機械で、全てのレベルに
渡って実際に働くことが出来るかの理解のために挙げている
豊かに構造化されたモデルでのモンテカルロ推論は可能だがとて
も遅い
もっと効率的なサンプラーの構築は目下の大きな課題

構造化された記号的知識の神経回路上への実装
残る最も大きな障害いかにして構造化された記号的知識が神経回
路で表現され得るか
コネクショニストのモデルは脳がそのような豊かな知識をエン
コードしていることを否定して問題を回避
これは記号や構造が思考に本質的であるという認知科学と人工知
能の強いコンセンサスに反する
構造的記号知識の神経回路上の実装は認知神経科学全般における
もっとも重要な計算論的チャレンジであり、我々の近代的な心身
問題

結論
Topic
1 紹介論文
9 結論

結論
まとめ
豊かに構造化された階層的な生成モデルの上でのベイズ推論の言
葉で、認知とその起源の理解へのアプローチを概説
人間の精神の働きと発達の完全な理解にはほど遠いが、ベイジア
ンアプローチはいくつかの意味で寄与
1 認知を帰納的問題の解として構成し、自由パラメータやアド
ホックな前提を最小数のみ持つ理にかなった定量的な思考の
モデルを構成するための統一的な数学的言語を約束
2 なぜ心が心として働くのかを、
実世界の環境の構造に適応した合理的な推論の言葉で、
心が世界について何を知っているのか、について、
抽象的なスキーマと、
汎化がいかに制約されるかを通じて間接的にのみ浮き彫りにな
る直感的理論の言葉で、
それぞれ理解するためのより深いフレームワーク

結論
二者択一を超えて
ベイズ的アプローチは、認知科学をずっと形成し制限づけてきた
経験論 vs. 生得説（合理論）
領域一般 vs. 領域固有
論理 vs. 確率
記号 vs. 統計といった古典的な二者択一 (either-or)
を超えて進展させる
その代わりに、リバースエンジニアリングのもっと難しい問いを
立て、より人間的な AI システムの構築に役立つかもしれない、十
分に豊かな答えを出すことができる

結論
より重要な問い
1 いかにして領域一般の学習と表現のメカニズムが、領域固有
の知識のシステムを構築できるのか？
2 いかにして構造を持つ記号的な知識が統計学習を通じて獲得
できるのか？
浮かび上がる答えは認知システムを発達させるための新しい方法
を示唆
強力な抽象概念は、それが制約づけるより具体的な知識の学習と
同時またはそれに先だって、驚くほど迅速に学習される
構造化された記号表現は、伝統的な、固定され、静的で、変更不
能で、もろい、といった性質を持つ必要はない
それらは、確率論的な枠組みに埋め込まれることで、経験される
スパースでノイジーなデータに応えて、ダイナミックかつ頑健に
成長していける

Tenenbaum review-20140704-1600

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (9)

Similar to Tenenbaum review-20140704-1600

Similar to Tenenbaum review-20140704-1600 (20)

Tenenbaum review-20140704-1600