Recommended
More Related Content
What's hot
What's hot (20)
Similar to 人工知能勉強会 第1回 人工知能研究の全体像
Similar to 人工知能勉強会 第1回 人工知能研究の全体像 (20)
Recently uploaded
Recently uploaded (8)
人工知能勉強会 第1回 人工知能研究の全体像
- 3. 知能とは何か • 知能の有無を判別する方法はあるか？ – 「一般的な人間に知能があること」には同意できる – 客観的に知能の有無を判別する方法は知られていない – ネコ、トカゲ、カエル、アリ、ミドリムシ 、石ころ に知能があるか？ – 「わからない」もしくは「言葉の定義による」 • 定義できるほど知能について理解できていない
- 4. チューリングテスト(1950) • 「機械は考えることができるか？」 – 「機械」や「考える」という言葉の定義をしてもな かなか結論がでない • 話をして、人間と区別がつかないなら、その相手 は「考えている」と言えるだろう – 姿や声に惑わされないようにチャットで – 参考文献: A. M. Turing (1950) “Computing Machinery and Intelligence”, Mind 49: 433-460. • 現在は人工知能の判別法として取り上げられるこ とが多い – 批判はたくさんあるが、もっと良い方法がある訳で もない
- 6. 黎明期 • サミュエルのチェッカープログラム （1949） – ボードゲームのチェッカーをプレイ するプログラム – 対戦履歴から学習する最初の例 • シャノンの迷路探索機（1951） – 一度探索した迷路であれば次は直接 ゴールに行ける – 制御回路は台座側にある • Logic Theorist（1956） – 定理証明プログラム – 「プリンキピア・マテマティカ」の 冒頭の52の定理のうち38を証明 – 「計算」ではなく、知的能力が必要 と思われていた「証明」ができた • もうすぐコンピューターで人間の代 わりができちゃうんじゃないか？ http://cyberneticzoo.com/mazesolvers/1952-%E2%80%93-theseus-maze-solving-mouse- %E2%80%93-claude-shannon-american/ http://www-03.ibm.com/ibm/history/ibm100/us/en/icons/ibm700series/impacts/
- 7. ダートマス大学 夏の研究プロジェクト(1956) • 通称「ダートマス会議」 – ダートマス大学に計算機関連の科学者を集めて、8週間集中的に 議論した • 初めて人工知能 (Artificial Intelligence) という言葉が使 われた • 対象とする内容 1) 自動的に動くコンピュータ 2) 自然言語でのプログラム 3) ニューラルネット 4) 計算量の理論 5) 自己改善 6) 抽象化 7) ランダム性と創造性 • コンピューターで「まだできていないこと」のリスト – 今でもまだ研究されていることが多い 最近だと 自律エージェント 自然言語処理・文章理解 ディープラーニング ビッグデータ 機械学習 次元削減 アートの自動生成
- 8. 1936 チューリングマシン 1946 ENIAC 情報公開 1950 チューリングテスト 1956 ダートマス会議 1958 常識とプログラム Mackercy 1960～70’s エキスパートシステム 1972 Prolog 1982~ 第5世代コンピュータ 1992 1997 Deep Blue チェスでカスパロフに勝利 2. 論理・推論・探索 1958 パーセプトロン Hebb則による学習 1969 Minsky, Papert 「パーセプトロン」 性能と限界について詳述 1986 バックプロパゲーション 実用的な学習が可能に 2006 自己符号化器 2012 画像認識の精度向上 AlexNet 2013 Atariのゲームを攻略 DQN 2016 Google翻訳の精度が大幅向上 2017 Alpha go 碁で柯潔に勝利 4. ニューラルネット 1. 計算 3. 機械学習 1967 k-平均法 1975 遺伝的アルゴリズム 1976 自己組織化写像 1989 Q学習 1992 非線形サポートベクタマシン 2003 Latent Dirichret Allocation 2006 PRML発売 2011 Watson 「Jeopardy!」で 勝利 2015 コンピュータ将棋プロジェクト の終了宣言 1950 1960 1970 1980 1990 2000 2010 1950 I, Robot 1951 アトム大使 1964 IBM System/360 1966 アニメ鉄腕アトム 1968 2001年宇宙の旅 1974 最初のパソコン 1977 Apple II 1982 PC-98 1983 ファミコン 2007 iPhone発売 2007 初音ミク発売 人工知能関連研究の歴史 1990 World Wide Web 1995 AIBO発売 1998 Google設立
- 9. 1936 チューリングマシン 1946 ENIAC 情報公開 1950 チューリングテスト 1956 ダートマス会議 1958 常識とプログラム Mackercy 1960～70’s エキスパートシステム 1972 Prolog 1982~ 第5世代コンピュータ 1992 1997 Deep Blue チェスでカスパロフに勝利 2. 論理・推論・探索 1958 パーセプトロン Hebb則による学習 1969 Minsky, Papert 「パーセプトロン」 性能と限界について詳述 1986 バックプロパゲーション 実用的な学習が可能に 2006 自己符号化器 2012 画像認識の精度向上 AlexNet 2013 Atariのゲームを攻略 DQN 2016 Google翻訳の精度が大幅向上 2017 Alpha go 碁で柯潔に勝利 4. ニューラルネット3. 機械学習 1967 k-平均法 1975 遺伝的アルゴリズム 1976 自己組織化写像 1989 Q学習 1992 非線形サポートベクタマシン 2003 Latent Dirichret Allocation 2006 PRML発売 2011 Watson 「Jeopardy!」で 勝利 2015 コンピュータ将棋 プロジェクト終了宣言 1950 1960 1970 1980 1990 2000 2010 1950 I, Robot 1951 アトム大使 1964 IBM System/360 1966 アニメ鉄腕アトム 1968 2001年宇宙の旅 1974 最初のパソコン 1977 Apple II 1982 PC-98 1983 ファミコン 2007 iPhone発売 2007 初音ミク発売 人工知能関連研究の歴史 1990 World Wide Web 1995 AIBO発売 1998 Google設立 人工知能 機械学習 統計的機械学習 Deep Learning 1. 計算 よく出てくる言葉が示す範囲
- 10. 1936 チューリングマシン 1946 ENIAC公開 1950 チューリングテスト 1956 ダートマス会議 1958 常識とプログラム Mackercy 1960～70’s エキスパートシステム 1972 Prolog 1982~ 第5世代コンピュータ 1992 1997 Deep Blue チェスでカスパロフに勝利 1958 パーセプトロン Hebb則による学習 1969 Minsky, Papert 「パーセプトロン」 性能と限界について詳述 1986 バックプロパゲーション 実用的な学習が可能に 2006 自己符号化器 2012 画像認識の精度向上 AlexNet 2013 Atariのゲームを攻略 DQN 2016 Google翻訳の精度が大幅向上 2017 Alpha go 碁で柯潔に勝利 4. ニューラルネット 1. 計算 3. 機械学習 1967 k-平均法 1975 遺伝的アルゴリズム 1976 自己組織化写像 1989 Q学習 1992 非線形サポートベクタマシン 2003 Latent Dirichret Allocation 2006 PRML発売 2011 Watson 「Jeopardy!」で 勝利 2015 コンピュータ将棋プロジェクト の終了宣言 1950 1960 1970 1980 1990 2000 2010 1950 I, Robot 1951 アトム大使 1964 IBM System/360 1966 アニメ鉄腕アトム 1968 2001年宇宙の旅 1974 最初のパソコン 1977 Apple II 1982 PC-98 1983 ファミコン 人工知能関連研究の歴史 2. 論理・推論・探索 2007 iPhone発売 2007 初音ミク発売 1990 World Wide Web 1995 AIBO発売 1998 Google設立
- 11. 2. 論理・推論・探索 • 知識と推論規則があれば、コンピューターにも推論ができることが わかった • 世界中の知識と推論規則を利用すれば、何にでも答えてくれるコン ピューターができるのでは？ • マッカーシー, 常識をもつプログラム – 私訳:「もしプログラムが、命じられたことと既に知っていることにつ いて、十分に幅広い結果を自動的に推論することができるならば、そ れは常識を持っていると言えるだろう」 • 知識や規則を表現する言語が整備された • 推論の結果を木構造で表現し、その中で求めるものを見つけるため の探索技法が発展した John McCarthy. Programs with common sense, Symposium on Mechanization of Thought Processes, 1958.
- 12. エキスパートシステム • 専門分野の知識を持って推論するシステム • 1960s Dendral – 有機化合物の構造推定 • 1970s Mycin – 細菌感染の状態から、処方すべき抗生物質を推定する – IF-THENルールで判定規則を記述 – 69%の例で正しい処方を行った。専門医(80%)には劣るが、それ以外 の医師より良い – 実際には利用されなかった • 当時の計算機は高価で遅い • 間違いがあった場合に誰が責任をとるのか不明 松尾豊, 人工知能は人間を超えるか, 2015
- 13. Prolog(1972) • 論理と推論を表現するための言語 – チューリング完全なプログラミング言語 • 知識と規則で推論 – 定義: 「ソクラテスは人間である」「人間は 死ぬ」 • 人間(ソクラテス). • 死ぬ(X) :- 人間(X). – 問い合わせ:「ソクラテスは死ぬか」 • ?- 死ぬ(ソクラテス). • true
- 14. 木構造の探索(定理証明)のイメージ図 h1 定理 h2 h3 h4 h5 h6 h7 h8 hG ︙ hx 求めたい定理 hy • 最初に与えられた仮説から、 推論によって新しい定理を作 る • できた定理からさらに推論を 行って、新しい定理を作る • 木のようにパターンが増えて いくので「木構造」と呼ばれ る • 利用できる定理を増やして、 求めたい定理までの道を見つ け出せれば証明できる …… ……
- 15. 木構造の探索(ゲーム)のイメージ図 盤面 ︙ ︙ 勝ちの盤面 …… の手番 の手番 の手番 p0 p1 p2 p3 …… • 概要 – 最初の盤面から、全ての可能な手を列挙し、 盤面の木をつくる – 勝ちの盤面をゴールとして、その道をたどる ことができれば勝てる – ただし、相手の手は推測するしかない • 木の大きさ – 全体のパターン数はとても大きい – 三目並べの場合 • 9×8×…×3×2 = 9! ≒ 36万パターンの手がある – チェス 10123 – 将棋 10226 – 囲碁 10365 – 宇宙に存在する陽子の数 1078 • 枝刈り – p1とp3のように、回転させると等価な盤面に なるものが存在する • 探索しなくても良いところを削除して探索する ルートを減らすことができる • 評価関数 – 全てを探索すると時間がかかりすぎる – 盤面の有利さを数値で表現して、その値が高 くなるように手を選ぶ • 三目並べなら「○が2つ並んだ列があれば+1 点」 • 将棋なら「飛車をとったら+10点」など pw
- 16. 第5世代コンピュータプロジェクト • 日本の国家プロジェクト – 1982～1992年 – 総予算 570億円 • 世間の受け取り方 – 人間を超える人工知能マシンができる！？ • 実際にできたもの – 高速な並列推論マシン • そのマシンに合わせたプログラム言語 • そのマシンに合わせたOS
- 17. Deep Blue (1997) • 当時チェスの世界チャンピオンだったカスパロフを破る • アルゴリズム – 評価関数を元にした木の探索 – 評価関数の例 • マテリアル コマの価値の総和(ポーン 1点, クイーン 9点) • ポジション 攻撃できるマスの数 http://www.ne.jp/asahi/box/kuro/report/deepblue.htm 論理・推論・探索の大きな成果
- 18. 論理・推論・探索のまとめ • 人工知能の実現方法として最初に注目された方法 – 人間のような知能はできていない • 有用なアルゴリズムの開発につながった – 木構造とその探索 • コンピュータの得意/不得意が明らかになった – 得意 • 厳密な定義ができる問題 (定理証明) • 条件が良く検討されている専門領域 (エキスパートシステム) • 全ての状況を考えてもパターンが有限な問題 (チェスなどのゲーム) – 不得意 • 画像や音声のように言葉では表現しきれないもの – 「ネコの写真」、「ミクの声」は人間ならば容易に認識できるが、コンピューターには 難しい – 観測された情報を記号に割り当てるのが難しいことを、記号接地問題と呼ぶ • 選択できる行動パターンが無数に考えられるもの – チェス盤をひっくり返すような状況は考えない – 例外を含むと発生する事象は無数に考えられ、組み合わせが爆発的に増大する – 問題の枠を決めないと処理できないことを、フレーム問題と呼ぶ • 概念同士の関係を扱った – 「札幌」は「北海道」の一部、などのように概念の関係を記述する言 語が整備された – オントロジー、セマンティック・ウェブ、オープンデータなどにつな がる
- 19. 1936 チューリングマシン 1946 ENIAC公開 1950 チューリングテスト 1956 ダートマス会議 1958 常識とプログラム Mackercy 1960～70’s エキスパートシステム 1972 Prolog 1982~ 第5世代コンピュータ 1992 1997 Deep Blue チェスでカスパロフに勝利 2. 論理・推論・探索 1958 パーセプトロン Hebb則による学習 1969 Minsky, Papert 「パーセプトロン」 性能と限界について詳述 1986 バックプロパゲーション 実用的な学習が可能に 2006 自己符号化器 2012 画像認識の精度向上 AlexNet 2013 Atariのゲームを攻略 DQN 2016 Google翻訳の精度が大幅向上 2017 Alpha go 碁で柯潔に勝利 4. ニューラルネット 1. 計算 1967 k-平均法 1975 遺伝的アルゴリズム 1976 自己組織化写像 1989 Q学習 1992 非線形サポートベクタマシン 2003 Latent Dirichret Allocation 2006 PRML発売 2011 Watson 「Jeopardy!」で 勝利 2015 コンピュータ将棋プロジェクト の終了宣言 1950 1960 1970 1980 1990 2000 2010 1950 I, Robot 1951 アトム大使 1964 IBM System/360 1966 アニメ鉄腕アトム 1968 2001年宇宙の旅 1974 最初のパソコン 1977 Apple II 1982 PC-98 1983 ファミコン 人工知能関連研究の歴史 3. 機械学習 2007 iPhone発売 2007 初音ミク発売 1990 World Wide Web 1995 AIBO発売 1998 Google設立
- 20. 3. 機械学習 • コンセプト – いきなり大人のような知能を作るのではなく、子供のような知 能を作ってから、学習させよう • 「知能」よりも「学習」の方が定義しやすい – 経験によって、以前よりも上手くタスクをこなせるようになる こと • 例外や間違いを許容した上で、それを減らす努力がなされた – 「論理」では例外は許されない • 人間の学習を目指して作られたが、現状ではかなり異なった ものになっている – 「一度見ただけで学習する」、「少し見たものから背景にある ストーリーを推測する」など、人間にできて機械にできないこ とも多い – 人間がどんな学習をしているかもまだ良くわからない
- 21. 機械学習手法の発展 • 1950～1980年代 – 機械による学習を実現するために、生物などから着想を得た手 法が提案された • 1975 遺伝的アルゴリズム (遺伝子による進化から着想) • 1976 自己組織化写像 (脳のコラム構造から) • 1989 Q学習 (動物の行動学習から) • 1990～2000年代 – 機械学習として提案された手法を、確率・統計の言葉で表現す ることで理解が進み、精度と効率の良い手法が発展した – 統計的手法を利用した機械学習を統計的機械学習と呼ぶ • 1992 非線形サポートベクタマシン • 2003 Latent Dirichret Allocation (LDA) • 2006 パターン認識と機械学習(PRML)発売 • 2010年以降 – 2011 Watson「Jeopardy!」で 勝利 – 2015 コンピュータ将棋プロジェクトの終了宣言
- 22. 機械学習の問題設定 1. 教師あり学習 2. 教師なし学習 3. 強化学習
- 23. 教師あり学習 • 目的: 正解がわかることを自動化する • 手法: 入力と正しい出力の組を与えて学習する – 正解の出力が定義できる必要がある • 例: – スパム判定 • 入力:メールの本文 出力:スパムか否か • 「当選しました！」「今がチャンス！」などの語が含まれるな らスパムの確率が高い – 予測 • 入力:過去の気温 出力:ビールの売上 • 相関があれば予測が当たる確率が高い 学習器入力 出力
- 24. 教師あり学習を実現する手法 • 分類 – k 近傍法 – 単純ベイズ分類器 – サポートベクターマシン • 予測 – 回帰モデルの推定 • 両方に使える – 分類木 – ニューラルネット
- 25. 教師あり学習の例 ニセコ山系にある神仙沼、散策は 高原へ 共和町のニセコ山系にある神仙沼は…… 自然・景観 入力データ(記事のテキスト) 教師データ(カテゴリ) [新着情報] 新着図書を更新しました （市立図書館） 新着図書は、毎週月曜日に新着の棚に配架されます。…… 図書館 道内、明日午後から大雨の恐れ 札幌管区気象台は２０日、２１日午後から道内の大気の状態 が不安定になり…… 天気・災害 猛烈な雨直撃 小樽６４ミリ イベン ト中止など相次ぐ 小樽市内では大雨で道路の一部が冠水…… 新着記事 天気・災害 単純ベイズ 分類器 Domingoのカテゴリ付け Domingo, https://domingo.ne.jp/
- 26. 教師なし学習 • 目的: データの性質を理解するための参考にする • 出力の正解は定義されない – 学習後のモデルを見て、人間が判断するための補助をする • 例: – 入力データの分割 • Webサービスのユーザーを10種類にわけてみる – データの次元削減 • 100個の特徴で表された音楽を2次元のグラフに出力 学習器入力
- 27. 教師なし学習の例 piaproの楽曲の分類 曲の特徴として、ユーザーのブクマを利用する ユーザー 楽曲 1 2 3 a b c d 1 1 1 1 0 1 1 1 0 0 00 仮定 同じユーザーにブクマされている曲ほど似ている すると 1と2は似ているが、1と3は似ていない。 2と3は少しだけ似ている。 似ている楽曲をグループとして分類できる 夜咄ディセイブ offvo からくりピエロ（inst.ver）[マスタリング済] 独りんぼエンヴィー (off vocal) カゲロウデイズoff Vo. パンダヒーローオケ エンヴィキャットウォーク-カラオケ 想像フォレストoffvo. ロストワンの号哭(inst) 東京テディベア（Instrumental） 小夜子 inst 【巡音ルカ】Just Be Friends Calc. ダブルラリアット サイバーサンダーサイダー 白い雪のプリンセスは トリノコシティ パンダヒーローオケ 妄想スケッチ ウミユリ海底譚 悪ノ娘【リマスター版】 グループ 1 グループ 2 2つのグループに分けた結果 (k 平均法を用いた) 結果 何らかの分類がされる グループの意味は、人間が見て考える必要がある http://piapro.jp/
- 28. 教師なし学習を実現する手法 • k 平均法 • 主成分分析 • 自己組織化マップ • ニューラルネット (自己符号化器) • ベクトル量子化
- 29. 強化学習 • 目的: 環境と相互作用しながら行動をするエージェントを作る • 正解の行動はわからないが、目的の状態に到達したら報酬が 与えられる – 行動の後に遅れて報酬が与えられる • 例 – ビデオゲームの攻略 – ラジコンの運転 – ロボットの制御 エージェント状態 行動 環境
- 30. 強化学習を実現する手法 • 時間差学習 (Temporal difference learning) • Q学習 (Q-Learning) • Deep Q Network (DQN)
- 31. 機械学習の問題設定 問題の形式 できること 応用例 教師あり学習 クラス分類 予測 メールの文面からスパムか否かを判別 今日の気温からビールの売上を予測 教師なし学習 入力データの分割 データの次元削減 Webサービスのユーザーを10種類にわ けてみる 100個の特徴で表された音楽を2次元の グラフに出力 強化学習 行動が環境に影響 を与えるエージェ ントの学習 テレビゲームの攻略 ラジコンの操縦 ロボットの制御
- 32. 統計的機械学習 • 機械学習の手法を統計学の手法を使って見直す • 例えば – k 平均法 • 元のデータを k 個のグループに分類する – 統計的に見ると • データが混合正規分布から得られていると仮定して、k 個の正規分布を 推定する問題と等価になる – それによって何がわかるか？ • 推定されたモデルを使って、実際にあらわれそうなデータを生成する ことができる (生成モデル) • データとモデルの当てはまりの良さが尤度で定量的に表現できる • k を幾つにするのが良いかを、情報量基準によって判断できる • 一度理解できれば見通しが良い – 最初は言葉がわからなくて何が書かれているのかわからない – 理解できれば多くのことが明確になり、利用できるツールが増 える
- 33. 統計的機械学習の手法 • 単純ベイズ分類器 • サポートベクターマシン • ベイジアンネットワーク • Latent Dirichlet Allocation
- 34. Watson (2011) • IBM の Watson がクイズ番組「ジョパディ！」で勝利 – 内部構造 • Web検索と自然言語解析 1. 問題文の認識 2. 検索 3. 検索結果から有用な情報を取り出す 4. 仮説を生成 5. 仮説の評価 – 検索以外の段階で機械学習の技術が使われている http://watson2016.com/
- 35. 機械学習のまとめ • 機械にできる学習を模索するところからはじまった – 「論理と推論」では最初から正解することが求められるが、 「機械学習」は間違っても良い – 結果として、データさえあれば精度を上げられる方法が発 展した • 問題設定 1. 教師あり学習 2. 教師なし学習 3. 強化学習 • 統計的機械学習 – 確率・統計の見地から見直すことで、精度と効率が良く なった – 結果として、人間の学習とはかなり異なったものになって いる
- 36. 1936 チューリングマシン 1946 ENIAC公開 1950 チューリングテスト 1956 ダートマス会議 1958 常識とプログラム Mackercy 1960～70’s エキスパートシステム 1972 Prolog 1982~ 第5世代コンピュータ 1992 1997 Deep Blue チェスでカスパロフに勝利 2. 論理・推論・探索 1958 パーセプトロン Hebb則による学習 1969 Minsky, Papert 「パーセプトロン」 性能と限界について詳述 1986 バックプロパゲーション 実用的な学習が可能に 2006 自己符号化器 2012 画像認識の精度向上 AlexNet 2013 Atariのゲームを攻略 DQN 2016 Google翻訳の精度が大幅向上 2017 Alpha go 碁で柯潔に勝利 1. 計算 3. 機械学習 1967 k-平均法 1975 遺伝的アルゴリズム 1976 自己組織化写像 1989 Q学習 1992 非線形サポートベクタマシン 2003 Latent Dirichret Allocation 2006 PRML発売 2011 Watson 「Jeopardy!」で 勝利 2015 コンピュータ将棋プロジェクト の終了宣言 1950 1960 1970 1980 1990 2000 2010 1950 I, Robot 1951 アトム大使 1964 IBM System/360 1966 アニメ鉄腕アトム 1968 2001年宇宙の旅 1974 最初のパソコン 1977 Apple II 1982 PC-98 1983 ファミコン 人工知能関連研究の歴史 4. ニューラルネット 2007 iPhone発売 2007 初音ミク発売 1990 World Wide Web 1995 AIBO発売 1998 Google設立
- 37. 4. ニューラルネット • コンセプト – 人間が神経細胞で考えてるんだから、それを真似してみよう • 人工ニューラルネットワーク (Artificial Neural Network) – 略してニューラルネット – ディープラーニングと呼ばれるのはこれの一種 • ニューラルネット研究の2つの動機 – 神経回路網のモデルで何ができるか知りたい (構成的研究) – 得られた手法を使って、知的な情報処理をしたい (工学的応用) • 対象とする問題は機械学習とほぼ一緒 – 違いはモデル • 数理的なものか、ニューラルネットか – 研究が進んだ結果、人間の神経系とはかなり異なったものに なっている – ただし、情報処理の方法に似たところはありそう
- 38. 神経細胞 • 他のニューロンの軸索からシナプスを介して樹状 突起につながっている • 電位が一定の値を超えると発火する – 超えなければ発火しない – 出力は 0 か 1 か、のように見える Public Domain, de Santiago Ramón y Cajal CC BY-SA 3.0, Original by en:User:Chris 73, updated by en:User:Diberri, converted to SVG by tiZom - Own work, https://en.wikipedia.org/wiki/Action_potential#/media/File:Action_potential.svg 軸索 樹状突起
- 39. 人工ニューロンモデル θ x1 x2 x3 w1 w2 w3 y )( 332211 xwxwxwfy 0 0.2 0.4 0.6 0.8 1 1.2 -15 -10 -5 0 5 10 15 0 2 4 6 8 10 12 -15 -10 -5 0 5 10 15 0 0.2 0.4 0.6 0.8 1 1.2 -15 -10 -5 0 5 10 15 階段関数: 初期に利用 シグモイド関数: 3層NNで利用 ReLU: 深いネットワークで利用 活性化関数( f(x) )の例 x f(x) x: つながっている先の発火状態 w: シナプス結合の強さ θ: 発火の閾値 y: 対象ニューロンの発火状態
- 40. 層状ネットワーク • 3層ニューラルネットワークが多かった • 教師付き学習 • 左から入力された情報を右に伝えなが ら出力 • 層の中には結合はない • 3層あれば原理的にはあらゆる関数を近 似できる 1 2 3
- 41. 層状ネットワークの学習 • 誤差逆伝搬法（バックプロパ ゲーション） – 目標となる出力y’と、現在のw による出力との誤差を計算 – wを更新することで誤差を小さ くしたい – (yk’-yk)2 で全体の誤差を求める – 全体の誤差と、yj, wjkで2層目の 局所誤差を計算できる – 2層目の局所誤差と、yi, wijで1層 目の局所誤差が計算できる – 誤差を右から左に計算するので 「誤差逆伝搬法」と呼ばれる wij wjk yk yj yi yk’
- 42. ニューラルネット • 1980年代 – 3層のニューラルネットとバックプロパゲーションで 分類や関数近似ができるので、さまざまな分野で利 用された • 1990年代後半 – 分類に関しては、サポートベクターマシンの方が精 度が良い – 関数近似に関しても統計モデルを使った方が合理的 – ニューラルネットは使われなくなっていった • 1990～2010年 統計的機械学習の時代
- 43. 画像認識 • 2012年の画像認識チャレンジ – Large Scale Visual Recognition Challenge (ILSVRC) – それまでの機械学習の手法に大差をつけてトップになった • それまで75%程度の正解率だったのが85%に • AlexNet – 層状の深いネットワーク A. Krizhevsky et al., ImageNet Classification with Deep Convolutional Neural Networks, NIPS2012. http://image-net.org/synset?wnid=n02124075 http://image-net.org/synset?wnid=n02123394
- 44. 深いニューラルネット • 層状ネットワークは3層までしか使わ れなかった – それ以上だと学習が進まない – なぜか → 勾配消失問題 • 層をさかのぼると誤差が小さくなる • 何層もさかのぼるとほぼ0に – それなら勾配が消えない関数を使おう • ReLU – max(0, x) – 微分しても 0 か 1 になる 0 (if x ≦ 0) 1 (if x ＞ 0) – ネットワークの一部を取り出しても学習 できるようにしよう • 自己符号化器 誤差の絶対値が減少 0 2 4 6 8 10 12 -15 -10 -5 0 5 10 15 ReLU: 深いネットワークで利用
- 45. 自己符号化器 • 自己符号化器（オートエンコーダ） – 入力と出力に同じものを設定して学習 – 中間層のニューロンが少ない • どんな意味があるのか？ – よく出現するデータを記録することができる – 教師なしで学習することができる • 次元削減 – 中間層のニューロンは数が少ないのに全体を復元できる – 全体の情報を圧縮して記憶している – 入力にノイズが入っても修復されて出力される ︙ ︙ 入力&出力 3x3=9次元の 0 or 1 とする or or
- 46. Googleの猫 • YouTube の動画から 200x200 pixel の画像を1000万枚入手して、 9層の自己符号化器で学習 – 中間層の中に、猫や人の顔に強く反応するニューロンが生成さ れた • なぜ重要なのか？ – 教師なしで、よく見るものを認識するニューロンができた – 重要な未解決問題、記号接地問題に解決の糸口が見えた – 人間が猫を認識可能になる際にも、似たようなメカニズムが働 いているのかもしれない Quoc V. Le, et al., Building high-level features using large scale unsupervised learning, 2012.
- 47. ビデオゲームの攻略 • Deep Q Network – Atariのゲームを画面を見て攻略 – 同じプログラムでいくつものゲーム が攻略できる – DQN Breakout - YouTube : https://youtu.be/TmPfTpjtdgg – DQN SPACE INVADERS - YouTube : https://www.youtube.com/watch?v=W2 CAghUiofY • ビデオゲームが上手くプレイでき るなら、他の似たようなタスクも できそう https://youtu.be/TmPfTpjtdgg https://www.youtube.com/watch?v=W2CAg hUiofY
- 48. 自然言語の翻訳 (2016) • Google翻訳の精度が大幅に向上 – 2016年11月 – GNMT(Google‘s Neural Machine Translation System) と呼ばれる手法に変更 – 再帰ニューラルネットを積み重ねたもので教師あり学習 ニューラルネット化したらしいGoogle翻訳でThe Great Gatsby冒頭を試してみる： – Jun Rekimoto : 暦本純一 – Medium : https://medium.com/@rkmt/%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E5%8C%96%E3%81%97%E3%81%9F%E3%82%89%E3%81%97%E3%81%84google% E7%BF%BB%E8%A8%B3%E3%81%A7the-great-gatsby%E5%86%92%E9%A0%AD%E3%82%92%E8%A9%A6%E3%81%97%E3%81%A6%E3%81%BF%E3%82%8B-f26400bd2b3e
- 49. 再帰(Recurrent)ニューラルネット • 層状ではなく、全結合する – 脳のモデルとしてはこちらの方があり そう – 信号の流れが一方向ではないので、解 析が難しい – 入力がなくても内部で信号を伝え続け る – 内部状態を持つことになる • 1 ステップごとに各要素が入力に応じ て更新される
- 50. AlphaGo (2017) • ディープラーニング以前 – 囲碁は手のパターンが多すぎて、通常の木の探索では強くできなかった – コマの強さがはっきりしているチェスや将棋に比べて、盤面の評価が難しい • AlphaGoのプログラム – 盤面の良さの認識 • 碁の盤面を理論的に解析するのではなく、白と黒の画像として見て有利か不利かを認識できるようになった (ディープラーニングによる画像認識) – ヒトの棋譜で学習 • 過去の棋譜を大量に学習させて、ヒトと同じような手が打てるように学習した (教師あり学習) – コンピューター同士で対戦 • 学習済みのコンピューター同士で対戦させ、勝った方に報酬を与える (強化学習) – さまざまな学習方法を組み合わせて強いプログラムができるようになった http://nitro15.ldblog.jp/archives/50107118.html
- 51. ニューラルネットのまとめ • 当初の問題意識 – 生物の神経系がどうやって情報を処理してるのか知りたい • 学習 – 研究が進むに従って生物とは異なる学習方法が使われるように • 生物の学習方法はまだわからないことが多い • 小脳の学習がバックプロパゲーションと似ている、など限定的な情報 はある • 機械学習との違い – 問題設定や学習できることは一緒 – モデルが違う • 人工ニューロン (ニューラルネット) • 数理モデル (機械学習) • 近年、凄まじい勢いで発展している – 2010年頃までは変わり者がやってる研究の扱い • 精度が悪い • 論文が出版されにくい – 2017年現在、多くの領域で最も良い方法になっている • 画像認識、機械翻訳、囲碁 – 知能の理解を助けるかもしれない • Googleの猫
- 52. 全体のまとめ • 人工知能 – 人間のような知能を実現するための技術 – 人間にできて、今の機械にできないことの研究 • 主な流れ 1. 計算 2. 論理・推論・探索 3. 機械学習 4. ニューラルネット • できること – 特定の目的のための情報処理は、かなりのことができるようになった • 画像の認識、自然言語処理、エージェントの操作など • わからないこと – 汎用的な知能に関しては、良くわからない • 今の技術を発展させても、人と同じような自発性が現れるようには見えない • ニューラルネットと脳は、似ているところもあるが類推しかできない • 神経科学や心理学で面白い進展があるが、それはまた別の話
- 53. さらに学ぶには • 全体について – 人工知能は人間を超えるか ディープラーニングの先 にあるもの, 松尾豊 • 人工知能の定義について – 人工知能とは, 人工知能学会 監修 • 機械学習について – はじめてのパターン認識, 平井有三 – パターン認識と機械学習, C. M. ビショップ • ニューラルネットについて – ゼロから作るDeep Learning ―Pythonで学ぶディープ ラーニングの理論と実装, 斎藤康毅