ニューラル・ネットワークと技術革新の展望
•Download as PPTX, PDF•
4 likes•3,328 views
2016年3月12日 マルレク第六回 @ ABC 青山学院大 ニューラル・ネットワークと技術革新の展望＋Project Ara
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (6)
More from maruyama097
More from maruyama097 (20)
ニューラル・ネットワークと技術革新の展望
- 3. ITの世界は、この10年で大きく変わった クラウドとモバイルの時代 2004年 Google上場 2006年 Amazon EC2, S3 2007年 Apple iPhone 2008年 Microsoft Azure 2008年 Google Android 2012年 Facebook上場 世界は、この先10年でどう変わるのか？
- 4. 来たるべきAI新時代に向けて モバイルとクラウドの時代が始まって10年が経った。次の 10年を展望した時、AI技術が、その新しい技術的中核と して登場しようとしている。 ただ、モバイルが携帯電話の、クラウドがデータセンター の、ある意味では連続的な発展だったのに対して、ニュー ラル・ネットワークは、ほとんどの技術者にとって全く新し い技術である。そこには、技術的な「断絶」がある。 問題は明確である。我々は、来たるべきAI新時代に向け て、学ぶことから始めなければならない。同時に、重要な ことは、今後の10年を展望すれば、それはすべての技術 者にとって必要な課題になるだろうだということである。
- 5. CAMEL の Opening Remark のスライド http://goo.gl/JVjGne 人間の学習が重要
- 7. 様々なAI技術
- 8. AI技術を構成する複数の流れ A) 既知のデータの統計的分析をもとに、数値予測・ クラス分けを行うもの。機械学習技術。 B) 経験的に構築された知識・推論・対話システム。 パーソナル・アシスタンス・システム etc。 C) ニューラルネットワークの手法を用いて、生物の 感覚・運動系の能力の相同物を機械上で実現し ようとするもの。ディープ・ラーニング。 D)人間固有の言語能力の機械による実現。 E) 人間の数学的・論理的な推論能力に関わるもの。
- 9. A. 統計的分析に基づく、数値予測・クラス分け これは昔から統計学の手法として存在する、回帰分析や クラスター分析と考え方は、基本的に同じものである。 ただ、マシンのパワーが飛躍的に増大して、大量のデータ を短時間で処理できるようになり、かつ効果的なビジュア リゼーションが可能になったのが、実践的には新しく、か つ重要な変化である。 現在、クラウドで提供されている、大部分の機械学習の サービスは、このクラスに属する。 同時に、「決定論的なアプローチ」に対する「統計的なアプ ローチ」の優位という方法論的な自覚は、現在の機械学 習技術・AI技術の多くの領域に、大きな影響を与えつつ ある。
- 10. Azure ML 統計処理
- 11. B. 経験的に構築された知識・推論・対話システム 「パーソナル・アシスタント・システム」 GoogleのGoogle Now, AppleのSiri, Microsoftの Cortana, AmazonのAlexa等々。私たちの身近なとこ ろで、もっとも活発に応用が進んでいる分野。完成度の高 い 「質問応答システム」として、(かつての)IBMの Watsonがある。 入力（Speech to Text）、出力（Text to Speech)に、 ニューラル・ネットワーク技術を利用する。 「パーソナルアシスタント」のプログラムは、Turing Test 的には、「知的」にふるまっているように見えるのだが、そ の多くの実装は、「知的」なものとは言えない。
- 13. C. ニューラルネットワークに基づく、 知覚・運動系へのアプローチ。Deep Learning 現在、活発に研究・応用が進んでいる分野である。文字 認識・発話の文字列への変換、静止画・動画からの対象 の判別・動きの検出等々で、大きな成功を収めている 基本的なモデルの起源は、生物の知覚・感覚（主要には、 視覚・聴覚）を司る神経回路網にある。 生物の知覚・感覚の能力は、運動能力と密接に結びつい て、感覚・運動系を構成しているので、ロボットの動作の 制御、ドローンの姿勢制御、自動運転等にも、このアプ ローチは有効で、応用分野を拡大している。 人間の生産労働の代替としての生産の機械化も、知覚と 自律的な運動能力を持つ機械たちのネットワーク化に よって、新しい段階に進むことが予想される。
- 14. Deep Learning
- 15. D.人間固有の言語能力の機械による実現 「機械翻訳システム」 本来は、意味理解を含む人間の一 般的な言語能力に関わっている。ただ、機械翻訳の場合、 質問に答えることが求められているわけではない。それは、 ある言語から他の言語への形式的な「書き換え」システム なのかもしれない。 この領域は、最終的には、機械が人間のように、言語の 「意味」を理解して、「知識」を活用して「意味」のある活動 をするのを目指している。ある意味、人工知能の本丸であ る。ただ、多くの課題が残されている。 小論では、簡単に、それらの歴史を振り返る。
- 17. E. 人間の数学的・論理的な推論能力に関わるもの ここでは、経験的な起源からは相対的に独立な、純粋に 数学的な定理の証明や、複雑な証明の機械による支援 が課題になる。この分野でも、COQ等の「証明支援システ ム」を中心に、興味ふかい前進がある。 マルレク「「型の理論」と証明支援システム -- Coqの世界」 http://bit.ly/1qbdXVE を参照されたい。 かつての日本の「第五世代」的な、AIに対する「論理的」 な（というより「定理証明的」な）アプローチは、現在のAI 研究においては主流ではない。ただ、そのことは、他のす べての領域と同じように、数学的・論理的なアプローチの 有効性を否定するものではない。 数学や物理といった知識の体系は、誰もが生得的に持つ 言語能力や経験的な知識の体系には、還元されない。
- 18. HoTT(Homotopy Type Theory)と Univalent Theory 論理＝数学的には、 a : A には、様々な解釈がある。こ こでは、他の解釈と比較して、HoTTでの a : A の解釈を 見てみよう。 1. 集合論: Russellの立場 Aは集合であり、aはその要素である。 2. 構成主義: Kolmogorovの立場 Aは問題であり、aはその解決である 3. PAT: Curry & Howardの立場 Aは命題であり、aはその証明である。 4. HoTT: Voevodskyの立場 Aは空間であり、aはその点である。 ”Propositions as Types” “Proofs as Terms” 数学的認識の理解
- 19. AI技術を構成する複数の流れの中で、 なぜ、ニューラル・ネットワークが重要なのか？ A) 既知のデータの統計的分析をもとに、数値予測・ クラス分けを行うもの。機械学習技術。 B) 経験的に構築された知識・推論・対話システム。 パーソナル・アシスタンス・システム etc。 C) ニューラルネットワークの手法を用いて、生物の 感覚・運動系の能力の相同物を機械上で実現し ようとするもの。ディープ・ラーニング。 D) 人間固有の言語能力の機械による実現。 E) 人間の数学的・論理的な推論能力に関わるもの。
- 20. ニューラル・ネットワークは、 新しいAI技術の現在の技術的中核だから A) 既知のデータの統計的分析をもとに、数値予測・ クラス分けを行うもの。機械学習技術。 B) 経験的に構築された知識・推論・対話システム。 パーソナル・アシスタンス・システム etc。 C) ニューラルネットワークの手法を用いて、生物の 感覚・運動系の能力の相同物を機械上で実現し ようとするもの。ディープ・ラーニング。 D) 人間固有の言語能力の機械による実現。 E) 人間の数学的・論理的な推論能力に関わるもの。 NNは、同等の 能力を持つ Speech2Text Text2Speech Human Interface CNN+RNN 機械翻訳 Knowledge Database 未来の、 「人工知能」
- 21. 例１ A -> (A->B) ->B の証明 Coq < Lemma S1 : forall A B :Prop, A ->(A->B) ->B. 1 subgoal ============================ forall A B : Prop, A -> (A -> B) -> B S1 < intros. 1 subgoal A : Prop B : Prop H : A H0 : A -> B ============================ B Goalから、forallを消す。 →の前提部分を仮説に移す。 introsは、複数のintroを同時に適用する。 Γ1 新しい仮定 新しいゴール 機械証明 ニューラル・ネットワーク技術の特徴
- 22. ニューラル・ネットワーク技術の特徴 非言語的コントロール：プログラム言語によらず、マシンを コントロールする。 確率論的：ふるまいは、非決定論的で確率論的である。 データ依存：大量のデータの「学習」で、必要な能力をマシ ンに伝える。データを与えるのは、当面は、人間の仕事。 学習・実行の非対称性：「学習」には、大規模・高機能なシ ステム（GPU・クラウド等）が必要だが、学習された能力は、 小規模なモバイルでも、「実行」できる。 ハードウェア依存：学習・実行環境は、ともに、ハードウェ アの進化に強く依存する。OSの進化にも大きな影響が及 ぶだろう。
- 23. Team MIT: Atlas Robot Push Recovery https://www.youtube.com/watch?t=193&v=2mhIYetkNIg 非言語的
- 24. 確率論的
- 26. https://goo.gl/b5Pe5j MS ResearchのDeep Learning “Project Adam” 1,400万枚の画像を学習して、22,000のカテゴリーに分類できる。 イヌとネコを区別できるだけでなく、イヌの犬種も正しく判別する。 http://goo.gl/2EMIkJ 非対称的
- 27. NVIDIA M40 FPGA Stratix V 新しいハードウェア
- 29. http://www.tmd.ac.jp/artsci/biol/textlife/neuron.htm クラゲだって神経はある 「神経系の起源と進化」 http://bit.ly/1qR2Dmq
- 31. アノマロカリス
- 32. 「視覚」の誕生と発展 生物の進化の歴史の中で、「視覚」の能力は、5億年前の 「カンブリア紀」に獲得された。それは、長い長い歴史を 持っている。当時の食物連鎖の頂点に立っていた「アノマ ロカリス」は、立派な眼を持っていた。 「眼」の獲得、同じことだが、「視覚」の能力の獲得は、「捕 食者」にとっても（獲物を見つける）、「被捕食者」にとって も（捕食者から逃れる）、その「生き残り」に、死活的に重 要な意味を持つことになった。人間を含めて、すべての動 物で、強い淘汰の圧力のもとで、視覚処理の能力は、高 度に発達している。 同時に、この「視覚」の能力は、追いかける、捉える、ある いは、逃げるといった「運動能力」に深く結びついている
- 36. David H. Hubel Torsten Wiesel 1960年代
- 41. ニューラル・ネットワーク
- 42. Geoffrey E. Hinton Geoffrey E. Hinton Yann LeCun, Yoshua Bengio Andrew Ng http://www.cs.toronto.edu/~hinton/ http://yann.lecun.com/ http://goo.gl/fOjkIC http://www.andrewng.org/
- 43. Googleの猫 2012年6月
- 44. The architecture and parameters in one layer of our network. Jeff Dean
- 47. CNNとは何か？
- 48. コンボリューショナル・ニューラル・ネットワーク （CNN）とは何か？ コンボリューショナル・ニューラル・ネットワークの基本的な モデルは、生物の「視覚」の能力である。 視覚で与えられる情報は、まず、特定の特徴（例えば、傾 き、運動、運動方向、速度、色、パターン）だけが取り出さ れる。そうした選択を行う「フィルター」の働きをシミレー ションすることを、「コンボリューション」と呼んでいる。 「コンボリューショナル・ニューラル・ネットワーク」というの は、「いろいろな特徴を抽出するフィルターで前処理され たニューラル・ネットワーク」と考えることができる。 先の図の、”3D-Convolution and Max Pooling” と 書かれた部分が、このフィルターによる「前処理の部分で ある。
- 49. 先のCNNの図の難点 先の図は、とてもよくできているのだが、一つ、大きな弱点 がある。それは、この図を見ると、CNNが、犬のイメージ に対して、“dog”という文字を出力するというように見えて しまうことだ。（実際に、そう出力するだが） CNNにとって、本質的に重要なことは、犬のイメージに対 して、一つのニューロンが興奮するということ。CNNは、そ うしたニューロンの働きを再現する。そこには、コトバも文 字も、必要ない。 （我々は、たまたま、それに“dog”という ラベルをつけているだけである） 文字を人間が使うようになってから、多分、数千年か1万 年の歴史しかないのだが、そのはるか以前、5億年も前か ら、言葉や文字がなくても、視覚による認識は成立してい ました。
- 51. ConvNet 2000年代の早くから、ConvNetは、画像データ中のオブ ジェクトや領域の検出・セグメント化・認識に応用されて大 きな成功を収めてきた。交通標識の認識、生物学的な画 像データ、特にコネクトームの為のセグメント化、顔、テキ スト、歩行者、自然な画像の中での人体の検出、これらは 全てラベル付けられたデータが、比較的豊富に与えられ た処理であった。近年のConvNetの大きな実践的な成功 は、顔認識である。重要なことは、画像データはピクセル・ レベルでラベル付けが可能であることで、この技術は、自 律型のモバイル・ロボットや自動運転カーを含む技術に応 用されていくだろう。 Mobileye やNVIDIA といった会社 は、こうしたConvNetベースの技術を、来たるべき車のビ ジョン・システムに利用している。 http://goo.gl/N42khi
- 52. ConvNet 重要さを増しているもう一つの応用は、自然言語の理解と 発話の認識である。 こうした成功にもかかわらず、ConvNetは、2012年の ImageNetの競技会まで、コンピューター・ビジョンと機械 学習のコミュニティの主流派からは、ほとんど無視されて きた。ディープ・コンボリューショナル・ネットワークが、 webからの1,000種類の異なったクラスを含む100万枚 の画像に応用された時、それは、最良の競争相手のエ ラー率のほとんど半分という、目を見張るような結果を生 んだ。 http://goo.gl/N42khi Nature “Deep Learning” 2015年5月28日
- 53. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton "ImageNet Classification with Deep Convolutional Neural Networks" http://goo.gl/HCZ65W Alex Krizhevsky
- 55. 言語理解をめぐって
- 56. 言語理解をめぐって ニューラル・ネットワークからの言語理解の試みには、多く の困難があった。この節では、簡単に、その歴史を振り返る。 視覚の分野でのニューラル・ネットワークの成功を見れば、 人間の「知覚」が、単一の学習アルゴリズムで説明出来ると いう仮説は正しいようにも見える。もっと強い主張は、言語 の習得を含めて、全ての学習アルゴリズムが同型であると いう主張である。ただ、それは疑わしい。（視覚野と言語野） 大量のデータがあれば、言語の理解に到達できるという、初 期の楽観論は、成果をあげられなかった。現在は、feature という形で、統計量の中に埋もれている「意味」の重要性に 気づき始めたところである。 RNNは、「文法」理解の方向に進んでいるように見える。
- 57. Perceptronによる言語学習モデル http://research.microsoft.com/pubs/66840/acl2001.pdf “Scaling to Very Very Large Corpora for Natural Language Disambiguation” Michele Banko and Eric Brill 2001年
- 58. パーセプトロンを使った単語選択 {to, two, too}という言葉は、発音はよく似てい る。今、次の文の下線部に、先の三つの単語{to, two, too}から、一つ選んで文章を作るという問 題を考えよう。 For breakfast I ate _____eggs. 正解は、もちろんtwoである。多くの人は、two以 外だと文法的に正しくないし、意味が通らないと 考えるだろう。 ところが、パーセプトロンを使った、単語選択の考 え方は、それとは異なる。沢山の用例を調べて、 同じようなものがあれば、それを選ぶ。
- 60. Power of Data Googleの言語へのアプローチ （2006年） Ben Jai “What’s Google Doing” から http://life.math.ntu.edu.tw/sites/ life.math.ntu.edu.tw/files/ Fall-2006-Campus-Talk-TW.pdf 2006年
- 61. Web上での「スペル訂正」 “britney spears”のような、ポピュラーな名前で も、間違ったスペルで検索する。 実際の例。800以上もあった。 britney spears brittany spears brittney spears britany spears britny spears briteny spears britteny spears briney spears brittny spears brintey spears
- 63. Google流の「スペル訂正」 Webをコンテキスト語彙集として利用し、ミススペ ルを、Webの文脈上での利用に基づいて見つけ る。 語のスペルの、確率的なモデルを構築し、語彙集 をWebでの語の使用に適合させると、より豊かな スペル訂正のモデルが出来る。 Googleを使った場合の例 “Kofi Annan”は、スペルミスではない “Kofee Annan” は、 “Kofi Annan” に訂正される “Kofee Shop” は、 “Coffee Shop” に訂正される コンテキストがキーである。
- 64. 応用： 自動機械翻訳 目標: 異なる言語間のテキストの、高品質な 自動変換を提供する 元のテキストがいかなる言語であっても、 Web上の全てのテキスト・データを、アクセス 可能なものにすることが出来る 長い期間を要する、挑戦的なAIの問題 しかし、沢山のデータは、実際に役に立つ！
- 66. “A Neural Probabilistic Language Model” Yoshua Bengio ほか http://goo.gl/977AQp 2003年 「次元の呪い」
- 67. 「次元の呪い」 Curse of Dimentionality Benjioは、早くから、言語処理に現れる組み合わせの数 の爆発を意識していた一人である。彼は、それを「次元の 呪い」 Curse of Dimentionality と呼んだ。 26文字のアルファベット15文字以内で構成される語の数 は、高々、2615である。スペル訂正の次元は、その程度 のオーダーである。 ただし、語彙が100,000個ある言語での10個の語から なる文は、10000010＝1050種類もある！ この1 文2 は3 104 個5 の6 語7 から8 できて9 いる10 10語文というのは、そんなに長い文章ではない。が、 1050というのは、とても巨大な数である。
- 68. featureの分散表現で、 「次元の呪い」と戦う この論文で、彼は、次のような方法を提案する。 1. 語彙中のそれぞれの語に、Rmに実数値の値を持つ、分 散した語の特徴ベクトル(word feature vector)を対応 づける。 2. 語の並びの結合確率関数を、この並びの中の語の特徴 ベクトルで表現する。 3. 語の特徴ベクトルとこの確率関数のパラメーターを、同時 に学習する。 要は、語の「特徴ベクトル」という語の「意味」の対応物を 導入しようということだと僕は理解している。こうしたアプ ローチは、 Tomas Mikolovらの Word2Vec に受け継 がれている。
- 69. 言語学からのアプローチ
- 70. コミュニケーション
- 71. 言語能力
- 72. Chomskyの観察 Cartesian Linguistic 言語能力は、デカルトのいうように、人間という類 を、人間以外の動物と区別するものである。 人間の言語能力の最大の特徴は、その創造性。 いままで聞いたこともしゃべったことも無い、まっ たく新しい文章を、理解し発話出来る。 有限個の単語から無限の文を生成出来る。 言語の獲得には、可能な文型を全てカバーする 大量のデータが必要な訳ではない。 人間には、全ての人間に共通の生物学的基礎を 持つ、「普遍文法」と「言語獲得装置」とも言うべき ものが、生まれつき備わっている。
- 73. 無限性 Recursion I ate a banana I know I ate a banana I think I know I ate a banana I declare I think I know I ate a banana What do you declare I think I know I ate? This is the banana I declare I think I know I ate There are more bananas I declare I think I know I ate than bananas that still grow on the tree This is the cat that caught the rat that ate the cheese that... http://bit.ly/1uc4Taj
- 74. Word2Vec 2013年に、GoogleのTomas Mikolovらは、語が 埋め込まれたベクター空間が、言語学的に（文法的に も、意味論的にも）面白い性質を持っていることを発 見する。 “Linguistic Regularities in Continuous Space Word Representations” http://research.microsoft.com/pubs/189726/rvecs.pdf Tomas Mikolov
- 75. どんな語が、与えられた語の近くに 埋め込まれるか？ 似た意味を持つ言葉は、似たベクトルを持つ。 似た言葉で置き換えても、正しい文は、正しい文に変わる。 “a few people sing well” 正しい文 “a couple people sing well” 正しい文 意味が似ていなくても、同じクラスの言葉で置き換えても、 正しい文は、正しい文に変わる。 “the wall is blue” “the ceiling is red”
- 76. 意味を変換するベクトルは共通？ Word Embeddingは、もっと面白い性質を持つ。下の図 のように、男性から女性へのベクトルがあるように見える。 W(‘‘woman“)−W(‘‘man”) ≃ W(‘‘aunt“)−W(‘‘uncle”) W(‘‘woman")−W(‘‘man") ≃ W(‘‘queen")−W(‘‘king")
- 77. ベクトルで表現される関係の例 Mikolov et al (2013) http://arxiv.org/pdf/1301.3781.pdf
- 78. Mikalov et al http://arxiv.org/pdf/1301.3781.pdf 文法的関係を表すベクトルも存在する
- 80. Timothy T. Rogers, James L. McClelland "Parallel Distributed Processing at 25: Further Explorations in the Microstructure of Cognition" http://goo.gl/e4CgJ8 Rumelhartは、 2011年に逝去 2014年
- 81. CNNとRNN 空間的な特徴と時間的な特徴 CNNは、一つの対象を、スナップショットを取るように時間 を止めて見る。対象が画像なら、そこで抽出される特徴は、 その画像の中にある「空間的」な特徴だ。（白黒画像なら 二次元の、カラー画像なら、二次元 x カラーの次元） ただ、我々が認識する特徴は、みな空間的なものとは限 らない。例えば、「対象の動き（方向・速さ）」、「音のつらな り」。これらは、「空間的 x 時間的」な特徴だ。 自然言語の理解でも、発話（Speech）は、時間の中の音 のつらなりだし、文は、語の連続的な継起で、語の出現の 「順番」が意味を持つ（文法）。現象的には、文字の登場以 降の「文章」では、純粋に時間的な特徴は薄れたようにも 見えるが、本質的には、言語は、時間的な特徴を持つ。
- 82. RNNとは何か？ Recurrent Neural Network の名称は、下図の左のよ うに、ノードs の出力の一部Wが、再度、 ノードsの入力に 還流することから取られたものだが、このRecurrentを表 す、この「再帰ループ」に、あまり、気をとられる必要はな い。プログラムでも、再帰は、「繰り返し」に帰着するように、 RNNの実装で重要なのは、右のような繰り返しとして展開 された形である。
- 84. RNN / LSTM ここでは、水平方向に並んでいる三つの単純なNNに、 T - 1, T, T + 1 というラベルが付けられていることに留 意されたい。この横方向の展開の、自然な解釈は、時間 的な推移である。 同時に、この解釈のもとでは、隣り合うNN間でのパラメー ターの共有は、RNNでは、時間を超えて、ある時点での 状態の「記憶」が保存されるということと解釈できるのだ。 RNNの有力な実装の一つである、LSTM、すなわち Long Short-Term Memory は、このことを意識した命 名である。
- 85. リカレント・ニューラル・ ネットによる文章の生成 Googleの Ilya Sutskeverは、文字数が5億文字に ものぼるテキストを長い時間をかけてRecurrent Neural Nets に学習させ、以下のページのような文 章を生成することができた。 “Generating Text with Recurrent Neural Networks” Ilya Sutskever, James Martens, and Geoffrey Hinton, ICML 2011. http://bit.ly/1qN5Pes Ilya Sutskever
- 87. “An example of what recurrent neural nets can now do” WikiPedia で学習したもの The meaning of life is the tradition of the ancient human reproduction: it is less favorable to the good boy for when to remove her bigger. In the show’s agreement unanimously resurfaced. The wild pasteured with consistent street forests were incorporated by the 15th century BE. In 1996 the primary rapford undergoes an effort that the reserve conditioning, written into Jewish cities, sleepers to incorporate the .St Eurasia that activates the population. http://goo.gl/vHRHSn 英語に見えるが 意味が、まったく 通じない。
- 88. “An example of what recurrent neural nets can now do” New York Timesで学習 while he was giving attention to the second advantage of school building a 2-for-2 stool killed by the Cultures saddled with a halfsuit defending the Bharatiya Fernall ’s office . Ms . Claire Parters will also have a history temple for him to raise jobs until naked Prodiena to paint baseball partners , provided people to ride both of Manhattan in 1978 , but what was largely directed to China in 1946 , focusing on the trademark period is the sailboat yesterday and comments on whom they obtain overheard within the 120th anniversary , where ...... http://goo.gl/vHRHSn 英語に見えるが 意味が、まったく 通じない。
- 89. "The Unreasonable Effectiveness of Recurrent Neural Networks” Andrej Karpathy http://karpathy.github.io/2015/05/21/rnn-effectiveness/ RNNの驚くべき能力
- 90. Andrej Karpathy "The Unreasonable Effectiveness of Recurrent Neural Networks” http://karpathy.github.io/2015/05/21/rnn-effectiveness/
- 94. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank Richard Socher et al. http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf 文法をニューラル・ネットで！
- 95. Recursive Neural Networks これは、“((the cat) (sat (on (the mat))” を、 結合モジュールを使って表したもの。 こうしたモデルは、モジュールの出力が同じタイプのモ ジュールの入力となるので、 “recursive neural networks” と呼ばれる。また、 “tree-structured neural networks”とも呼ばれる。
- 96. 文 “This film does’nt care about cleverness wit or any other kind of intelligenct humor” の解析 Socher, et al. http://goo.gl/bPAQ68 文法構造をニューラル・ ネットで表現する！
- 97. “Show, Attend and Tell: Neural Image Caption Generation with Visual Attention” Kelvin Xu, Bengio et al. イメージにキャプションをつける http://arxiv.org/pdf/1502.03044v2.pdf Kelvin Xu https://github.com/kelvinxu
- 98. “Show, Attend and Tell: Neural Image Caption Generation with Visual Attention” http://arxiv.org/pdf/1502.03044v2.pdf 「女性が公園でフリスビーを投げている」 「幼い子がテディベアを持ってベッドに座っている」 「一群の人たちが野外マーケットでショッピングをしている」 「フルーツスタンドにはたくさんの野菜がある」 イメージからテキストへ
- 99. 「硬い木の床の上に犬が立っている」 「山を背景に、止まれの標識が道路にある」 「一群の人たちが、水の中のボートに座っている」 「木々を背景に、キリンが立っている」 イメージからテキストへ： 画像の一部に “注意”を向ける
- 100. “Deep Learning, NLP, and Representations” http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/
- 101. Project Ara への期待
- 102. 2014年4月15-16日 Ara Conference スマートフォンは、我々の生活の中で、最も我々に力を与え、最も我々 にみじかなものである。ただ、我々の多くは、このデバイスがどのよう に作られ、それが何をしているのか、それがどのように見えるかについ て、語ることはほとんど無い。そして、我々のうちの５０億人は、それを 持っていない。 正確に、スマートフォンが行っていることについて、よく考えた選択を行 うことができ、あなた自身のストーリーを語る創造的なキャンバスとして、 それを利用できるもの？ Project Araを紹介したい。 何よりも、６０億人のためにデザインされたものである。 Designed exclusively for 6 billion people.
- 103. 「消費」され「使い捨て」られるモバイル モバイルのグローバルな普及は、21世紀初頭のIT技術 を特徴付ける、もっとも目覚ましい現象の一つだ。 ただ、現在、モバイルのハードウェアは、拡張性のないブ ラックボックスとして、早いサイクルで消費され、使い捨て られている。 それは、例えば、20世紀のPC/AT互換機が、多くの人に、 ハードウェアに対する関心を広げ、Linux等のオープン ソース開発にプラットホームを提供し、かつ、そのコモディ ティー化したハードウェアが、Googleに、Scale Outによ る大規模分散システムの成立を可能にしたのとは、様相 が異なっている。 いわゆる「IoT」の中でも、モバイル技術は、もっと中心的 な役割を演ずるべきだと、僕は考えている。
- 108. 小論の目的 紹介できないこと Project Araの現時点での取り組み Project Araの市場登場の見通し Project Araの技術的な課題 ... 紹介したいこと かつて、Project Araの中心人物だった Paul Eremenko の「ものづくり」に関する考えを、 前職のDARPA時代に遡って、改めて紹介し たい。
- 110. Project Ara Module Module Developers Conference 2015年1月14日
- 111. 2013年3月21日
- 120. AVMの三つのビジョン その1 META 第一。複雑な防衛システムの開発時間を短縮す るために、高機能の開発ツールを作成し利用する。 そのツールを"META"と呼んでいる。モデル化と コンポーネント化により設計の抽象度を上げると ともに、"Correct-by-Construction"で、柔軟 に設計変更に対応する。あわせて、シミレーション、 システムの評価を、随時、このMETA上で行える ようにする。（
- 122. AVMの三つのビジョン その2 iFAB 第二。新しい製造工場 "iFAB" の構築。iFABは、 Instant Foundry, Adaptive through Bits の略。 3Dプリンター、レーザー・カッター「新しい製造科 学」を取り入れた、地方に分散した小規模の工場。 製造データはネットから入ってくる。 METAとiFABの組み合わせで、高付加価値の設 計活動に向けて、ツール・チェインとバリュー・チェ インを統合する。
- 125. AVMの三つのビジョン その3 FANG 第三。設計の民主化。 オープンソース・ベースで、Crowd-sorcingの手 法を取り入れる。いわば、「みんなで戦車を作ろ う」ということ。実際、DARPAは、FANG (Fast, Adaptable Next Generation GCV) Challenge という「戦車作り」の公開コンテストを ３部門で行う。（ このコンテストでは、ツールMETAが、参加した 200チームの約1,000人に配布され利用された。
- 127. FANG Challenge: Design a Next-Generation Military Ground Vehicle https://www.youtube.com/watch?v=TMa1657gYIE
- 128. FANG Challenge: Design a Next-Generation Military Ground Vehicle https://www.youtube.com/watch?v=TMa1657gYIE
- 129. FANG Challenge: Design a Next-Generation Military Ground Vehicle https://www.youtube.com/watch?v=TMa1657gYIE
- 131. The Experimental Crowd-derived Compact support-vehicle (XC2V) design competition DARPAが主催した同じ手法での軍用自動車 の開発コンペティションでは、Local Motors が優勝した。
- 133. 2011年7月24日
- 146. オークリッジ国立研究所の 3Dプリンター研究の「目的」 研究所の3Dプリンター研究の目標は、プロトタイ ピングから生産への移行を行うことと、分散化し た「民主化」された製造業を可能とすることである。 そこでは、3Dプリンターが全ての人の収入の源と なる。産業革命に先行した零細企業にハイテクが 帰ってくるのだ。 Lonnie Loveの発言, group leader for automation, robotics and manufacturing “ORNL Seeds 3-D Printers To Drive New Revolution” 「オークリッジ国立研究所は、3Dプリンターが新しい革命を ドライブするように種をまく」 http://bit.ly/1oyTaxZ
- 147. 2015年1月14日
- 149. ロッキード F35