SlideShare a Scribd company logo
1 of 23
Download to read offline
量子アニーリング解説	
  1	


     2012/10	
  
     @_kohta	
  
アウトライン	
•  量子力学入門	
  
    –  状態、純粋状態、混合状態	
  
         •  古典力学の世界と量子力学の世界	
  
         •  量子力学の世界	
  
             –  純粋状態と混合状態	
  


•  機械学習への応用	
  
    –  クラス分類問題	
  
         •  量子アニーリングによる最適化	
  


•  to	
  be	
  con1nued	
  
量子力学入門	




background	
  image	
  :	
  h9p://personal.ashland.edu/rmichael/courses/phys403/phys403.html
状態、純粋状態、混合状態	
•  古典力学の世界	
  

     粒子の状態	
      (x, p)   :	
  相空間の座標	
  
                 位置と運動量を決めれば	
  
                 古典的な粒子の状態は完全に決まる	



•  量子力学の世界	

      粒子の状態	
      | i   : 状態ベクトル	
  

                 位置と運動量を同時に決めることができない	
  
                 (不確定性原理)	
  
                 	
  
                 物理的に可能な限り情報を指定し尽くしたとき	
  
                 「指定の仕方」が、あるベクトル空間の元となる	
  
                 (複素ヒルベルト空間)	
  
状態、純粋状態、混合状態	
•  純粋状態	
  
  –  前述の「物理的に可能な限り情報を指定し尽くした状態」
     を純粋状態と呼ぶ	
  
  –  普通の量子力学で扱う対象で、シュレディンガー方程式	
  
                    H| i = E| i
    に従う	
  
  	
           系のHamiltonian	
   エネルギー固有値	


  –  Hamiltonianは状態ベクトルに対する(エルミート)演算子
     で、(有限次元の場合)行列で書くこともできる	
  
     •  要するに行列Hの固有値問題	
  
状態、純粋状態、混合状態	
•  純粋状態	
  
  –  具体的に計算するときは、何らかの基底で「表示」する必
     要がある	
  
     •  ベクトルの成分を計算することに対応する	
  

       h | :	
  ブラ・ベクトル (ケットに作用してスカラー複素数を返す)	
       | i :	
  ケット・ベクトル	
       h | i :	
  2つのケット | i と    の内積	
                              | i

     •  (例えば)「座標」表示 →	
  	
  シュレディンガー方程式の左から hx| を
        作用	
  
      hx|H| i = Hx hx| i = Ehx| i
              座標表示のHamiltonian	
     座標表示の状態ベクトル	
  
              (微分演算子)	
              (波動関数)
状態、純粋状態、混合状態	
•  純粋状態と確率	
  
  –  (例えば)座標表示の波動関数 hx| i ⌘ (x) が	
  
    わかると、 「粒子が位置x~x+dxにある確率」は	
  
  	
  
                             P (x) = | (x)|2 dx
  	
  
  	
  	
  	
  	
  	
  となる(ボルン則/量子力学の確率解釈)	
  
  	
  
  –  状態が「位置演算子」の固有状態になっているときは、確
                  率密度はδ関数となる	
  
    •  可換な演算子の組は同時対角化可能で、それらの値を同時に正
       確に決定することができる	
  
    •  xとpは非可換なので同時に決定できない	
  
         –  「非可換の度合い」が不確定性の大きさを決める
状態、純粋状態、混合状態	
•  混合状態	
  
  –  純粋状態は、具体的な表示で見ると	
  
              X                X
      | i=        |xihx| i =        (x)|xi
              x                x
  	
  	
  	
  	
  	
  などとなり、固有状態の重ね合わせ(様々な位置にいる	
  
  	
  	
  	
  	
  	
  状態が同時に混在している)となっている。	
  
  	
  
  –  一方、複数の純粋状態の「古典的な重ね合わせ」を考え
                  たい場合もある	
  
     •  統計力学では、多数の粒子のあり得る配位についての確率的な
        平均を考える	
  
     •  それぞれの配位は物理的に干渉する訳ではないので、古典的な
        重ね合わせとなる	
  
     •  そのような状態を混合状態と呼ぶ
状態、純粋状態、混合状態	
•  混合状態	
  
  –  定義から、純粋状態 | 1 i, · · · , | k i を確率的重み	
  
                  p1 , · · · , pk
  	
  	
  	
  	
           で混合した混合状態に対して、物理量Aの	
  
  	
  	
  	
  	
  確率分布は	
  
                                         X
  	
                             P (a) =    pi |ha| i i|2
  	
                                     i
    となる。	
                                 物理量Aが固有値aをとる状態のブラベクトル
状態、純粋状態、混合状態	
•  混合状態	
  
  –  そのような混合状態を表すために、以下の密度演算子を
     考えると便利	
  
          X                            X
    ⇢=
    ˆ           pi | i ih i |    ⇢=
                                 ˆ            |xihx|ˆ|x0 ihx0 |
                                                    ⇢
            i                          x,x0
                                      密度演算子の行列表示(密度行列)	
  –  密度演算子が与えられると、物理量Aの確率分布は	
  

                    P (a) = ha|ˆ|ai
                               ⇢
  	
  	
  	
  	
  と書け、期待値は	
  
                   X          X            X
  	
                 aP (a) =   aha|ˆ|ai =
                                    ⇢        ha|ˆA|ai ⌘ Tr(ˆA)
                                                ⇢          ⇢
  	
               a          a            a
  	
  	
  	
  	
  と書ける	
  
機械学習への応用
量子アニーリング	
•  混合状態の量子力学の確率論的な枠組みを応用	
  
  –  (純粋状態の理論で定式化する流儀もあるらしい)	
  


•  クラス分類問題	
  
  –  N個のデータをK個のクラスに分類する	
  
     •  kNN法を始めとして色々やり方がある	
  
  –  変分ベイズによる方法に量子効果を導入する	
  
     •  Issei	
  Sato,	
  et	
  al.	
  “Quantum	
  Annealing	
  for	
  Varia1onal	
  Bayes	
  
        Inference”	
  	
  
  –  クラスタリング	
  
     •  Kenichi	
  Kurihara,	
  et	
  al.	
  “Quantum	
  Annealing	
  for	
  Clustering”	
  
クラス分類問題と密度行列	
•  クラス分類問題	
  
  –  データ      x = x1 , · · · , xN をK個のクラスに分類する
     問題	
  
     •  単一データ        xk のクラス割り当てを以下のように書く	
  
              ˜k = (0, · · · , 0, 1, 0, · · · , 0)T
                                       K次元	
                                                                    0                    1
     •  N個のデータ全てに対するある割り当ては	
                                  a11 B        ···    a1l B
                                                              B .           ..       . C
                                                         A⌦B =@ ..             .     . A
                                                                                     .
                                    N
                              =    ⌦k=1 ˜k                          ak1 B   ···    akl B
                                                                        クロネッカー積	
     	
  	
  	
  	
  となる。	
  
                                              T           T
                      –  K=N=2のとき、 ˜1 = (1, 0) ˜2 = (0, 1) なら	
  
                         ˜1 ⌦ ˜2 = (0, 1, 0, 0)T
クラス分類問題と密度行列	
•  例えばK=N=2の場合	
  
  –  4通りの状態をとる確率が            p1 , p2 , p3 , p4 のとき、次の
     ような密度行列を考える	
  
                                  X
     diag(p1 , p2 , p3 , p4 ) =        pi (i) (i)T
                                             i
      (i)
            2 {(1, 0, 0, 0)T , (0, 1, 0, 0)T , (0, 0, 1, 0)T , (0, 0, 0, 1)T }

  –  量子力学とのアナロジーを考えると	
  
                                 (i)
      状態ベクトル(ケット):	

      Hamiltonian:	
diag(       log p1 , · · · ,   log p4 )
クラス分類の量子力学的定式化	
•  以下のようなHamiltonianを考える	
  
                              (1)                                                 (N K )
    Hc = diag( log p(x,               ), · · · ,             log p(x,                       ))
                            Hc
    log p(x) = log Tr{e            }

  –  Hamiltonianに量子効果を入れる	
  
           N
           X
    Hq =         xi , ⌦ i 1 EK ⌦
                        j=1                       x   ⌦ ⌦N
                                                         l=i+1 EK
           i=1
                                                 後の鈴木-­‐Tro9er展開で	
  
     x   = (EK        1K )                       うまく計算できる形になる	

    H = Hc + Hq
                     イメージ	
                       0               (1)
                                                                                                                 1
                           log p(x,          )                                                   0
                       B                          log p(x,   (2)
                                                                   )        0                                    C
                     H=B
                       @                                                          (3)
                                                                                                                 C
                                                                                                                 A
                                                       0               log p(x,         )
                                                                                                       (4)
                               0                                                            log p(x,         )
密度行列と古典的確率	
•  Hamiltonianが対角なら、問題は(通常の)古典的な確率
   モデルと完全に一致する	
  
  –  密度行列を用いることで、Hamiltonianの非対角項に量子論的
     効果を入れることができるようになる	
  
  –  量子アニーリングでは、非対角項を使って局所最適解から抜
     け出すことを考える	
  

•  一般的な処方箋	
  
  –  データと状態について、対角要素が古典的確率となる
     Hamiltonianを設計する	
  
  –  適当な量子効果を入れた相互作用Hamiltonianを追加し、鈴
     木-­‐Tro9er展開を用いて対角な(サンプリング可能な)確率モデ
     ルの積として近似する	
  
  –  量子効果を徐々に弱めるアニーリングを行いながらサンプリン
     グし、最適解を求める	
  
変分ベイズ法とクラス分類	
•  変分ベイズ法の枠組み	
  
  –  隠れ変数σ、パラメータθがある観測変数xの確率分布	
  
  	
  
               P (x, , ✓)
  	
  
  –  観測xに対するσの事後分布	
  

                     P ( , ✓|x)
  	
  	
  	
  	
  	
  
  	
  	
  	
  	
  を求めたいが、厳密に計算するのは難しい	
  
  	
  
•  クラス分類問題	
  
  –  観測変数x(データ)と、隠れ変数σ(データのクラス分類)
     に対して、データxに対するσの事後分布を求める問題
変分ベイズ法とクラス分類	
•  変分ベイズ法の枠組み	
  
  –  xについての周辺尤度が	
  
                  XZ                 P (x, , ✓)
    log P (x) =        d✓q( , ✓) log            + KL(q||P ( , ✓|x))
                                      q( , ✓)
                  XZ                 P (x, , ✓)
                       d✓q( , ✓) log            ⌘ F [q]
                                      q( , ✓)

  	
  	
  	
  	
  と書け、等号が q( , ✓) = P ( , ✓|x) のときに成り立つ	
  
  	
  	
  	
  	
  ことを利用する	
  
  	
  
  –  	
  F	
  [q]	
  を最大化するqを変分的に求め、それを事後分布と
                  	
  	
   	
  	
  	
  	
  
                  見なすことができる(F[q]を変分自由エネルギーと呼ぶ)	
  
     •  そのままではqを求めることができない
変分ベイズ以外の方法	
•  MCMCなどを用いて、なんとか       からサン
                   P ( , ✓|x)
   プリングする方法もある	
  
 –  クラスラベル空間全体から一度にサンプリングするのは
    難しい	
  
 –  1変数を残して他を固定してサンプリングする過程を繰り
    返す、ギブスサンプラーの方法を使える形にしたい
量子的Hamiltonianの取り扱い	
•  量子効果を入れたHamiltonianはまともに計算する
   ことができない	
  
                                                 (Hc +Hq )
           log P (x) = log Tr{e                              }
 –  非対角な行列のexp??	
  
   •  鈴木-­‐Tro9er展開	
  
                      !                 ✓        ◆! m        ✓       ◆
            X                 Y             Al                   1
     exp         Al       =       exp                   +O
                                            m                    m
             l                l


   •  Hamiltonianの非対角部分を計算可能な形に近似し、MCMCサン
      プリングなどを行う	
  
   •  mが一つの独立な対角Hamiltonianに対応する形となり、実装的
      にはm個のシミュレーテッドアニーリングを走らせることになる	
  
アニーリング	
•  温度項の導入	
                       逆温度(物理的には1/kBT)	
  
                               (Hc +Hq )
        log P (x) = log Tr{e               }

•  アニーリング	
  
  –  シミュレーテッドアニーリング	
  
     •  βを徐々に増加(温度を低下)させながらサンプリング	
  
  –  量子アニーリング	
  
     •  βを徐々に増加させ、量子Hamiltonianの係数Γを徐々にゼロに近
        づけながらサンプリング	
        T	
                               SA	
                                   SA	
       SA	
   QA	
                                   QA	
     QA	
                     Γ
実験結果(文献より)	
•  変分ベイズの方法	
  
  –  対数尤度値で見て、SAに比べ分類性能が10%程度改善し
     たらしい	
  
  –  SAに比べ、局所解に陥りにくくなる性質があるらしい
量子アニーリング解説 1

More Related Content

What's hot

SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII
 
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてCVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてAkisato Kimura
 
【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood
【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood
【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihoodDeep Learning JP
 
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化Deep Learning JP
 
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific FeaturesDeep Learning JP
 
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明深層学習の非常に簡単な説明
深層学習の非常に簡単な説明Seiichi Uchida
 
z変換をやさしく教えて下さい (音響学入門ペディア)
z変換をやさしく教えて下さい (音響学入門ペディア)z変換をやさしく教えて下さい (音響学入門ペディア)
z変換をやさしく教えて下さい (音響学入門ペディア)Shinnosuke Takamichi
 
【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...
【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...
【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...Deep Learning JP
 
形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換Tsukasa Fukunaga
 
SSII2018TS: 大規模深層学習
SSII2018TS: 大規模深層学習SSII2018TS: 大規模深層学習
SSII2018TS: 大規模深層学習SSII
 
数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツShuyo Nakatani
 
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック 大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック 西岡 賢一郎
 
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 ConvolutionsDeep Learning JP
 
フィーチャモデルの描き方
フィーチャモデルの描き方フィーチャモデルの描き方
フィーチャモデルの描き方H Iseri
 
Divisor
DivisorDivisor
Divisoroupc
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門joisino
 
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learningDeep Learning JP
 
敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度Masa Kato
 

What's hot (20)

SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
 
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移についてCVPR2016 reading - 特徴量学習とクロスモーダル転移について
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
 
【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood
【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood
【DL輪読会】Unbiased Gradient Estimation for Marginal Log-likelihood
 
[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化[DL Hacks]Visdomを使ったデータ可視化
[DL Hacks]Visdomを使ったデータ可視化
 
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
【DL輪読会】Domain Generalization by Learning and Removing Domainspecific Features
 
深層学習の非常に簡単な説明
深層学習の非常に簡単な説明深層学習の非常に簡単な説明
深層学習の非常に簡単な説明
 
z変換をやさしく教えて下さい (音響学入門ペディア)
z変換をやさしく教えて下さい (音響学入門ペディア)z変換をやさしく教えて下さい (音響学入門ペディア)
z変換をやさしく教えて下さい (音響学入門ペディア)
 
【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...
【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...
【DL輪読会】“Gestalt Principles Emerge When Learning Universal Sound Source Separa...
 
形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換
 
SSII2018TS: 大規模深層学習
SSII2018TS: 大規模深層学習SSII2018TS: 大規模深層学習
SSII2018TS: 大規模深層学習
 
数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ
 
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック 大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
大域的探索から局所的探索へデータ拡張 (Data Augmentation)を用いた学習の探索テクニック
 
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
[DL輪読会]Glow: Generative Flow with Invertible 1×1 Convolutions
 
フィーチャモデルの描き方
フィーチャモデルの描き方フィーチャモデルの描き方
フィーチャモデルの描き方
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について
 
Divisor
DivisorDivisor
Divisor
 
最適輸送入門
最適輸送入門最適輸送入門
最適輸送入門
 
【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning【DL輪読会】Scaling laws for single-agent reinforcement learning
【DL輪読会】Scaling laws for single-agent reinforcement learning
 
全域木いろいろ
全域木いろいろ全域木いろいろ
全域木いろいろ
 
敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度敵対的学習に対するラデマッハ複雑度
敵対的学習に対するラデマッハ複雑度
 

Viewers also liked

AI x ロボティクス x ブロックチェーンによる次世代自律テクノロジー
AI x ロボティクス x ブロックチェーンによる次世代自律テクノロジーAI x ロボティクス x ブロックチェーンによる次世代自律テクノロジー
AI x ロボティクス x ブロックチェーンによる次世代自律テクノロジーAtsushi Ishii
 
パーソナル人工知能 SENSY と機械学習技術
パーソナル人工知能 SENSY と機械学習技術パーソナル人工知能 SENSY と機械学習技術
パーソナル人工知能 SENSY と機械学習技術Takashi Okamoto
 
ml_15min_tobitate_tech_8th
ml_15min_tobitate_tech_8thml_15min_tobitate_tech_8th
ml_15min_tobitate_tech_8thYumaMatsuoka
 
戦略を立てる機械学習
戦略を立てる機械学習戦略を立てる機械学習
戦略を立てる機械学習Takashi Kato
 
Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29
Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29
Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29Masataka Sato
 
将棋ニューラルネットとこれからのゲームAI
将棋ニューラルネットとこれからのゲームAI将棋ニューラルネットとこれからのゲームAI
将棋ニューラルネットとこれからのゲームAIKatsuki Ohto
 
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~Takahiro Kubo
 
量子アニーリングの研究開発最前線
量子アニーリングの研究開発最前線量子アニーリングの研究開発最前線
量子アニーリングの研究開発最前線Shu Tanaka
 

Viewers also liked (8)

AI x ロボティクス x ブロックチェーンによる次世代自律テクノロジー
AI x ロボティクス x ブロックチェーンによる次世代自律テクノロジーAI x ロボティクス x ブロックチェーンによる次世代自律テクノロジー
AI x ロボティクス x ブロックチェーンによる次世代自律テクノロジー
 
パーソナル人工知能 SENSY と機械学習技術
パーソナル人工知能 SENSY と機械学習技術パーソナル人工知能 SENSY と機械学習技術
パーソナル人工知能 SENSY と機械学習技術
 
ml_15min_tobitate_tech_8th
ml_15min_tobitate_tech_8thml_15min_tobitate_tech_8th
ml_15min_tobitate_tech_8th
 
戦略を立てる機械学習
戦略を立てる機械学習戦略を立てる機械学習
戦略を立てる機械学習
 
Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29
Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29
Findy を作ってわかった、機械学習エンジニアとその分析 - Machine Learning15minutes! 2017/07/29
 
将棋ニューラルネットとこれからのゲームAI
将棋ニューラルネットとこれからのゲームAI将棋ニューラルネットとこれからのゲームAI
将棋ニューラルネットとこれからのゲームAI
 
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
 
量子アニーリングの研究開発最前線
量子アニーリングの研究開発最前線量子アニーリングの研究開発最前線
量子アニーリングの研究開発最前線
 

Similar to 量子アニーリング解説 1

8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論sleepy_yoshi
 
PRML 1.6 情報理論
PRML 1.6 情報理論PRML 1.6 情報理論
PRML 1.6 情報理論sleepy_yoshi
 
ベクトルで理解する相関係数
ベクトルで理解する相関係数ベクトルで理解する相関係数
ベクトルで理解する相関係数Satoshi MATSUURA
 
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰sleipnir002
 
第8回 配信講義 計算科学技術特論A(2021)
第8回 配信講義 計算科学技術特論A(2021)第8回 配信講義 計算科学技術特論A(2021)
第8回 配信講義 計算科学技術特論A(2021)RCCSRENKEI
 
210603 yamamoto
210603 yamamoto210603 yamamoto
210603 yamamotoRCCSRENKEI
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成Prunus 1350
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)Yukara Ikemiya
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半Ohsawa Goodfellow
 
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)Daisuke Yoneoka
 
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29) 2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29) Akira Asano
 
2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)
2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)
2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)Akira Asano
 
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011Preferred Networks
 
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM) コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM) Takahiro (Poly) Horikawa
 
Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-Joe Suzuki
 
Introduction to the particle filter
Introduction to the particle filterIntroduction to the particle filter
Introduction to the particle filterSatoshi Minakuchi
 

Similar to 量子アニーリング解説 1 (20)

分布 isseing333
分布 isseing333分布 isseing333
分布 isseing333
 
8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論8.4 グラフィカルモデルによる推論
8.4 グラフィカルモデルによる推論
 
PRML 1.6 情報理論
PRML 1.6 情報理論PRML 1.6 情報理論
PRML 1.6 情報理論
 
ベクトルで理解する相関係数
ベクトルで理解する相関係数ベクトルで理解する相関係数
ベクトルで理解する相関係数
 
パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
 
第8回 配信講義 計算科学技術特論A(2021)
第8回 配信講義 計算科学技術特論A(2021)第8回 配信講義 計算科学技術特論A(2021)
第8回 配信講義 計算科学技術特論A(2021)
 
210603 yamamoto
210603 yamamoto210603 yamamoto
210603 yamamoto
 
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
 
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
 
NLPforml5
NLPforml5NLPforml5
NLPforml5
 
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
Rで学ぶデータサイエンス第13章(ミニマックス確率マシン)
 
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29) 2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
 
2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)
2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)
2014年度秋学期 応用数学(解析) 第2部・基本的な微分方程式 / 第5回 微分方程式とは,変数分離形 (2014. 10. 23)
 
2013 03 25
2013 03 252013 03 25
2013 03 25
 
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
オンライン凸最適化と線形識別モデル学習の最前線_IBIS2011
 
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM) コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
コンピュータービジョン最先端ガイド2 3.4ベクトルデータに対するカーネル法(SVM)
 
Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-Bayes Independence Test - HSIC と性能を比較する-
Bayes Independence Test - HSIC と性能を比較する-
 
Re revenge chap03-1
Re revenge chap03-1Re revenge chap03-1
Re revenge chap03-1
 
Introduction to the particle filter
Introduction to the particle filterIntroduction to the particle filter
Introduction to the particle filter
 

More from Kohta Ishikawa

[Paper reading] Hamiltonian Neural Networks
 [Paper reading] Hamiltonian Neural Networks [Paper reading] Hamiltonian Neural Networks
[Paper reading] Hamiltonian Neural NetworksKohta Ishikawa
 
Spherical CNNs paper reading
Spherical CNNs paper readingSpherical CNNs paper reading
Spherical CNNs paper readingKohta Ishikawa
 
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介Kohta Ishikawa
 
A brief explanation of Causal Entropic Forces
A brief explanation of Causal Entropic ForcesA brief explanation of Causal Entropic Forces
A brief explanation of Causal Entropic ForcesKohta Ishikawa
 
R Language Definition 2.2 to 2.3
R Language Definition 2.2 to 2.3R Language Definition 2.2 to 2.3
R Language Definition 2.2 to 2.3Kohta Ishikawa
 
Nonlinear Filtering and Path Integral Method (Paper Review)
Nonlinear Filtering and Path Integral Method (Paper Review)Nonlinear Filtering and Path Integral Method (Paper Review)
Nonlinear Filtering and Path Integral Method (Paper Review)Kohta Ishikawa
 
Introduction to pairtrading
Introduction to pairtradingIntroduction to pairtrading
Introduction to pairtradingKohta Ishikawa
 
Particle Filter Tracking in Python
Particle Filter Tracking in PythonParticle Filter Tracking in Python
Particle Filter Tracking in PythonKohta Ishikawa
 
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)Kohta Ishikawa
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statisticsKohta Ishikawa
 

More from Kohta Ishikawa (11)

[Paper reading] Hamiltonian Neural Networks
 [Paper reading] Hamiltonian Neural Networks [Paper reading] Hamiltonian Neural Networks
[Paper reading] Hamiltonian Neural Networks
 
Spherical CNNs paper reading
Spherical CNNs paper readingSpherical CNNs paper reading
Spherical CNNs paper reading
 
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
Model Transport: Towards Scalable Transfer Learning on Manifolds 論文紹介
 
A brief explanation of Causal Entropic Forces
A brief explanation of Causal Entropic ForcesA brief explanation of Causal Entropic Forces
A brief explanation of Causal Entropic Forces
 
R Language Definition 2.2 to 2.3
R Language Definition 2.2 to 2.3R Language Definition 2.2 to 2.3
R Language Definition 2.2 to 2.3
 
Nonlinear Filtering and Path Integral Method (Paper Review)
Nonlinear Filtering and Path Integral Method (Paper Review)Nonlinear Filtering and Path Integral Method (Paper Review)
Nonlinear Filtering and Path Integral Method (Paper Review)
 
Introduction to pairtrading
Introduction to pairtradingIntroduction to pairtrading
Introduction to pairtrading
 
Particle Filter Tracking in Python
Particle Filter Tracking in PythonParticle Filter Tracking in Python
Particle Filter Tracking in Python
 
Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)Rでisomap(多様体学習のはなし)
Rでisomap(多様体学習のはなし)
 
Introduction to statistics
Introduction to statisticsIntroduction to statistics
Introduction to statistics
 
PRML_2.3.1~2.3.3
PRML_2.3.1~2.3.3PRML_2.3.1~2.3.3
PRML_2.3.1~2.3.3
 

量子アニーリング解説 1

  • 1. 量子アニーリング解説  1 2012/10   @_kohta  
  • 2. アウトライン •  量子力学入門   –  状態、純粋状態、混合状態   •  古典力学の世界と量子力学の世界   •  量子力学の世界   –  純粋状態と混合状態   •  機械学習への応用   –  クラス分類問題   •  量子アニーリングによる最適化   •  to  be  con1nued  
  • 3. 量子力学入門 background  image  :  h9p://personal.ashland.edu/rmichael/courses/phys403/phys403.html
  • 4. 状態、純粋状態、混合状態 •  古典力学の世界   粒子の状態 (x, p) :  相空間の座標   位置と運動量を決めれば   古典的な粒子の状態は完全に決まる •  量子力学の世界 粒子の状態 | i : 状態ベクトル   位置と運動量を同時に決めることができない   (不確定性原理)     物理的に可能な限り情報を指定し尽くしたとき   「指定の仕方」が、あるベクトル空間の元となる   (複素ヒルベルト空間)  
  • 5. 状態、純粋状態、混合状態 •  純粋状態   –  前述の「物理的に可能な限り情報を指定し尽くした状態」 を純粋状態と呼ぶ   –  普通の量子力学で扱う対象で、シュレディンガー方程式   H| i = E| i   に従う     系のHamiltonian エネルギー固有値 –  Hamiltonianは状態ベクトルに対する(エルミート)演算子 で、(有限次元の場合)行列で書くこともできる   •  要するに行列Hの固有値問題  
  • 6. 状態、純粋状態、混合状態 •  純粋状態   –  具体的に計算するときは、何らかの基底で「表示」する必 要がある   •  ベクトルの成分を計算することに対応する   h | :  ブラ・ベクトル (ケットに作用してスカラー複素数を返す) | i :  ケット・ベクトル h | i :  2つのケット | i と    の内積 | i •  (例えば)「座標」表示 →    シュレディンガー方程式の左から hx| を 作用   hx|H| i = Hx hx| i = Ehx| i 座標表示のHamiltonian   座標表示の状態ベクトル   (微分演算子) (波動関数)
  • 7. 状態、純粋状態、混合状態 •  純粋状態と確率   –  (例えば)座標表示の波動関数 hx| i ⌘ (x) が     わかると、 「粒子が位置x~x+dxにある確率」は     P (x) = | (x)|2 dx            となる(ボルン則/量子力学の確率解釈)     –  状態が「位置演算子」の固有状態になっているときは、確 率密度はδ関数となる   •  可換な演算子の組は同時対角化可能で、それらの値を同時に正 確に決定することができる   •  xとpは非可換なので同時に決定できない   –  「非可換の度合い」が不確定性の大きさを決める
  • 8. 状態、純粋状態、混合状態 •  混合状態   –  純粋状態は、具体的な表示で見ると   X X | i= |xihx| i = (x)|xi x x          などとなり、固有状態の重ね合わせ(様々な位置にいる            状態が同時に混在している)となっている。     –  一方、複数の純粋状態の「古典的な重ね合わせ」を考え たい場合もある   •  統計力学では、多数の粒子のあり得る配位についての確率的な 平均を考える   •  それぞれの配位は物理的に干渉する訳ではないので、古典的な 重ね合わせとなる   •  そのような状態を混合状態と呼ぶ
  • 9. 状態、純粋状態、混合状態 •  混合状態   –  定義から、純粋状態 | 1 i, · · · , | k i を確率的重み   p1 , · · · , pk                 で混合した混合状態に対して、物理量Aの          確率分布は   X   P (a) = pi |ha| i i|2   i   となる。   物理量Aが固有値aをとる状態のブラベクトル
  • 10. 状態、純粋状態、混合状態 •  混合状態   –  そのような混合状態を表すために、以下の密度演算子を 考えると便利   X X ⇢= ˆ pi | i ih i | ⇢= ˆ |xihx|ˆ|x0 ihx0 | ⇢ i x,x0 密度演算子の行列表示(密度行列) –  密度演算子が与えられると、物理量Aの確率分布は   P (a) = ha|ˆ|ai ⇢        と書け、期待値は   X X X   aP (a) = aha|ˆ|ai = ⇢ ha|ˆA|ai ⌘ Tr(ˆA) ⇢ ⇢   a a a        と書ける  
  • 12. 量子アニーリング •  混合状態の量子力学の確率論的な枠組みを応用   –  (純粋状態の理論で定式化する流儀もあるらしい)   •  クラス分類問題   –  N個のデータをK個のクラスに分類する   •  kNN法を始めとして色々やり方がある   –  変分ベイズによる方法に量子効果を導入する   •  Issei  Sato,  et  al.  “Quantum  Annealing  for  Varia1onal  Bayes   Inference”     –  クラスタリング   •  Kenichi  Kurihara,  et  al.  “Quantum  Annealing  for  Clustering”  
  • 13. クラス分類問題と密度行列 •  クラス分類問題   –  データ x = x1 , · · · , xN をK個のクラスに分類する 問題   •  単一データ xk のクラス割り当てを以下のように書く   ˜k = (0, · · · , 0, 1, 0, · · · , 0)T K次元 0 1 •  N個のデータ全てに対するある割り当ては   a11 B ··· a1l B B . .. . C A⌦B =@ .. . . A . N = ⌦k=1 ˜k ak1 B ··· akl B クロネッカー積        となる。   T T –  K=N=2のとき、 ˜1 = (1, 0) ˜2 = (0, 1) なら   ˜1 ⌦ ˜2 = (0, 1, 0, 0)T
  • 14. クラス分類問題と密度行列 •  例えばK=N=2の場合   –  4通りの状態をとる確率が p1 , p2 , p3 , p4 のとき、次の ような密度行列を考える   X diag(p1 , p2 , p3 , p4 ) = pi (i) (i)T i (i) 2 {(1, 0, 0, 0)T , (0, 1, 0, 0)T , (0, 0, 1, 0)T , (0, 0, 0, 1)T } –  量子力学とのアナロジーを考えると   (i) 状態ベクトル(ケット): Hamiltonian: diag( log p1 , · · · , log p4 )
  • 15. クラス分類の量子力学的定式化 •  以下のようなHamiltonianを考える   (1) (N K ) Hc = diag( log p(x, ), · · · , log p(x, )) Hc log p(x) = log Tr{e } –  Hamiltonianに量子効果を入れる   N X Hq = xi , ⌦ i 1 EK ⌦ j=1 x ⌦ ⌦N l=i+1 EK i=1 後の鈴木-­‐Tro9er展開で   x = (EK 1K ) うまく計算できる形になる H = Hc + Hq イメージ 0 (1) 1 log p(x, ) 0 B log p(x, (2) ) 0 C H=B @ (3) C A 0 log p(x, ) (4) 0 log p(x, )
  • 16. 密度行列と古典的確率 •  Hamiltonianが対角なら、問題は(通常の)古典的な確率 モデルと完全に一致する   –  密度行列を用いることで、Hamiltonianの非対角項に量子論的 効果を入れることができるようになる   –  量子アニーリングでは、非対角項を使って局所最適解から抜 け出すことを考える   •  一般的な処方箋   –  データと状態について、対角要素が古典的確率となる Hamiltonianを設計する   –  適当な量子効果を入れた相互作用Hamiltonianを追加し、鈴 木-­‐Tro9er展開を用いて対角な(サンプリング可能な)確率モデ ルの積として近似する   –  量子効果を徐々に弱めるアニーリングを行いながらサンプリン グし、最適解を求める  
  • 17. 変分ベイズ法とクラス分類 •  変分ベイズ法の枠組み   –  隠れ変数σ、パラメータθがある観測変数xの確率分布     P (x, , ✓)   –  観測xに対するσの事後分布   P ( , ✓|x)                  を求めたいが、厳密に計算するのは難しい     •  クラス分類問題   –  観測変数x(データ)と、隠れ変数σ(データのクラス分類) に対して、データxに対するσの事後分布を求める問題
  • 18. 変分ベイズ法とクラス分類 •  変分ベイズ法の枠組み   –  xについての周辺尤度が   XZ P (x, , ✓) log P (x) = d✓q( , ✓) log + KL(q||P ( , ✓|x)) q( , ✓) XZ P (x, , ✓) d✓q( , ✓) log ⌘ F [q] q( , ✓)        と書け、等号が q( , ✓) = P ( , ✓|x) のときに成り立つ          ことを利用する     –   F  [q]  を最大化するqを変分的に求め、それを事後分布と             見なすことができる(F[q]を変分自由エネルギーと呼ぶ)   •  そのままではqを求めることができない
  • 19. 変分ベイズ以外の方法 •  MCMCなどを用いて、なんとか       からサン P ( , ✓|x) プリングする方法もある   –  クラスラベル空間全体から一度にサンプリングするのは 難しい   –  1変数を残して他を固定してサンプリングする過程を繰り 返す、ギブスサンプラーの方法を使える形にしたい
  • 20. 量子的Hamiltonianの取り扱い •  量子効果を入れたHamiltonianはまともに計算する ことができない   (Hc +Hq ) log P (x) = log Tr{e } –  非対角な行列のexp??   •  鈴木-­‐Tro9er展開   ! ✓ ◆! m ✓ ◆ X Y Al 1 exp Al = exp +O m m l l •  Hamiltonianの非対角部分を計算可能な形に近似し、MCMCサン プリングなどを行う   •  mが一つの独立な対角Hamiltonianに対応する形となり、実装的 にはm個のシミュレーテッドアニーリングを走らせることになる  
  • 21. アニーリング •  温度項の導入   逆温度(物理的には1/kBT)   (Hc +Hq ) log P (x) = log Tr{e } •  アニーリング   –  シミュレーテッドアニーリング   •  βを徐々に増加(温度を低下)させながらサンプリング   –  量子アニーリング   •  βを徐々に増加させ、量子Hamiltonianの係数Γを徐々にゼロに近 づけながらサンプリング T SA SA SA QA QA QA Γ
  • 22. 実験結果(文献より) •  変分ベイズの方法   –  対数尤度値で見て、SAに比べ分類性能が10%程度改善し たらしい   –  SAに比べ、局所解に陥りにくくなる性質があるらしい