Recommended
More Related Content
What's hot
What's hot (20)
Similar to Multiple optimization and Non-dominated sorting with rPref package in R
Similar to Multiple optimization and Non-dominated sorting with rPref package in R (15)
More from Satoshi Kato
More from Satoshi Kato (14)
Multiple optimization and Non-dominated sorting with rPref package in R
- 1. あれも欲しい、これも欲しい 第60回R勉強会＠東京（#TokyoR） 1. パレート非優越ソートを紹介します 2. {rPref} package を使ってみました rPref : Computing Pareto Frontiers and Database Preferences
- 2. 自己紹介 専門 • データ分析／シミュレーション／統計モデリング／数理モデリング • 生態学／環境科学 → 臨床検査／医療情報学／疫学 1cm
- 3. Use Case: パソコンを買いたい • とある比較サイトで調べてみる
- 4. たくさんの評価基準 【うれしさ】 is… 重量 → 軽い CPU → 速い メモリ容量 → 多い ストレージ → 大きいSSD 厚さ → 薄い 価格 → 安い ： ： • ユーザーによってほしいパソコンの基準(好み)が異なる
- 5. 後悔のない選択がしたい… 2363件 うれしさを最大化するように 自動的に適切な絞り込みが出来ないだろうか？ 【うれしさ】 is… 重量 → 軽い CPU → 速い メモリ容量 → 多い ストレージ → 大きいSSD 厚さ → 薄い 価格 → 安い ： ：
- 6. 効用 と 選好 • 効用(utility)* とは、個人が多数の行動のひとつを選択するとき それを最大化したいと望むものである。たとえば「PCの安さ」 • 選好性(preference)* とは、選択の結果である • 状態Sの選好は実数値関数U(S)で捉えられる。 つまり、 • U(Si) > U(Sj) なら、Si を Sj よりも好む • U(Si) > U(Sj) なら、Si を Sj の違いを感じない(無差別である) となる。 このとき、 U(S) を 効用関数 と呼ぶ。 * von Neumann, J. and Morgenstern, O. による定義 in: “Theory of Games and Economic Behavior”, Princeton Univ. Press, 1947 引用元：”効用と多目的最適化” in: 伊庭 斉志 『人工知能の創発 知能の進化とシミュレーション』, 6章, オーム社, 2017
- 7. 効用 と 選好 と 多目的最適化 • 二つ以上の効用を考慮する場合、それらは互いに相反することが多い （トレードオフ、コンフリクト） • 複数の効用(目標)を同様に最適化する必要があるとき、 この問題を 多目的最適化 と呼ぶ 評価： minimize 価格 minimize 重量 maximize CPUの速さ maximize メモリの多さ maximize ストレージの多さ minimize 厚さ ： 価格 重量 一番軽い でも高価 一番安い でも重い もっと安くて もっと軽い PCがある
- 8. パレート優越 • 個体Xiが個体Xｊに対して、すべての目的関数の評価において劣るとき、 個体Xiは個体Xｊに優越されている（dominated; 劣解）という 評価： minimize f1 （ X |θ ） minimize f2 （ X |θ ） Bが優越 Xj 好 好 Xjが優越
- 9. パレート最適解 • 個体Xiに優越する個体が存在しないとき，個体Xiをパレート最適解という． ＝「他の評価を悪化せずにあらゆる評価を改善できない状態」 評価： minimize f1 （ X |θ ） minimize f2 （ X |θ ） Bが優越 f2を改善すると f1が劣化 f1を改善すると f2が劣化 Xj Xjが優越
- 10. パレート最適解 と ユートピア個体 • すべての次元で優れている個体をユートピア個体 とよぶ 価格 重量 一番軽い でも高価 一番安い でも重い もっと安くて もっと軽い PCがある 一番軽い かつ 一番安い 評価： minimize f1 （ X |θ ） minimize f2 （ X |θ ）
- 11. 多目的最適化 と パレート最適解 • 高次元の多目的最適化においては、多くの問題でユートピア個体は存在しない • 代替としてパレート最適となるような解集合を求めることになる 評価： minimize 価格 minimize 重量 maximize CPUの速さ maximize メモリの多さ maximize ストレージの多さ minimize 厚さ ： 同志社大学 知的システムデザイン研究室 資料から http://mikilab.doshisha.ac.jp/dia/research/mop_ga/mops/2-2.html 価格 重量 一番軽い でも高価 一番安い でも重い もっと安くて もっと軽い PCがある ※ データベースにおいては、Block Nested Loopによるスカイライン演算と呼ばれる（らしい）
- 12. パレート最適フロント • パレート最適解集合が形成する面のことをパレート最適フロントとよぶ https://en.wikipedia.org/wiki/Multi-objective_optimization 評価： minimize f1 （ X |θ ） minimize f2 （ X |θ ） パレート最適フロント
- 13. イメージ* • 感度-偽陽性率のROC曲線 http://www.med.osaka-u.ac.jp/pub/kid/clinicaljournalclub6.html 評価： maximize 感度 maximize 特異度 EQ minimize 偽陽性率 最大総ビリルビンは最大ASTに優越する * 等値な問題設定ではないので、あくまでイメージ
- 14. 非優越 と ランキング • 個体Xiがni個の個体に優越されているとき，Xiのランク r(Xi)を r(Xi) = ni + 1 と定める • ランク＝１となる個体群がパレート最適解 同志社大学 知的システムデザイン研究室 資料から http://mikilab.doshisha.ac.jp/dia/research/mop_ga/moga/3/3-3-1.html 評価： minimize f1 （ X |θ ） minimize f2 （ X |θ ）
- 15. 非優越ソート ① パレート優越性に基づいて、すべての個体のランクをつける ② ランク＝１となる個体を取り除く ③ ①に戻る 同志社大学 知的システムデザイン研究室 資料から http://mikilab.doshisha.ac.jp/dia/research/mop_ga/moga/3/3-5-5.html 優越性に差がない（=同ランク）個体同士を結んだ線を無差別曲線と呼ぶ ランク=1の個体同士を結んだ無差別曲線がパレート最適フロント
- 16. PROS/CONS of 非優越ソート 利点 • 目的関数の数がいくつでも対応できる • 最小化と最大化の両方に対応できる 問題点 • 個体数が多い場合、計算負荷が高い 同志社大学 知的システムデザイン研究室 資料から http://mikilab.doshisha.ac.jp/dia/research/mop_ga/moga/3/3-5-5.html
- 17. 特色 • 簡単な記述で、多様な抽出ルールを定義できる • 様々なユーティリティにより、フレキシブルな探索条件を記述できる • dplyrを意識した設計により、なめらかなパイピングができる • 主要な部分がC++で実装されており、ソートが超高速※ （※当社比）http://www.p-roocks.de/rpref/
- 20. 基本構文: low(a), high(a), true(a) • low(a), high(a)： preferenceを小さい順、大きい順に設定する • true(a) ： 論理式にマッチするアイテムをマッチしないものに優先して取り出す ※dplyr::filter と異なり、マッチするアイテムがなければ妥協する
- 21. 演算子： p1 * p2 • 評価を組合わせる • p1 かつ p2 好 high (mpg) * high (hp)
- 22. Use Case: 車を買いたい • 1974年のアメリカの車のカタログ誌からスペック比較のデータ ?mtcars
- 25. at_least-k selections • 好みの評価順に、上位の少なくともｋ個を抽出する • レベル内で足りない場合、次のレベルのすべてのアイテムも抽出する ９
- 26. グループ化（with dplyr） • 条件グループごとに好みの優劣を較べたい • 『気筒数で車種をそろえて、高馬力と低燃費を比較したい』 group_by (気筒数) high (馬力) high (燃費の良さ)
- 28. カスタマイズ • 演算子で評価関数を繋いでルールを定義する • p1 <- true(cyl==4) & high(mpg) * low(wt) * ... • 定義済みルールに ルールの追加ができる • p1 * low(gear) • 評価関数を編集して複雑なルールの定義ができる • p1 <- high(4 * mpg + hp) • f <- function(x, y) (abs(x - mean(x))/max(x) + abs(y - mean(y))/max(y)) • p2 <- low(f(mpg, hp)) • 定義したルールはマクロとして再利用できる • マクロどうしをさらに組み合わせることもできる • p1 * p2
- 29. • 選好(preference)は最大化最小化をはじめ、柔軟に設定できる • 『分類器の性能比較に基づいてパラメータ探索がしたい』 各学習モデルのテストデータに対する予測性能 好 high (感度) * low (偽陽性率) カスタマイズ
- 30. 演算子： p1 & p2 • 評価の優先付け (lexicographical order) • p1 PRIOR TO p2 • まず p1で評価したのち、次に p2で評価する 好 好 high (mpg) * high (hp) high (mpg) & high (hp)
- 31. 演算子： p1 | p2 • Intersection preference: • 弱パレート最適解もパレートフロントに加える？※ 好 ※マニュアルには下記のように記載されているが、挙動と演算子の記号から鑑みて、説明が逆になっているんじゃないかと思われる… • A tuple t1 is better than t2 w.r.t. p1 | p2 if it is strictly better w.r.t. both preferences. • This is a stricter variant of the Pareto operator. • The evaluation of psel(df, p1 | p2) is always a subset of psel(df, p1 * p2). high (mpg) * high (hp) high (mpg) | high (hp)
- 32. 演算子： p1 + p2 • Union preference • A tuple t1 is better than t2 with regard to p1 + p2 if it is strictly better with regard to one of the preferences. • Note that this can violate the strict partial order property, if the domains (the tuples on which p1 and p2 define better-than-relationships) of the preferences are not disjoint. 好 high (mpg) * high (hp) high (mpg) + high (hp)
- 33. 演算子： reverse(p1) or -p1 • Reverse (converse relation) • p1でソートした順位を、逆順にする • 略記法として、マイナス「-」演算子が利用できる 好 好 high (mpg) * high (hp) -( high (mpg) * high (hp) )
- 34. 定義済みマクロ： between • between(expr, left, right) • 指定した範囲の中で好みのアイテムを探索 • 範囲内になければ外側で一番近いアイテムから探索・評価 好 好 ※内部的には定義済みマクロ high (mpg) * high (hp)
- 35. 定義済みマクロ： around • around(expr, center) • 指定した値に一番近いものを探索、機能的にはbetween(expr, center, center) と同じ 『出張先のホテルを探したい』→ 『妥協可能な価格帯で、好みの条件に近い順に列挙したい』 • ベストな条件（ホテル４）はすべて予約が埋まっている • パレート最適解であっても無茶な物件は除外したい 参考： スカイライン演算を用いたユーザ嗜好を考慮した情報推薦のランキング手法の提案 http://db-event.jpn.org/deim2015/paper/240.pdf ベストな条件 （ホテル４）
- 36. 定義済みマクロ： layered, pos • layered(expr, layer1, layer2, ..., layerN) • マッチするアイテムの優先カテゴリの順位を設定をする • 中身は、true(expr %in% layer1) & true(expr %in% layer2) & …true(expr %in% layerN) • pos(expr, pos_value) • pos_valueを含むアイテムから探索する • layered(expr, layer1) と同じで、中身は true(expr %in% pos_value)
- 37. さて… 2363 【うれしさ】 is… 重量 → 軽い CPU → 速い メモリ容量 → 多い ストレージ → 大きいSSD 厚さ → 薄い 価格 → 安い 【preference】 is… (low(重量) * high(CPU)) & high(メモリ容量) & (true(SSD) * high(ストレージ容量)) & (low(厚さ) | low(価格))
- 39. 参考 • 伊庭 斉志 『人工知能の創発 知能の進化とシミュレーション』 • http://shop.ohmsha.co.jp/shopdetail/000000004976/ • rPef package： Database Preferences and Skyline Computation in R • http://www.p-roocks.de/rpref/index.php • https://journal.r-project.org/archive/2016-2/roocks.pdf • 多目的遺伝的アルゴリズム • http://mikilab.doshisha.ac.jp/dia/research/mop_ga/top-page.html • スカイライン演算を用いたユーザ嗜好を考慮した情報推薦のランキング手法の提案 • http://db-event.jpn.org/deim2015/paper/240.pdf