CycleGANで顔写真をアニメ調に変換する
•
3 likes•4,472 views
アカウント無pdf DL: https://speakerdeck.com/meow_noisy/cyclegan-selfie2anime 2019年11月13日(水)にコワーキングスペース秋葉原Weeybleにて開催された『機械学習 & Pythonもくもく会 + LT』でLTとして発表した資料です。 https://weeyble-data.connpass.com/event/155143/
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
CycleGANで顔写真をアニメ調に変換する
- 1. CycleGANで顔写真を アニメ調に変換する取り組み 機械学習 & Pythonもくもく会 + LT@秋葉原Weeyble meow (id: meow_noisy) 2019/11/13(水)
- 3. おしながき GAN, CycleGANとは 公式CycleGANの使い方 CycleGANを用いたselfie2anime 取り組み1: とりあえずやってみた編 取り組み2: データを増やした編 取り組み3: むりやり特定画像に特化させた編 今後の取り組み
- 9. pix2pixの制約 pix2pixを使った画像変換を行うためには、ピクセル同士の 対応が必要 下図はGoogle Mapsの航空画像とGoogle Maps地図
- 10. pix2pixの応用可能性 一方の変換は楽に行えるが、その逆は難しいという時に 強力。復元過程をモデルが学習できる可能性がある タスク例 処理 入力画像 出力(生成)画像 デノイジング ノイズを付与 ノイズをまぶした 画像 元の画像 (線画)彩色 カラー → グレー (or2値) グレー(or2値)の 画像 元の(カラー)画像 超解像 画像の解像度を落 とす 解像度を落とした 画像 元の画像 画像A 画像B 処理 簡単😄 復元 困難💀 画像Aから画像Bをつくるだけで、 画像B→画像Aへの復元過程を獲得できるかも・・・!
- 13. [補足] CycleGANのloss Generatorの学習の際に、cycle-consistency lossを導入し、 変換した画像をもう一回逆変換させて、元の画像に戻す能 力を獲得するようにしていることが特徴 https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix/blob/master/models/cycle_gan_model.py 図は元論文のもの https://arxiv.org/pdf/1703.10593.pdf
- 14. 公式CycleGANの使い方
- 15. 必要なもの Linux マシン GPU(グラフィックボード)必須 Video RAMは最低限4GBはほしい Deep Learning 開発環境、ライブラリのインストール CUDA CuDNN 変換元、変換先の画像 変換元の画像を1つのディレクトリにまとめておく 変換先の画像を1つのディレクトリにまとめておく お金 Deep Learningは電気代との相談 おそらくGoogle Colaboratoryでもできると思うが未確認
- 16. セットアップ 必要なら、pythonの仮想環境を作る githubから公式のCycle GANリポジトリをクローン https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix pythonパッケージをインストール $ pip install –r requirements.txt 自分のCUDAバージョンによっては、最新のPyTorchが入らないこ ともある。だめだったら、torch==1.0.1にしてみる
- 17. コードの微修正 ${repo_root}/data/image_folder.py 画像ディレクトリへのシンボリックリンクが使えるようにする 25行目のassert文をコメントアウトする 27行目のos.walk()のオプション引数に”followlinks=True”を追加
- 18. 画像の配置 ${repo_root}/dataset/<データセット名>/ 変換元の画像ディレクトリをtrainAという名前にする シンボリックリンクでもよい サブディレクトリがあってもよい 現行のコードはディレクトリ名に敏感なのでtrainAという名前は固定 同じく変換先の画像ディレクトリもtrainBという名前にする AとBが逆につけてしまっても大丈夫 A→Bだけでなく、B→Aの変換のネットワークも学習してくれる 画像がないなら、とりあえずgoogle mapsの画像を落としてこよ う $ bash ${repo_root}/datasets/download_cyclegan_dataset.sh maps
- 19. 学習の実行 $ python ${repo_root}/train.py ¥ --dataroot ./datasets/<dataset_name> ¥ --name <任意のmodelの名前> ¥ --model cycle_gan 中間結果はhttp://localhost:8097で見れる lossは上下するので、学習の収束の判断基準にならない 一定iter(デフォルトは5,000)の後、モデルのスナップショッ トが、 ${repo_root}/checkpoints/<任意のmodelの名前>下に 吐かれる スナップショットを得た後、学習を中断し、再開したい場合は “—continue_train”をオプションにつける
- 20. 学習時のその他のオプション マシンに複数個のGPUを指しているならデータ並列の分散 学習も可能 使用GPUとバッチサイズを増やすオプションをつければ 自動的に分散学習してくれる --gpu_ids=0,1,... --batch_size=2 デフォルトでは1。Video RAM4GBあたり1枚増やせる感じ。
- 21. 評価の実行 ${repo_root}/dataset/<データセット名>/testA ディレク トリを作る $ python ${repo_root}/test.py ¥ --dataroot ./datasets/<dataset_name> ¥ --name <任意のmodelの名前> ¥ --model cycle_gan 結果はHTMLファイルで吐かれる ${repo_root}/results/<任意のmodelの名前>/test_latest/index.html real_A: 変換元の画像 fake_B: real_Aを変換した画像 rec_A: fake_Bをさらに、変換元になる変換をしたあとの画像 基本的にはreak_Aとほぼ一致しているはず
- 23. selfie2animeとは 顔写真をアニメ調に変換してくれるWebアプリの名前 https://selfie2anime.com/ 無料。 ただし、本スライドでは、この変換技術自体を、 selfie2animeと呼ぶことにする
- 25. 先行事例 CycleGANの事例はすでに報告がある(ただし失敗とのこと) CycleGANはテクスチャの変換はできるが、物体のデフォルメは難しい https://www.youtube.com/watch?v=UDT_2lHv8o8
- 26. 取り組み1: とりあえずやってみた編 何はともあれ追試のような形でCycleGANで画像変換を やってみよう selfie画像: CelebA dataset http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html CUHKのmmlabが提供する顔画像データセット 合計約200,000枚ある Celebというだけあって、名の通った人(習近平主席など)が混ざっ ているので取り扱いには注意 アニメ画像: animeface-character-dataset http://www.nurs.or.jp/~nagadomi/animeface-character-dataset/ 約200名のアニメキャラクターの画像 合計約15,000枚ある
- 27. 結果① 1epochだけ fake_Bが、確かにテクスチャは変わってる気がするが、大きな変 化はなし rec_Aの復元度合いが悪いのでepochが足りないのかと 思い、もう2epoch回したが進展なし
- 29. 取り組み2: データを増やした編 データセットに偏り selfie側が20万、anime側が1.5万 anime側のデータセットを増やしたい 1からアニメ画像を用意するのは大変 → 自動生成されたアニメ画像で代用しよう
- 30. TWDNEv2 “This Waifu Does Not Exist v2” https://www.thiswaifudoesnotexist.net/ Style GANで存在しないアニメキャラクターを自動生成 したものの展示サイト 15秒おきに画像が更新される
- 31. TWDNEv2からの画像の取得 zipのリンクはuploader側に消されていた htmlを見るに、ファイルが連番になっているので、インク リメンタルにファイルをダウンロードした 合計175,000枚をダウンロードした ダウンロード間隔を2.5秒開けたので数日かかった
- 32. 取り組み2におけるモデル学習 anime側にTWDNEv2を混ぜる また、12.5epoch回した 部屋がデフォルト暖房状態になった 翌月の電気代も500円くらい上がった気がする
- 34. CelebA datasetに対する結果 理想に近い結果が出ている。輪郭に沿ってパーツが変化。 テクスチャしか変換できないというわけではなさそう
- 35. 自分に対しての結果 again train画像の埋め込みっぽさはなくなった 面白みが薄れた
- 37. 取り組み3: むりやり特定画像に特化させた編 lenna画像でうまく行かない原因と考えられること lenna画像とCelebA datasetのテクスチャが違うのでは → lenna画像だけをtrainAにしたディレクトリをつくり、 lenna画像に特化したGeneratorを学習しよう trainA
- 39. 今後の取り組み 顔のパーツが消える問題に対処したい 顔のパーツ検出器を間に挟んで、検出できなかったらlossを大きく する、的なことを考えている テクスチャ依存(?)問題 CelebAというドメインを学習してしまっているのだろうが、 どうすればいいかわかっていない いずれ取り組みたい
- 41. まとめ CycleGANの理論、実践について説明した CycleGANはお手軽でかつ面白い結果が出る可能性があるので オススメ CycleGANでselfie2animeする取り組みを説明した なんとかlennaの変換に成功 もう少し安定して結果を出せるようにしたい 興味ドリブン開発はいいぞ!
- 42. 参考文献 敵対的生成ネットワーク（GAN）/ ⽚岡 裕雄 https://www.slideshare.net/cvpaperchallenge/gan-133159239 GANのまとめスライド PyTorchニューラルネットワーク 実装ハンドブック https://www.shuwasystem.co.jp/book/9784798055473.html