論文の情報
- TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation
- 論文リンク: https://arxiv.org/abs/2003.02819
- 被引用数(2021年3月15日時点): 40
- 採択日: 21 Apr 2019 UTC
- プロジェクトページ: https://wywu.github.io/projects/TGaGa/TGaGa.html
簡単なメモ
CycleGANなどの従来の手法は、猫⇔人間などの大きな幾何学的変化を伴うドメイン変換のimage2imageタスクは達成できていなかった。提案手法では入力画像をgeometry(向き)とappearance(形状)に分け、それぞれ潜在変数に落とし、さらにそれぞれに変換器を用意することでタスクを達成している。アーキテクチャは以下の図(論文より)。
geometryはヒートマップを用いて表現されている。このヒートマップをきちんと実現するための損失関数が導入されている。
さいごに
アーキテクチャや損失関数の自分なりの詳細な解説はこちらに書かせていただいたので興味のある方は是非。
