論文の情報
- Spatially-Adaptive Pixelwise Networks for Fast Image Translation
- 論文リンク: https://arxiv.org/abs/2012.02992
- 被引用数(2021年11月時点): 3
- 採択日: 5 Dec 2020
- リンク:https://ai-scholar.tech/articles/image2image/ASAPNet
まとめ
CycleGANなどのある画像を別のドメインへ変換する技術はGANに関する研究の中でも活発に行われている分野の一つである。生成画像の品質や制度の向上と引き換えにモデルのサイズが大きくなり、計算量が膨大となる。本論文で提案されたASAP-Net(A Spartially-Adaptive Pixcelwise Network)はFigure 1のように既存手法と比較して性能をそのままに大幅に実行時間を減らすことに成功した。
手法の詳細は記事に示す通りであるが簡単に述べると高解像度の画像マップをダウンサンプリングすることによって低解像度で解釈を行う。その後各ピクセルごとのMLPを導入することで計算量を削減している。
感想
ピクセル単位でMLPを用いることは画像生成等において良い性能を出せていなかったのは有名な話だが、計算量を減らすためにピクセル単位で小さなMLPを導入するという発想が意外だった。論文を読み解説記事を書いたがこのような手法になった経緯等が筆者には難しく、なぜこのようなアーキテクチャになったかがあまりわからなかった。興味深い内容なのでまた時間があるときに読みたい。
