Diffusion-Enhanced PatchMatch: A Framework for Arbitrary Style Transfer with Diffusion Models¶
CVPRW(2023)
한 줄 요약
Stable Diffusion의 latent space에서 patch 기반 기법과 whitening and coloring transform(WCT)을 사용해, fine-tuning이나 pre-training 없이 inference 시에 임의의 스타일을 전송한다 (DEPM).
Core Idea: "Style Transfer using Diffusion Model without Any Training"
| 흐름 | 내용 |
|---|---|
| 문제 | 단어로 style을 표현하는 것은 어렵고, 기존 style transfer는 optimization이나 network training이 필요하다 |
| 아이디어 | Stable Diffusion의 latent space에서 patch-based technique과 whitening and coloring transformation을 활용 |
| 결과 | 학습 없이 arbitrary style transfer가 가능하고, input image의 content detail을 보존하면서 color transformation 관점에서 우수한 성능을 보인다 |

Figure 1. DEPM 개요
1. 문제 정의 — 왜 이 논문이 필요한가¶
- Diffusion model 은 text-to-image synthesis 부터 image restoration, image enhancement, image compression, image inpainting 등 다양한 task 를 수행할 수 있다.
- 하지만, 단어로 style 을 표현하는 것은 어려운 과제이다.
- 본 논문에서는 Stable Diffusion 을 활용하여 어떤 finetuning 이나 pre-training 없이 style transfer 를 하는 Diffusion-Enhanced PatchMatch(DEPM) 를 제안한다.
- 즉, inference 시에 임의의 스타일을 전송할 수 있다.
2. 사전 지식¶
-
Style transfer technique 은 3 가지 type 으로 분류할 수 있다.
- Optimization-based
- A neural algorithm of artistic style(2015)
- Arbitrary style transfer in real-time with adaptive instance normalization(2017)
- Neural network training-based
- Perceptual losses for real-time style transfer and super-resolution(2016)
- A style-aware content loss for real-time hd style transfer(2018)
- Arbitrary image style transfer
- Fast patch-based style transfer of arbitrary style(2016)
- Universal style transfer via feature transforms(2017)
- Optimization-based
-
DEPM 은 훈련이 필요하지 않고 임의의 스타일을 전송하는 더 유연하고 효율적인 해결책을 제공하려는 \(3\) 번째 범주에 속한다. (Arbitrary image style transfer)
3. 방법¶
- Whitening and Coloring Transform(WCT)
4. 실험¶
5. 정리¶
- Utilize Patch-based techniques with whitening and coloring transformations in latent space
- Input image 의 content detail 을 보존하면서 color transformation 관점에서 우수한 성능을 보여준다.
- 어떤 학습 없이 arbitrary style transfer 가 가능하다.
참고¶
- Paper · 관련 리뷰: Image Style Transfer