콘텐츠로 이동

Inversion-based Style Transfer with Diffusion Models

CVPR(2023), 29 citation

한 줄 요약

한 장의 그림에서 artistic style을 textual description \([C]\)로 학습(inversion)하고, 이를 content image의 inversion과 함께 써서 복잡한 텍스트 설명 없이 그 style로 이미지를 합성한다 (INST).

흐름 내용
문제 예술 작품의 독특한 style은 일반 언어로 충분히 설명할 수 없다
아이디어 Inversion-based style transfer method(INST): single painting의 artistic style을 textual description \([C]\)로 학습하고, inference 시 \([C]\)와 content image의 inversion으로 생성
결과 복잡한 텍스트 설명을 제공하지 않고도 single painting에서 학습한 artistic style로 이미지를 합성한다


Figure 1. INST 개요


1. 문제 정의 — 왜 이 논문이 필요한가

  • Art work(예술 작품) 의 독특함은 일반 언어로 충분히 설명할 수 없다.
  • 본 논문의 핵심 아이디어는 artistic style 을 single painting 에서 학습하고 복잡한 텍스트 설명을 제공하지 않고도 합성하는 것이다.
  • 구체적으로는 그림의 artistic style 을 학습하는 inversion-based style transfer method(INST) 를 제안한다.

2. 사전 지식

  • text guided stylization:
    • StyleGAN-NADA: CLIP-guided domain adaptation of image generators
    • Language-driven artistic style transfer
    • StyleCLIP: Text-driven manipulation of stylegan imagery
    • CLIPstyler: Image style transfer with a single text condition
  • style transfer
    • ArtFlow: Unbiased image style transfer via reversible neural flows
    • Arbitrary style transfer via multi-adaptation network
    • Image style transfer using convolutional neural networks
    • AdaAttN: Revisit attention mechanism in arbitrary neural style transfer
    • Style-Former: Real-time arbitrary style transfer via parametric style composition
    • Domain enhanced arbitrary image style transfer via contrastive learning
  • Diffusion-based method
    • Diffusion models beat GANs on image synthesis
    • Draw your art dream: Diverse digital art synthesis with multimodal guided diffusion
    • DiffStyler: Controllable dual diffusion for text-driven image stylization
    • Imagic: Text-based real image editing with diffusion models
    • GLIDE: Towards photorealistic image generation and editing with text-guided diffusion model

3. 방법

  • Textual description \([C]\) 학습
  • Inference 시에, \([C]\) 와 content image 의 inversion 을 통해 생성

4. 실험

참고