콘텐츠로 이동

Diffuse to Choose: Enriching Image Conditioned Inpainting in Latent Diffusion Models for Virtual Try-All

arXiv(2024), 0 citation, Amazon

한 줄 요약

Reference 이미지를 마스크 영역에 넣은 hint signal을 별도 U-Net encoder와 FiLM으로 main U-Net에 주입하고 perceptual loss를 더해, 상품 디테일을 보존하는 zero-shot image-conditioned inpainting(virtual try-all).

Core Idea: "Generate Hint Signal"

흐름 내용
문제 Paint-by-Example은 [CLS] token만 써서 information bottleneck으로 세부 정보를 잃고, DreamPaint 같은 few-shot personalization은 실시간 적용에 맞지 않는다
아이디어 Hint signal → trainable U-Net encoder → FiLM으로 decoder에 주입, DINOv2 patch 전체를 condition으로, VGG perceptual loss로 색상 등 기본 특성 정렬
결과 내부 데이터셋과 VITON-HD-NoFace에서 zero-shot inpainting 방법들과 DreamPaint보다 우수


Figure 1. 임의의 e-commerce 상품을 원하는 장면에 배치한 DTC 결과


1. 문제 정의 — 왜 이 논문이 필요한가

  • Image-based VITON 이자 diffusion-based image-conditioned inpainting model 을 제안한다.
    • Reference image 의 fine-grained feature 를 latent feature map 에 직접 통합하는 것을 기반으로 한다.
    • Reference item's detail 을 더 보존하기 위해서 perceptual loss 를 함께 사용한다.
    • 내부 및 공개 데이터셋에서 광범위한 test 를 실시하고 Diffuse to Choose 가 기존의 zero-shot diffusion inpainting method 뿐만 아니라 DreamPaint 와 같은 few-shot diffusion personalization algorithms 보다 우수함을 보여준다.
      • 내부 학습 데이터와 small public dataset 인 VITON-HD-NoFace 를 사용하여 훈련했다.

2. 사전 지식

Virtual Try-On

  • DreamPaint: Dreambooth 를 이용하여 text token 에 subject 를 binding 시키고 inpainting model 을 이용하여 Virtual try-on 을 하는 method 를 제안했다.

    • Item 의 detail 을 잘 보존하지만 real-time application 에 최적화되어있지 않다.
  • Paint by Example 은 zero-shot setting 에서 작동하며 in-the-wild image 도 처리할 수 있다. 그러나 reference image 의 [CLS] token 만을 활용하는 conditioning process 에서 information bottleneck 이 발생합니다.

    • 이 제약으로 인해, reference image 의 일반화가 지나치게 이루어지며, 필수적인 세밀한 세부 정보를 유지할 수 있는 모델의 능력이 저하됩니다.
  • VITON: Two-step (synthesis and refinement process), 초기에 생성된 coarse image 와 desired clothing 을 이용하여 detail 을 강화시키기 위해 refine 한다.

  • VITON-HD: higher-resolution image 에 초점을 맞췄고 misaligned parts 를 정렬시키기 위해 alignment-aware segment normalization 를 사용한다.
  • TryOnGAN: pose conditioning 을 사용하지만 purely latent model 에 의존하여 의류를 표현할 때 종종 세세한 세부 사항이 부족하다.
  • TryOnDiffusion: pixel-level diffusion model 에 dual U-Net 으로 접근했다. 가상 시착에 대해서는 인상적인 성능을 제공하지만 in-the-wild example 에는 어려움을 겪고있다. 상의만 지원하며, 실시간 사용에 적합하지 않다.
  • 실제 사용 사례에서 실시간 추론을 보장하기 위해서는 latent diffusion approach 가 필요하다.

  • 본 논문에서는 ControlNet 에서 영감을 받아, 비어있는 이미지의 마스킹된 영역에 pixel-level 의 hint 를 통합하고 이후 얕은 합성곱 신경망을 통해 처리하여 차원을 일치시킨다.

  • 색상과 같은 기본적인 특성의 정렬을 더 향상시키기 위해 pre-trained VGG 모델을 사용하여 perceptual loss 를 적용한다.

  • Paint-by-Example for VITON task

3. 방법

Loss

  • \(X_s\): source image
  • \(m\): user-defined mask
  • \(z_t\): noise-added version of \(X_s\)
  • \(X_r\): reference image
  • \(m \odot X_s\): Hint
  • \(c\): embeddings of \(X_r\)

\(\textsf{Reference} \rightarrow \textsf{Image encoder}\)

  • Paint-by-Example 에서 [CLS] token 을 사용하여 \(c\) 를 만든다. 의도적으로 정보 병목 현상을 발생시키는 이유는 self-referencing 에 의존하며, 종종 복사 및 붙여넣기 artifacts 로 이어질 수 있기 때문이다.
    • 그러나, VITON 에서는 동일한 옷이지만 source 와 reference 가 동일한 구성을 가지고 있지 않기 때문에 (e.g., 같은 옷이여도 warping 되어있다. 즉, 복사 및 붙여넣기가 안된다) 정보 병목 현상을 지울 수 있다.
    • 따라서, 본 논문에서는 [CLS] token 뿐만 아니라 모든 CLIP patch 를 사용하고 더 큰 image encoder DINOV2 를 사용한다.

\(\textsf{Source} \rightarrow \textsf{Hint} \rightarrow \textsf{U-Net encoder}\)

  • Overall framework 에서는 표시되지 않았지만 실제 process 는 다음과 같이 이루어진다.
  • ControlNet 에 영감을 받아, U-Net encoder (trainable copy) 를 사용한다. 하지만, trainable copy 가 직접 기존의 U-Net decoder 에 통합되어 spatial condition (layout) 을 제공하는 것과는 달리 본 논문에서는 reference image 로부터 강력한 pixel-wise 영향을 발휘함으로써 guide 를 제공한다.
  • Hint signal 을 생성하기위해
      1. pixel value 가 \(0\) 으로 된 이미지에서 시작 (source image 와 size 는 동일, \(X_s \in \mathbb{R}^{H \times W \times 3}\))
      1. 이후에, reference image 를 삽입한다. (Hint image)
      1. 해당 마스크가 반전돼서 source image 에 적용되고 (Masked source)
      1. VAE encoder 에 의해 처리되어 \(64 \times 64 \times 4\) 의 latent representation 을 생성한다.
      1. 그 후, hint image 는 얕은 conv 로 구성된 adapter module 에 의해 처리되어 latent masked source image 와 차원을 맞춘다.
      1. 마지막으로, latent masked source image 와 element-wise add 하여 U-Net 의 encoder 에 넣어준다.

\(\textsf{U-Net encoder} \rightarrow \textsf{FiLM} \rightarrow \textsf{U-Net decoder}\)

  • Hint Encoder's output 을 main U-Net decoder 에 skip-connection 형태로 직접 추가하는 것은 종종 source image 와 공간적으로 일치하지 않는 Hint signal 로부터 뚜렷한 공간적 영향을 가져와서 부정적인 영향을 끼친다.
    • 즉, hint signal 이 제대로 된 signal 이 아닐 수 있다.
  • 따라서, 본 논문에서는 총 \(3\) 가지 방법 중에서 고민했다. (Direct addition, Feature-wise Linear Modulation (FiLM), cross attention)
    • FiLM 이 reference image 의 low-level detail 을 capture 하고 있어서 가장 효과적인 것으로 나타났다.

Hinting Strategies

  • Hint signal 의 목표는 reference image 로부터 pixel-level 의 세밀한 세부 정보를 main U-Net 으로 전달하는 것이며, 이를 달성하기 위해서 여러 가지 방법을 실험했다.
      1. Canny Edge
      1. Holistically-Nested Edge Detection (HED)
    • 를 사용하여 high-frequency detail 에 집중하는 것이다.
    • OpenCV: 임계값 \(30\) 과 \(140\) 으로 설정하여 Canny Edge
    • 조금 더 부드러운 edge 를 위해 HED 모델을 사용했다.
  • 하지만, 이런 방법들을 사용함에도 불구하고, reference image 를 직접 사용하는 것이 가장 효과적이었다.
    • Reference image 를 직접 사용하는 것은 high-frequency 정보에만 초점을 맞추는 대신 detail 의 entire spectrum 을 전달하기 때문이다.
    • 따라서, high-frequency 정보만을 전달하기 위해 사전에 filtering 을 하는 대신, FiLM layer 에서 가장 중요한 channel 을 사용하는 게 더 나은 접근법이라고 볼 수 있다.

Image Encoder

  • DINOV \(2\) 를 사용하며 이는 reference image 를 나타내기 위해 \(256 \times 1536\) 차원의 임베딩을 출력하고, 이를 학습 가능한 MLP layer 에 의해 \(256 \times 768\) 로 축소한다.

Refinement Loss

  • Pre-trained VGGNet 을 통해 perceptual loss 를 사용한다.
  • 이는 첫 다섯 레이어의 feature map 을 source 및 generated image 에 대해 비교하여 계산한다.
  • 이를 통해 색상과 같은 기본적인 특성의 align 을 암묵적으로 보장한다.

4. 실험

  • 내부 데이터셋/VITONHD-NoFace
  • SD V \(1.5\)
  • Image resolution: \(512 \times 512\)
  • LR: \(1e-5\)
  • Train using DDPM sampler
  • Simple Augmentation: rotation and flip (Paint-by-Example 과 같은 strong augmentation 은 사용하지 않음)
    • Self-referencing 이 아니기 때문에 강력한 augmentation 을 사용할 필요가 없다.
  • Inference: guidance \(5\), DDIM sampler
  • Epoch: \(40\), \(8\) 개의 NVIDIA A \(100\) \(40\) G GPU

  • VS Paint-by-Example Variants on VITONHD-NoFace

    • CLIP token 을 모두 쓰고
    • Image encoder 를 더 크게
    • Perceptual loss 를 사용하면 성능이 더 좋다.

5. 정리

Limitation

  • detail info 를 주입하려는 노력에도 불구하고, 모델은 여전히 세밀한 세부 사항을 간과할 수 있다.
    • 특히 옷에 있는 text 를 반영하지 못하는 건 Stable Diffusion 에 내재된 문제라고 볼 수 있다.
    • 또한 모델은 자세를 고려하지 않기 때문에 인간의 자세가 변경될 수 있으며, 이는 자세에 중립적인 마스킹과 특히 전신을 포함하는 경우에 불일치를 초래할 수 있다.
    • Pose conditioning 을 도입하여 이를 완화할 수 있지만, 본 논문은 virtual try-all 이기 때문에 더 넓은 적용 가능성을 위해 task-specific auxiliary input 보다 일반적인 목적을 우선시했다.

  • Garment-Only mask: 의류만 masking 을 했을 땐 괜찮은데
  • Pose Agnostic mask: 몸 전체를 가려버리면 pose conditioning 이 없어서 제어할 수 없다.

참고