콘텐츠로 이동

VITON: An Image-based Virtual Try-on Network

CVPR(2018), 545 citation

한 줄 요약

3D 정보 없이, target 옷을 입힌 coarse 이미지를 먼저 만들고 TPS로 warping한 옷과 refinement network로 합성해 옷의 detail을 살리는 image-based virtual try-on.

Core Idea: "Improve Coarse Synthesis Image via Refinement Network"

흐름 내용
문제 3D 정보 없이 이미지만으로 옷을 입히면, encoder-decoder 결과가 pose·body·identity는 보존하지만 text, logo, texture 등 detail을 생성하지 못한다
아이디어 Pose heatmap·body shape·face/hair로 만든 person representation으로 coarse 이미지와 clothing mask를 생성하고, shape context matching 기반 TPS로 warp한 옷을 composition mask로 합성하는 refinement network
결과 새로 제안한 Zalando dataset에서 정성·정량 비교와 COCO in-the-wild 결과 제시 (neck line 등의 결함은 남음)


Figure 1. VITON의 virtual try-on 결과


1. 방법

  • 본 논문에서는, \(3\) D 정보 없이, image-based virtual try-on network 를 제안한다.
    • \(2\) -step 으로 나뉘는데
    • \(1\) step: 같은 포즈의 같은 사람에 대해 target clothing item 을 overlaid 하는 coarse synthesized image 를 만든다.
    • \(2\) step: Refinement network 로 initial blurry clothing area 를 강화한다.

  • 먼저 Person Representation \(P\) 를 만드는 방법을 알아보자
    • Reference image \(I\) 에서 Pose map, Body shape, Face and hair 를 추출한다.
    • Pose heatmap
        1. State-of-the-art pose estimator 를 사용하여 pose information 을 추출한다.
        2. Using Realtime multi-person 2d pose estimation using part affinity fields. In CVPR,2017
        1. \(18\) keypoints coordinates 를 가지는데, 각 key-point 의 \(11 \times 11\) neighborhood 는 \(1\) (white) 로 채우고 나머지는 \(0\) 으로 채운다. 즉, 최종 차원은 다음과 같다. { \(0,1\) } \(\in R^{h \times w \times 18}\)
    • Human body representation
        1. State-of-the-art human parser 를 사용하여 human segmentation map 을 추출한다.
        2. 팔이나 다리는 다른 segmentation 으로 표현이 되는데 본 논문에서는 \(1\) channel 을 가지는 binary mask 로 만든다.
        3. Body shape 과 target clothing 이 맞지 않을 때의 artifacts 를 피하기 위해서 \(16 \times 12\) 로 downsampling 된다. 즉, { \(0,1\) } \(\in R^{16 \times 12 \times 1}\)
        4. Using Look into person: Self-supervised structure-sensitive learning and a new benchmark for human parsing. In CVPR, 2017.
    • Face and hair segment
      • Person 의 identity 를 유지하기 위해 사용된다. (e.g., skin color, hair style, etc.)
        1. Human body representation 에서 사용한 model 을 통해 RGB channel 의 face & hair region 뽑아낸다. 즉, \(R^{h \times w \times 3}\)
    • 마지막으로 방금 뽑은 \(3\) 개의 feature map 을 같은 해상도로 resize 하고 concatenate 한다.
    • 최종 차원은 다음과 같다. \(p \in R^{m \times n \times k}\) (\(m = 256, n =192, k =22\))

  • 다음은, Multi-task Encoder-Decoder Generator 이다.
    • Person representation \(P\) 와 target clothing image \(c\) 가 주어졌을 때, Coarse synthesized image 와 clothing mask \(\in R^{m \times n \times 4}\) 를 만든다.
    • U-Net 구조이다.
    • Binary mask 간의 \(L_1\) loss 를 사용한다.
      • Color 가 아닌 binary 이기 때문에 형체만 복원할 수 있다.
      • \(L_1\) loss 는 blurry image 를 만드는 경향이 있다.
    • 생성된 이미지 \(I\)' 와 실제 이미지 \(I\) 간의 perceptual loss
      • \(\phi_i(y)\): ImageNet 으로 pre-trained 된 VGG \(19\) 에 image \(y\) 를 input 으로 넣었을 때의, \(i\)-th layer 의 feature map
      • Utilize 'conv1_2', 'conv2_2', 'conv3_2', 'conv4_2', 'conv5_2'
      • Perceptual loss 를 통해 ground truth image RGB value 와 activation 값이 같게 함으로써 realistic pattern 을 학습시키고자 했다.
    • 생성된 이미지는 pose, body parts, identity in the original image 는 보존하지만, text, logo, texture 등의 detail 은 생성하지 못했다.
    • 본 논문에서는 current state-of-the-art generator 능력의 한계라고 보고 있다. 따라서, 추가적으로 coarse result \(I\)' 을 향상시키기 위해 refinement network 를 사용한다.

  • Refinement Network
    • Warped clothing item: shape context matching 을 활용하는 thin plate spline (TPS) transformation 을 예측함으로써, clothing item 을 warp 한다. \(c\)' 생성.
      • 이때의 TPS 는 matlab code 로 구현되어 있다. (+ hand-crafted feature)
    • \(c\)' 과 \(I\)' 을 입력으로 refinement network 에 넣었을 때, 합성된 이미지 \(I\)' 에 \(c\)' 을 clothing region 과 완벽하게 결합하고, 몸 앞에 팔이나 머리가 있는 경우에도 occlusion 을 적절하게 처리하는 것을 기대한다.
    • Output: \(1\) -channel composition mask \(\alpha \in (0,1)^{m \times n}\)
      • \(c\)' 과 \(I\)' 에서 얼마나 많은 정보가 사용되는 지를 나타낸다.
      • 최종적으로는 둘의 composition 으로 표현된다.
      • Using sigmoid activation function
    • Loss
        1. \(L_{perc}\): perceptual loss
        2. \(\phi\): VGG \(19\) 의 'conv3_2', 'conv4_2', 'conv5_2' 를 사용한다.
        3. VGG 앞단은 image 의 내용보다는 디테일한 pixel-level 의 정보에 더 관심을 가지므로 \(I\) 와 \(I\)' 의 작은 이동에도 lower layer ('conv1' and 'conv2') 에서는 불일치를 일으킬 수 있다. 따라서 큰 VGG \(19\) 의 앞 단을 사용하지 않는다.
        1. \(L_1\): refinement network 가 warping clothing image 로부터 더 많은 정보를 활용하고 더 많은 detail 을 rendering 하도록 장려한다.
        1. Total-variation (TV): 공간적으로 부드럽게 만들어주어, 변형된 영역에서 거친 결과로의 전환이 더 자연스러워 보이도록 한다.

2. 실험

Dataset

  • Zalando dataset: 본 논문에서 새롭게 제안한 dataset 이다. \(256 \times 192\) 해상도를 가진다.
    • \(16,253\): \(14,221/2,032\)

Training setup

  • Adam optimizer with \(\beta_1 = 0.5, \beta_2 = 0.999\)
  • Fixed LR: \(0.0002\)
  • Encoder-decoder/Refinement network: \(15\) K/ \(6\) K steps with a batch size \(16\)
  • Resolution: \(256 \times 192\)
  • \(\lambda_{warp} = 0.1, \lambda_{TV} = 5e-6\)

  • Ablation study

    • Importance of pose, body shape

  • Wild results
    • COCO datasets by cropping human body regions

  • Quantitative eval

  • Qualitative comparisons
    • 본 논문의 method 도 Neck line 의 결함이 있다.

3. 정리

Limitation

  • Original clothing shape 에 따라, cloth detail 이 손실된다.
    • E.g., neck line, arm line
    • 간단한 FCN (Fully convolutional network) model 을 활용하여 제거할 수도 있다. (\(2,000\) 개의 이미지에 대해 주석을 달아서 학습)
    • 하지만, 공정한 비교를 위해 이러한 세분화 전처리 단계 없이 결과를 도출했다.

  • 흔하지 않은 pose 나 target clothing shape 이 original clothing shape 가 크게 다르면 실패한다.

참고