HR-VITON: High-Resolution Virtual Try-On with Misalignment and Occlusion-Handled Conditions¶
ECCV(2022), 46 citation
한 줄 요약
Warping과 segmentation 생성을 feature fusion block으로 하나의 try-on condition generator에 통합하고, discriminator rejection으로 잘못된 segmentation을 걸러 고해상도 try-on의 misalignment·pixel-squeezing artifact를 없앤다.
Core Idea: "Introduce Feature Fusion Block and Discriminator Rejection to Solve Artifacts for Misalignment and Pixel-Squeeze in High-Resolution Synthesis"
| 흐름 | 내용 |
|---|---|
| 문제 | VITON-HD 같은 고해상도 try-on은 warping과 segmentation 모듈이 정보 교환 없이 따로 동작해 misalignment와 occlusion에 의한 pixel-squeezing artifact가 생긴다 |
| 아이디어 | Feature fusion block으로 두 stage가 정보를 교환하는 try-on condition generator + try-on image generator, 그리고 low-quality segmentation을 거르는 discriminator rejection |
| 결과 | \(1024 \times 768\)에서 CP-VTON, ACGPN, VITON-HD 대비 misalignment·pixel-squeezing 없는 합성 (정성·정량 비교, ablation) |

Figure 1. HR-VITON 전체 구조 (try-on condition generator + try-on image generator)
1. 문제 정의 — 왜 이 논문이 필요한가¶
- VITON-HD (같은 저자들) 와의 비교를 주로 한다.
- \(1024 \times 768\) synthesis results
- Artifact in VITON-HD:
- First row: misalignment between a warped clothing image and a segmentation map
- Second row: pixel-squeezing due to the occlusion by the body parts. 즉, 사람의 몸통이 가려져 있어서 이걸 고해상도 영역에서 예측하느라 pixel-squeezing 이 일어난 것이다.
- 본 논문에선, VITON-HD 와의 비교를 하면서 misalignment & pixel-squeezing 을 다루고자 한다.
2. 사전 지식¶
- 해당 연구 이전에는 clothing image 와 person's body 를 align 하는 explicit warping module 을 사용했다.
-
더욱이, 최종 이미지의 segmentation map 을 예측함으로써 이미지 생성의 어려움을 완화했다.
- 사람의 layout 을 알려주고 생성할 영역과 보존할 영역을 구분하기 때문이다.
- Segmentation map 의 중요성은 이미지 해상도가 커질수록 증가한다.
- 따라서, warping 및 segmentation map 의 출력은 최종 생성 결과에 큰 영향을 미친다.
- 하지만, warping 및 segmentation map 생성 module 로 이루어진 virtual try-on framework 는 warping cloth 와 segmentation map 사이에 정렬되지 않은 영역, 즉 불일치가 발생한다.
- 이러한 불일치는 불일치된 영역에서 artifact 를 초래하며 특히 고해상도에서 최종 결과물의 지각적 (시각적) 품질에 큰 영향을 미친다.
- 불일치의 주요 원인은 warping module 과 segmentation map generator 가 정보 교환 없이 별도로 작동하기 때문이다.
- 특히, 몸의 일부가 의상을 가릴 때 심각하게 손상된다.
- 이러한 artifact 는 사람 이미지의 가능한 포즈를 제한하여 실제 환경에 가상 착용을 어렵게 만든다.
-
Image-based Virtual Try-On
- Cloth Deformation: clothing item 을 person's body 에 맞추기 위해, explicit warping module 에 의존한다.
- VITON & CP-VTON 은 clothing item 을 변형시키기 위해 thin plate spline (TPS) transformation 의 parameter 를 예측한다.
- Warping module 이 TPS transformation 에 기반하기 때문에 freedom 의 제약이 존재한다.
- Segmentation Generation for Try-On Synthesis
- 최근의 연구들은 image 를 생성하기 위해 target cloth 를 입고있는 사람의 segmentation map 을 활용했다.
- Segmentation map 은 appearance 와 shape 을 분리하여 모델이 공간적으로 더 일관된 결과를 생성할 수 있도록 한다. 특히, 고해상도 try-on 은 일반적으로 segmentation map generation module 을 포함하고 있는데 이미지 해상도가 커질수록 segmentation map 의 중요성이 커지기 때문이다.
- Cloth Deformation: clothing item 을 person's body 에 맞추기 위해, explicit warping module 에 의존한다.
- Rejection Sampling
- Sample 의 fidelity 를 향상시키기위해, low-quality generator output 을 거부하는 여러 연구들이 있다.
- 본 연구에서는 low-quality output 을 걸러내기 위해 discriminator 를 사용한다.
3. 방법¶
- Try-on condition generator
-
Try-on image generator
-
Pre-Processing: obtain segmentation map of the person, clothing mask, pose map
- Off-the-shelf models
4. 실험¶
- Comparison models
- CP-VTON
- ACGPN
- VITON-HD
- Misalignment: vs VITON-HD
- Occlusion: pixel-squeezing
- Ablation study
- Quantitative results
5. 정리¶
- 본 논문에서는 two stage (i.e., warping and segmentation generation stages) 를 통합했다.
- Warping 과 segmentation generation stage 정보 교환없이 독립적으로 이루어지기 때문에 앞서 말한 artifacts 가 발생했다고 가정.
- 새롭게 제안된 feature fusion block 에서 정보 교환을 구현했기에 misalignment/pixel-squeezing 이 발생하지 않는다.
- 또한, 올바르지않은 segmentation map prediction 을 걸러내는 discriminator rejection 을 제안한다.