TryOnDiffusion: A Tale of Two UNets¶
CVPR(2023), 11 citation
한 줄 요약
Cross attention으로 통신하는 두 UNet(Parallel-UNet)이 garment warp와 person blend를 한 번에 수행해, 큰 가려짐·pose·체형 변화에도 의상 디테일을 보존하는 1024×1024 try-on을 만든다.
Core Idea: "Virtual Try-On using Parallel U-Net"
| 흐름 | 내용 |
|---|---|
| 문제 | 대부분의 시착 방법은 자세·체형 변화가 작을 때만 잘 되고, warping과 blending을 분리하거나 latent 최적화(TryOnGAN)에 의존해 의복 세부 정보를 잃는다 |
| 아이디어 | 여러 피라미드 레벨의 cross attention으로 암시적 warping을 하는 Parallel-UNet 기반 128/256 diffusion + super-resolution diffusion으로 \(1024 \times 1024\) 생성, 400만 쌍으로 학습 |
| 결과 | 같은 4M 데이터로 재학습한 TryOnGAN, SDAFN, HR-VITON과 FID·KID 및 정성 비교에서 SOTA |

Figure 1. 큰 체형·pose 변화에도 의상 디테일을 보존한 1024×1024 try-on 결과
1. 문제 정의 — 왜 이 논문이 필요한가¶
-
가상 의상 시착 task 를 해결하고자 한다.
- 가상 시착은 온라인 쇼핑 경험을 향상시킬 수 있는 잠재력이 있지만 대부분의 시착 방법은 신체 자세와 모양 변화가 적을 때만 효과가 좋다. 핵심 문제는 의상 패턴과 질감에 왜곡을 도입하지 않으면서 타겟 체형에 맞게 의상을 입히는 것이다.
-
본 논문에서는 \(1024 \times 1024\) 해상도에서 의상 디테일을 유지하면서 큰 가려짐, 포즈 변경, 체형 변경을 처리할 수 있는 TryOnDiffusion 을 제안한다.
- Target 인물 이미지와 다른 사람이 착용한 의상 이미지를 입력으로 사용하며 의상을 입은 target 인물을 출력으로 합성한다.
- 의상은 신체 부위나 다른 의상에 의해 부분적으로 가려질 수 있으며, 상당한 변형이 필요하다. 본 논문의 방법은 \(400\) 만 쌍의 이미지로 학습된다. 각 쌍에는 같은 옷을 입은 사람이 있지만 다른 포즈로 나타난다.
-
TryOnDiffusion 은 cross attention 을 통해 통신하는 두 개의 하위 UNet 으로 구성된 parallel-UNet 이라는 새로운 architecture 를 기반으로 작동한다.
- Garment warp (의복 왜곡) & person blend 는 별도의 작업이 아닌 통합된 process 의 일부이다.
- 타겟 인물과 원본 의상 사이의 암시적 의복 왜곡은 장거리 대응을 설정할 수있는 여러 피라미드 레벨에서 feature 에 대한 cross attention 을 통해 달성된다.
- 장거리 대응은 특히 심한 가려짐과 극단적인 포즈 차이에서 잘 수행된다.
- 또한 동일한 네트워크를 사용하여 워핑과 블렌딩을 수행하면 두 프로세스가 pixel level 이 아닌, feature level 에서 정보를 교환할 수 있으며 이는 perceptual loss 와 style loss 에 필수적이다.
2. 사전 지식¶
-
Image-Based Virtual Try-On.
- 주어진 두 이미지 (대상 인물, 원본 의복) 쌍으로부터 대상 인물이 원본 의복을 입은 모습을 생성한다. 대부분의 방법들은 시착 작업을 두 단계로 분해한다.
- A warping model and a blending model.
- E.g., VITON, ClothFlow, VITON-HD, HR-VITON, SDAFN
- E.g., TryOnGAN, StyleGAN2: 잠재 공간에서 최적화를 실행하기에 의복 세부 정보를 잃게 된다. 이는 의복에 패턴이나 포켓과 같은 세부 정보가 있는 경우에 더욱 명백해진다.
- 주어진 두 이미지 (대상 인물, 원본 의복) 쌍으로부터 대상 인물이 원본 의복을 입은 모습을 생성한다. 대부분의 방법들은 시착 작업을 두 단계로 분해한다.
-
본 논문에서는 암시적 왜곡과 블렌딩을 단일 네트워크 path 에서 수행하는 새로운 모델 구조를 제안한다.
- Heavy occlusions 과 다양한 몸의 포즈 및 형태에도 불구하고 의복의 세부 정보를 보존할 수 있다.
3. 방법¶
-
구체적으로, parallel-UNet 기반 diffusion 은 \(128 \times 128\), \(256 \times 256\) 해상도에 사용되고, 그 output 을 super-resolution diffusion network 에 입력으로 넣어 최종적으로 \(1024 \times 1024\) 이미지를 생성한다.
-
사람 \(p\) 의 이미지 \(I_p\) 와 의상 \(g\) 를 입은 다른 사람의 이미지 \(I_g\) 가 주어지면 의상 \(g\) 를 입은 사람 \(p\) 의 시착 결과 \(I_{tr}\)를 생성한다.
- 학습 과정: \(I_p\) 와 \(I_g\) 는 같은 사람이 같은 옷을 입고 있지만, 포즈가 다른 이미지 쌍에 대해서 학습
- 추론 과정: \(I_p\) 와 \(I_g\) 는 서로 다른 옷을 입고 서로 다른 포즈를 취하는 두 사람의 이미지로 설정된다.
4. 실험¶
Dataset¶
- Pre-trained model 을 이용하는 것이 아니기에, train dataset 이 많이 필요하다.
- \(4\) Million sample 을 학습 데이터로 활용
- Pair (same person wearing the same garment in two different poses)
- Test: \(6\) K unpaired samples
- Different people wearing different garments under different poses
Implementation details¶
- Batch size: \(256\)
- Iter: \(500\) K
- Adam Optimizer
- LR: linearly increase from \(0\) to \(10^{-4}\)
- Classifier-free guidance: \(10\) % uncond prob
- Base diffusion model: \(256\) steps using DDPM,
- SR diffusion model : \(128 \times 128 \rightarrow 256 \times 256\), \(128\) steps using DDPM
- Final SR diffusion model: \(256 \times 256 \rightarrow 1024 \times 1024\), \(32\) steps using DDIM
- T: \(U([0,1])\)
Comparison methods¶
- TryOnGAN, SDAFN, HR-VITON
- Fair comparison 을 위해, 위의 \(3\) 개의 method 들을 \(4\) Million sample 로 re-train
- Resolution 도 다르다. 각 방법들의 resolution 으로 결과를 낸다.
- SDAFN: \(256 \times 256\)
- TryOnGAN: \(512 \times 512\)
- HR-VITON \(1024 \times 1024\)
Metric¶
- FID, KID
5. 정리¶
- Limitation
- 정체성의 일부만 보존될 수 있다.
- E.g., 문신이 보이지 않거나 특정 근육 구조가 보이지 않는다.
- 훈련 데이터 셋이 대부분 깨끗하고 균일한 배경이 존재하므로 더 복잡한 배경에서 이 방법이 어떻게 수행될지 모른다.
- 상반신 의류에만 집중했으며 전체 body 에 대한 시도는 실험하지 않았다.
- 정체성의 일부만 보존될 수 있다.