Reference-based Image Composition with Sketch via Structure-aware Diffusion Model¶
CVPRW(2023), CVPR workshop(2023), 6 citation, 주재걸 교수님(KAIST)/Naver Webtoon, Review Data:2024.06.13
한 줄 요약
Paint-by-Example에 partial sketch를 새로운 condition으로 추가하고 inference 시 sketch plug-and-drop으로 sketch 적용 구간을 조절해서, reference image(content)와 sketch(structure)로 원하는 영역을 편집·완성한다.
Core Idea — "By Offering a Reference Image and Sketch, Users Can Edit a Scene"
| 흐름 | 내용 |
|---|---|
| 문제 | Reference image 기반 편집(Paint-by-Example)은 object-level semantic 조작은 가능하지만, 원하는 구조를 edge-level로 세밀하게 제어하기 어렵다 |
| 아이디어 | Sketch와 reference image를 함께 받는 multi-input-conditioned diffusion model로 pre-trained model을 fine-tuning하고, sketch condition의 삽입 time step을 조절하는 sketch plug-and-drop strategy 도입 |
| 결과 | Sketch guidance를 유지하면서 reference image로 원하는 영역을 완성하고, 지나치게 단순화된 sketch(e.g., 구름을 위한 직선)의 영향도 줄일 수 있다 |

Figure 1. Reference image + sketch 기반 image composition
1. 문제 정의 — 왜 이 논문이 필요한가¶
배경.
- 최근 large-scale text-to-image 생성 모델의 놀라운 발전은 high-fidelity image 를 생성한다.
- Paint-by-Example 은 textual description 으로부터 발생하는 모호함을 방지하기 위해 visual hint 를 사용하는 방법을 제안했다.
- 이러한 방법은 user 가 reference image 를 이용하여 object-level 의 semantic 을 조작할 수 있게 도와준다.
이 논문의 접근.
- 본 논문의 목적은 새로운 modal 로써 partial sketch (부분 스케치)를 통합하는 것이다.
- Sketch 는 직관적이고 효율적인 의미를 제공한다.
- Editability 와 fine-grained generation 을 가능하게 하기 위해, 본 논문은 multi-input-conditioned (i.e., sketches and reference image) image composition model 을 제안한다.
- Sketch 를 이용한 edge-level 의 controllability 덕분에 원하는 구조 (i.e., sketch) 와 content (i.e., reference image) 를 수정하거나 완성할 수 있다.
- 본 논문은 sketch guidance 를 유지하면서 reference image 를 사용하여 원하는 영역을 완성한다.
- Pre-trained diffusion model 을 fine-tuning 한다.
- Inference phase 에, Sketch plug-and-drop strategy 를 도입했다.
- 지나치게 단순화된 스케치 (e.g., 구름을 생성하기 위한 단일 직선)가 미치는 영향을 줄이고, 다양한 유형의 스케치를 모델이 수용할 수 있게 한다.
Note
Contributions 1. 새로운 modal 인 sketch image 를 diffusion model 에 통합시켰다. 2. Inference phase 에, Sketch plug-and-drop strategy 를 도입했다.
2. 방법¶
- PBE 와 완전 동일한 대신, sketch condition 이 input 에 추가된 꼴이다.
- Model 도 PBE model 을 사용했다.
Sketch Plug-and-Drop Strategy¶
- Free-drawn sketch 가 user 가 그린 편리한 condition 임에도 불구하고 model 입장에서는 윤곽 구조를 엄밀히 유지하는 데 어려움을 겪는다.
- 특히, 구름이나 눈 덮인 나무와 같은 배경 풍경을 생성할 때 발생하며, 이런 배경 풍경에 대한 sketch 의 경계는 모호하다.
- 이런 경우, 단순한 직선은 설명하기에 충분하지 않을 수 있지만 사용자의 부담을 줄일 수 있다.
- 이런 측면에서, 본 논문은 스케치 조건의 삽입 단계를 유연하게 조정할 수 있는 간단하면서도 효과적인 방법을 도입한다.
- Time step 을 줄이는 방법이다.
3. 실험¶
- 총 \(3\) 가지의 condition 이 존재한다.
- 두 번째 행의 두 번째 열은 기존의 PBE (only use reference image)의 결과이다.
- 두 번째 행의 세 번째 열은 text 와 sketch 를 조건으로 생성한 결과이다.
- 두 번째 행의 네 번째 열은 reference image + sketch 로 생성한 결과이다.
- 대충 그린 sketch 에 큰 영향을 받지 않게끔 조정하는 방법이다.
- \(100\) 에 가까울수록 영향을 많이 받는다는 얘기가 된다.
- 이 경우, user 는 하늘에 구름을 더하는 걸 원한다. 하지만 sketch guidance 는 직선으로 되어있기에 detail 한 구름의 경계선을 표현하기에는 부적절하다.
참고¶
- Paper · 관련 리뷰: Paint by Example