Diffusion Posterior Sampling for General Noisy Inverse Problems¶
ICLR(2023), 752 citation, KAIST, Review Data: 2025.04.10
한 줄 요약
Measurement consistency를 강제로 projection하지 않고 diffusion sampling에 manifold constrained gradient를 결합한 posterior sampling으로, 잡음이 있는 일반적인 (비)선형 역문제를 푼다.
| 흐름 | 내용 |
|---|---|
| 문제 | 기존 diffusion 기반 역문제 해법은 잡음 없는 선형 역문제에 초점을 맞춰, measurement noise가 있으면 projection 과정에서 잡음이 증폭되고 nonlinear measurement에서는 단순 투영이 작동하지 않는다 |
| 아이디어 | \(y = A(x_0) + n\) 에 대해 posterior sampling으로 접근하되, measurement subspace로의 projection 없이 gradient step만 사용해 샘플이 data manifold에서 벗어나지 않도록 함 (MCG는 이 방법의 noiseless 특수 사례) |
| 결과 | Gaussian·Poisson 등 다양한 측정 잡음 통계를 다루고, Fourier phase retrieval·non-uniform deblurring 같은 비선형 역문제도 효율적으로 처리 |

Figure 1. DPS 개요
1. 문제 정의 — 왜 이 논문이 필요한가¶
배경.
- 확산 모델(Diffusion models)은 최근 고품질 복원 성능과 기존 반복 기반 해법과의 결합이 용이하다는 장점 덕분에 강력한 생성 기반 역문제 해결 기법으로 주목받고 있다.
기존 방법의 한계.
-
하지만 대부분의 기존 연구들은 잡음이 없는 환경에서의 단순한 선형 역문제 해결에 초점을 맞추고 있어, 실제 현실 세계의 복잡성을 충분히 반영하지 못합니다.
- Measurement에 noise가 포함된 경우: 노이즈가 조금만 있어도 해가 바뀌기에 inverse problem이 본질적으로 잘 정의되지 않았기에, 생성 과정 중에 잡음이 증폭되는 경향이 있다.
- 예시로, noise가 포함된 Measurement라면 projection을 해도 noise가 있는 결과이기에 복원시에 잘못된 결과가 나올 수 있다.
- Measurement process가 nonlinear인경우: 단순 투영 방식이 제대로 작동하지 않는다.
- Measurement에 noise가 포함된 경우: 노이즈가 조금만 있어도 해가 바뀌기에 inverse problem이 본질적으로 잘 정의되지 않았기에, 생성 과정 중에 잡음이 증폭되는 경향이 있다.
-
위의 문제를 해결하기 위한 한 가지 접근법은 spectral domain에서 확산 과정을 실행하는 것이다.
- 이 방식은 SVD를 통해 측정 도메인의 잡음을 스펙트럼 도메인으로 옮겨서 다룬다.
- 하지만 계산 비용이 매우 크기에 사실상 사용할 수 없다.
-
확산 모델은 다양한 역문제에도 적용된다.
- E.g., Inpainting, Super-resolution, Colorization, CS-MRI, CT
- 그러나 지금까지의 연구는 linear inverse problem에만 초점을 맞췄으며, non-linear inverse problem에 대해서는 충분히 탐구되지 않았다.
-
최근에 제안된 MCG (Manifold Constrained Gradients) 기법은 사실상 이 논문의 noiseless한 특수 사례임을 밝혀냈다. 또한, 기하학적 관점에서 분석한 결과, 본 논문의 방법이 잡음 환경에서 이전 접근 방식보다 더 바람직한 샘플 경로를 생성할 가능성이 높음을 보였다.
이 논문의 접근.
-
이 논문에서는 확산 기반 해법(Diffusion solvers)을 확장하여, 일반적인 잡음이 있는 (비)선형 역문제를 효과적으로 해결할 수 있도록 사후 분포 근사 샘플링(posterior sampling) 방식으로 접근한다.
- 흥미롭게도, 제안된 사후 분포 샘플링 방식은 측정 일치(measurement consistency)를 강제로 투영하는 단계를 포함하지 않으면서, 확산 샘플링과 다양체 제약이 있는 그래디언트를 결합한 형태로 작동한다. 이를 통해 기존 연구들보다 잡음이 있는 환경에서 더 바람직한 생성 경로(generative path) 를 제공한다.
-
본 방법은 확산 모델이 가우시안(Gaussian), 포아송(Poisson) 과 같은 다양한 측정 잡음 통계도 포함할 수 있으며, 푸리에 위상 복원(Fourier phase retrieval), 비균일 복원(non-uniform deblurring) 과 같은 비선형 역문제도 효율적으로 처리할 수 있음을 보여준다.
2. 방법¶
- 공식적으로, 일반적인 형태의 순방향 모델은 다음과 같이 표현될 수 있다.
- \(A\): forward measurement operator
- \(n\): measurement noise
-
DPS 기하학적 해석 및 MCG(Manifold Constrained Gradient)와의 연결
- 흥미롭게도, 가우시안 측정의 경우에서 본 방법은 Chung et al. (2022a)에서 제안된 manifold constrained gradient (MCG) 단계와 동일하다.
- 하지만 Chung et al. (2022a)에서는 업데이트 단계인 식 (16) 이후에 측정 서브스페이스(measurement subspace)에 대한 사영(projection)을 추가로 수행하는데, 이는 완벽한 데이터 일관성에서 벗어난 오차를 보정하는 단계로 해석할 수 있다.
-
Chung et al. (2022a)의 diffusion model 해석을 차용하여, 우리는 생성 과정을 기하학적으로 비교한다
- diffusion model의 맥락에서는, model을 통한 한 번의 노이즈 제거 단계(denoising step)는 데이터 매니폴드(data manifold)에 대한 직교 사영(orthogonal projection)에 해당하며, gradient method는 현재 매니폴드에 접하는 방향(tangent)으로 이동하는 단계로 해석된다.
-
노이즈가 있는 역문제의 경우, Chung et al. (2022a)처럼 각 그래디언트 단계 이후 측정 서브스페이스에 반복적으로 사영할 경우, 샘플이 매니폴드에서 벗어나 누적된 오차로 인해 잘못된 해(solution)에 도달할 수 있으며, Fig. 3a에서 그 사례를 확인할 수 있다. 이는 무노이즈(noiseless) 측정 상황에 적합한 과도한 데이터 일관성(data consistency) 강요 때문입니다.
-
반면, 본 방법은 측정 서브스페이스에 대한 사영을 수행하지 않기 때문에 노이즈가 있는 측정 상황에서는 이러한 단점을 피할 수 있다 (Fig. 3b 참조). 따라서 측정 서브스페이스에 대한 사영은 Chung et al. (2022a)이 다룬 무노이즈 역문제에서는 유용하지만, 우리가 다루는 노이즈가 있는 역문제에서는 오히려 성능을 악화시키는 원인이 된다.