콘텐츠로 이동

Deep Unsupervised Learning using Nonequilibrium Thermodynamics

ICML(2015), 3787 citation, Stanford University, Review Data: 2024.4.3

한 줄 요약

비평형 통계 물리학에서 영감을 받아, forward diffusion process로 데이터 구조를 천천히 파괴하고 이를 복원하는 reverse diffusion process를 학습해 유연하면서도 tractable한 생성 모델을 만든다.

흐름 내용
문제 확률 모델은 tractability(분석·학습이 쉬움)와 flexibility(임의의 데이터 구조 표현) 사이의 tradeoff를 겪는다
아이디어 Markov chain으로 데이터 분포를 Gaussian 같은 아는 분포로 바꾸고, 각 step의 작은 perturbation만 추정하는 reverse process를 log likelihood bound로 학습
결과 Swiss roll, binary sequence, MNIST, CIFAR-10, bark, dead leaves 등에서 생성 모델을 학습하고, conditional/posterior probability도 계산 가능


Figure 1. 논문 개요


1. 문제 정의 — 왜 이 논문이 필요한가

  • Non-equilibrium statistical physics (비평형 통계 물리학) 에 영감을 받은 이 논문은, iterative forward diffusion process 를 통해 데이터 분포의 구조를 체계적으로 천천히 파괴한다.
  • 이후에, 데이터의 구조를 복원하는 reverse diffusion process 를 학습하여 데이터의 매우 유연하고 처리 가능한 생성 모델을 생성한다.
  • 학습된 모델에서 conditional probability 와 posterior probability 를 계산할 수 있다.

  • 역사적으로, 확률 모델은 tractability 와 flexibility 사이에서 tradeoff 를 겪고 있다.

    • Tractability (취급하기 쉬움): gaussian distribution 을 사용하여 분석할 수 있고 쉽게 데이터에 맞출 수 있다. 하지만 이러한 모델은 풍부한 데이터 집합에서의 구조를 적절하게 설명할 수 없다.
    • Flexibility (유연성): 임의의 데이터 구조에 맞게 바뀔 수 있다. 우리는 non-negative function \(\phi(x)\) 를 통해, 유연한 분포 \(p(x) = \frac{\phi(x)}{Z}\) 를 만들 수 있다. 하지만 normalization constant 를 구하는 것은 일반적으로 다루기 힘들다.

2. 방법

  • Markov chain 을 활용하여 distribution 을 내가 아는 distribution 으로 변환한다. (i.e., Gaussian distribution)

    • Markov chain 의 마지막 지점을 확률 모델로 정의를 한다.
    • 각 step 이 해석 가능한 확률을 갖기 때문에 (계산 가능한) 전체 chain 도 해석적으로 평가할 수 있다.
    • 이 framework 를 학습하는 것은 diffusion process 에 대한 작은 perturbation 을 추정하는 것을 포함한다. Small perturbation 을 추정하는 것은 전체 분포를 명시적으로 설명하는 것보다 더 추적 가능하다.
  • 2-d swiss roll data 에 대해서 보여준다.

    • 첫 번째 행은 실제 데이터에 perturbation 을 준 것
    • 두 번째 행은 학습된 모델을 통해 noise 로 부터 data 를 복원한 것
    • \(t=T\) 시점은 identity-covariance Gaussian 이다. (즉, 다른 변수끼리 상관관계가 없는)
    • 평균과 분산을 모두 학습했다.
    • 세 번째 행은 같은 reverse diffusion process 에 대한 drift term 을 보여준다.

  • 본 논문의 목적은, 어떤 복잡한 data distribution 이라도 간단하고 분석가능한 (계산 가능한) distribution 으로 변환시키는 forward diffusion process 를 정의하는 것이다.

    • 그런 다음, diffusion process 의 유한한 reverse process 를 학습하여 generative model 을 정의한다.
  • 먼저, 깨끗한 데이터 \(X^{0}\) 에 perturbation 을 주어 내가 아는 분포인 \(\pi\) 로 만드는 diffusion process 에 대해서 알아보자

Diffusion Process

  • \(\pi(X^{t})\): \(X^{0}\) 에서 \(X^{t}\) 로 가는 내가 아는 분포
  • \(q(X^{t}|X^{t-1}) = T_{\pi}(X^t | X^{t-1}; \beta_t)\): \(X^{t-1}\) 에서 \(X^{t}\) 로 가는 어떤 gaussian distribution 인데 markov 특성을 가진다. 이때 \(\beta\) 는 diffusion rate 로 얼마나 perturbation 을 주는 지.
  • \(\beta\): \(t\) 가 작으면 크게, \(t\) 가 크면 작게

Model Probability

  • 초기의 \(X^0\) 의 확률 \(p(X^0)\) 를 구하기 위해, time step \(t=1\) 부터 \(T\) 까지의 모든 \(X\) 에 대한 결합 확률 밀도 함수 \(p(X^{0...T})\) 를 적분한다. 즉, \(t=1\) 부터 \(T\) 까지의 모든 가능한 \(X\) 의 확률을 고려하여 초기 \(X^0\) 의 확률을 계산하는 것이다.
  • 결합확률분포를 time step \(T\) 부터 \(0\) 까지 Marginalize 한다고 생각해보면 식은 쉽다.
  • 사건 A, B, C 에 대해서 \(p(A)\) 를 구하고자 할 때, 결합확률분포 \(p(A, B, C)\) 가 주어진 상황에서 모든 B, C 에 대해서 적분하면 \(p(A)\) 만 남는다.
\[ p(X^0) = \int p(X^{0...T})dX^{1 ... T} \]

그리고 나서 Markov chain 을 가정했으니 다음과 같이 정의할 수 있다.

Training

  • 학습은 실제 분포와 학습된 분포의 거리를 재는 cross-entropy 를 minimize 하는, 여기서는 log likelihood 를 maximize 하는 것이다.
    • Minimize 하면 실제 분포값과 같아진다. 그게 lower-bound 여서

3. 실험

  • Two-dimensional: swiss roll, binary sequence, handwritten digit (MNIST)
  • Natural image: CIFAR-10, bark, dead leaves

참고