콘텐츠로 이동

XDomainMix: Cross-Domain Feature Augmentation for Domain Generalization

IJCAI(2024), 0 citation, Singapore, Review Data: 2024.08.01

한 줄 요약

Feature를 class-specific/class-generic × domain-specific/domain-generic 4가지 요소로 분해하고, class-specific 요소는 유지한 채 domain-specific 요소를 다른 domain의 sample과 섞어서, domain이 바뀌어도 class를 예측하는 invariant하고 robust한 model을 학습한다.

흐름 내용
문제 Input space augmentation은 diversity가 제한적이고, 기존 feature augmentation은 feature semantics를 거의 고려하지 않아 증강된 feature의 다양성이 제한적이다
아이디어 Class/domain importance score로 feature를 4가지 요소로 분해하고, input image와 다른 domain의 두 sample(같은 class / 다른 class)의 요소를 섞는 cross-domain feature augmentation (XDomainMix)
결과 널리 쓰이는 domain generalization benchmark에서 state-of-the-art 성능, 정량적 분석상 domain 간 invariant한 model 학습을 촉진

"Although Domain of An Image is Changed to the Others, Can Predict Class (Invariant and Robust Model)"


Figure 1. DSU와 XDomainMix로 증강한 feature를 사전 학습된 auto-encoder로 재구성한 결과


1. 문제 정의 — 왜 이 논문이 필요한가

배경.

  • Deep learning은 일반적으로 training과 testing data가 i.i.d라고 가정한다.
    • 같은 확률분포에서 독립적으로 sampling.
  • 하지만, 이 가정은 종종 실제 환경에선 위반되고 다른 distribution을 다룰 때 성능이 떨어진다.
  • Domain generalization은 이러한 distribution shift에 강건한 model을 개발하는 것에 초점을 맞추고있다.

기존 방법의 한계.

  • 기존의 방법론들은 model robustness를 강화시키기 위해 domain에 대한 불변성을 배우는 데 초점을 맞췄다.
  • Invariant predictor (강건한 model)를 학습하기 위해 data augmentation는 input space (아마 pixel-space를 의미하는 거 같다.)에서 광범위하게 사용된다.
  • Input space에서의 data augmentation은 diversity에 제한이 있는 반면, feature space에서의 augmentation은 다재다능하다.
  • 그럼에도 불구하고 feature semantics는 거의 고려되지 않으며 기존의 feature augmentation 방법들은 증강된 특징의 다양성이 제한적이다.

이 논문의 접근.

  • 생성된 특징의 다양성 부족은 feature를 feature semantics에 따라 분해하도록 동기를 부여했다.
  • 본 논문은 feature를 class-generic, class-specific, domain-generic, domain-specific 요소로 분해했다.
    • Class-specific: 특정 클래스에 고유한 정보를 담고 있다.
    • Class-generic: 클래스 간에 공유되는 정보를 담고 있다.
    • 동일한 클래스 내에서도 다른 도메인에서 온 샘플의 특징을 구별함을 발견하고 domain도 분해했다.
    • E.g., 같은 강아지여도 realistic, anime
  • 본 논문은 XDomainMix를 제안

    • Cross domain feature augmentation method
    • Class-specific 구성 요소를 유지하면서 feature의 domain-specific 구성 요소를 변경한다. 이를 통해 모델은 특정 도메인에 국한되지 않는 특징을 학습할 수 있게 되며, 도메인 간에 불변하는 특징을 기반으로 예측을 할 수 있게 된다. 즉, 도메인이 달라져도 class에 대한 예측을 진행할 수 있다.
    • Domain generalization을 달성하기 위해 invariant representations의 학습을 강조하면서 sample diversity를 증가시킬 수 있다.
    • 정량적 분석은 우리의 특징 증강 접근 방식이 다른 도메인에서도 불변하는 효과적인 모델 학습을 촉진한다는 것을 나타낸다.
  • 사전 학습된 auto-encoder를 사용하여 증강된 특징을 시각화한다. 재구성된 이미지에서, DSU의 증강된 특징은 원본 이미지 특징과 거의 동일하게 유지되는 반면, XDomainMix를 사용하여 얻은 특징에서 재구성된 이미지는 더 풍부한 다양성을 지니면서 클래스의 중요한 특징을 유지하는 것을 볼 수 있다.

    • 클래스는 유지하되 domain 특징을 조금 바꾼 결과?

2. 사전 지식

  • Invariance를 학습하는 기존의 domain generalization approaches 는 representation learning과 data augmentation으로 분류할 수 있다.
  • Feature augmentation은 더 많은 flexibility와 potential을 제공한다.

3. 방법

  • Source domain set (dataset): \(\mathcal{D}_S = S_1, ..., S_N\)
    • \(S_i = (x_j^{(i)}, y_j^{(i)})|_{j=1}^{n_i}\)
    • \(x, y\): input and label
  • Unseen domains \(\mathcal{D}_U\)
  • Source domain과 unseen domain은 class distribution은 다르지만 class label은 같은 space를 공유한다.
  • 이 논문의 목적은 domain이 변화되더라도 class label은 유지시키는 것이다.

  • Feature augmentation을 살펴보자

    • 두 이미지 모두 다른 domain에 존재한다.
    • Class-specific domain-specific인 \(Z_{c,d}\)와 class-generic domain-specific \(Z_{\neq c, d}\) 를 제공
    • Input image의 class-specific domain-generic \(Z_{c, \neq d}\) 및 class-generic domain-generic \(Z_{\neq c, \neq d}\)는 보존
    • 즉, Input image의 domain과는 상관없는 class 정보 + Input image의 class 및 domain과는 상관없는 정보 + Input image와 다른 domain이지만 같은 class의 정보 + Input image와 다른 domain이고 class에 상관없는 정보를 주입한다.
    • Domain은 다른 \(2\) sample로 전이되면서 class 정보는 보존되는 효과

  • \(g: x \rightarrow y\)

    • \(g\)는 \(2\)개로 분해할 수 있는데,
    • \(f: x \rightarrow Z\), \(f\)는 feature extractor. \(Z\)는 latent feature space
    • \(c: Z \rightarrow y\), \(y\)는 output label
    • 이상적으로, \(f\)는 domain invariant feature를 추출하면서 class-specific information은 유지해야 한다.
      • 즉, domain적으로 공통적인 특성을 추출하면서 class 정보는 남아있어야 한다.
    • Input의 feature는 \(2\) 요소로 분해될 수 있다: class-specific and class-generic
    • Class-specific component는 class label과 강력하게 연관되어 있는 feature semantics로 구성되어 있다. (class를 구별지을 수 있는)
    • 또한, feature는 domain-specific과 domain-generic components로도 분해될 수 있다.
      • 이는 같은 class여도 domain이 다를 수 있기 때문이다.
    • 본 논문은 이를 활용하여 feature extractor \(f\)로 총 \(4\)가지의 구별되는 요소로 feature를 분해한다.
      • Class-specific domain-specific \((Z_{c,d})\)
      • Class-specific domain-generic \((Z_{c,\neq d})\)
      • Class-generic domain-specific \((Z_{\neq c,d})\)
      • Class-generic domain-generic \((Z_{\neq c,\neq d})\)
    • 각 요소의 판단 기준은 각 클래스와 도메인의 예측에 대한 중요도로 판단한다.
      • E.g., feature가 class prediction에는 중요하지만 domain prediction에는 중요하지 않다면 class-specific domain-generic로 분류된다.
  • Feature vector의 한 channel \(z_k\)이 Class-specific인지 class-generic인지는 feature extractor로 뽑은 feature vector의 class importance score를 통해 결정한다.

    • \(c\): class classifier
    • \(v_c\): input image \(x\)의 ground truth class의 predicted logit (activation 통과 전)
    • \(z_k\): \(Z\)의 \(k\)번째 dimension

  • 마찬가지로 \(z_k\)가 domain-specific인지 domain-generic인지 결정하기 위해서 domain classifier \(d\)를 통해 domain score를 구한다.

  • 각 \(z_k\)가 어떤 요소인지 판단하기 위해, 각 score에 mask를 곱한다. 이 mask는 미리 정한 threshold값을 넘으면 해당 component로 인정하기 위한 값이다.

  • 구체적으로, feature augmentation을 하는 방법은 다음과 같다.
    • Random으로 sampling한 \(2\)개의 sample의 feature vector를 뽑는다. 이때, 하나는 class가 input image와 동일하고 다른 하나는 달라야 한다. 또한, \(2\)개의 sample은 input image의 domain과 달라야 한다.
    • 그리고 일정 비율 섞는다.

참고