콘텐츠로 이동

DiffSVC: A Diffusion Probabilistic Model for Singing Voice Conversion

ASRU(2021), 29 citation

한 줄 요약

SVC task에 처음으로 diffusion probabilistic model을 적용해, content(PPGs)·melody(Log-F0)·loudness를 condition으로 Mel-Spectrogram을 복원하고 vocoder로 waveform을 만들어 naturalness와 voice similarity에서 좋은 성능을 달성했다.

흐름 내용
문제 Non-parallel SVC 중 any-to-one task: 누구의 소스 보컬이든 대상 가수의 목소리로 변환해야 한다
아이디어 ASR model로 추출한 PPGs(content), Log-F0(melody), loudness를 embedding해 더한 conditioner로, DiffWave 구조의 diffusion model이 Mel-Spectrogram을 recover하고 HiFi-GAN vocoder로 waveform 생성
결과 Naturalness and Voice similarity 측면에서 좋은 성능

"First Adapt Diffusion-based Model on SVC tasks"


1. 문제 정의 — 왜 이 논문이 필요한가

  • SVC task 에 처음으로 diffusion probabilistic modeling 을 제안했다.
    • Destroyed Mel-Spectrogram 을 generation
  • Naturalness and Voice similarity 측면에서 좋은 성능을 달성했다.
  • 본 논문은 Non-parallel SVC 중 any-to-one task 를 해결하고자 한다.
  • Content, Melody, Loudness 를 중요한 요소로 봤다.

  • Most recent SVC systems training

    • Content encoder 와 Conversion model 로 구성
    • Content encoder
      • in: source singing signal
      • out: content feature (e.g., PPGs)
    • Conversion model
      • in: content feature
      • out: acoustic feature/waveform
  • Train Approach

      1. Auto-encoder 로 content encoder & conversion model 을 동시 학습
      1. 각각 학습.
      2. 이 경우, content encoder 로 Automatic Speech Recognition (ASR) model 을 사용한다.
        • ASR
          • End-to-end model
          • Hybrid HMM-DNN model
      3. Conversion model 은 generative model 을 사용한다.
        • GAN: content feature 로 부터 직접 waveform 생성
        • Regression model: content feature 를 spectral feature 로 변환하고 (e.g., Mel-Spectrograms) 추가적으로 학습된 vocoder 로 waveform 생성
        • Diffusion-based model: regression model 처럼 진행하되 generative model 을 diffusion-based 로 진행.

Definition of Words

  • PPGs: 음성 신호의 음성 정보 (Content feature)
    • Singing signal 로부터 content feature 인 Phonetic posteriorgrams(PPGs) 추출
  • Parallel (one-to-one) SVC: 특정 가수의 노래를 다른 특정 가수로만 변환할 수 있는 시스템을 나타낸다.
  • Non-parallel SVC
    • Any-to-one: 누구의 소스 보컬이든 대상 가수의 것으로 변환
    • Any-to-many: 다양한 대상 가수의 것으로 여러 가수의 보컬을 변환
      • E.g., FastSVC
  • Loudness: 소리의 크기 (음의 높낮이 x)
  • Log-F0: logarithmic fundamental frequency feature

2. 방법

  • Diffusion model 은 Mel-Spectrograms 을 recover 하는 model 이고 content, melody, loudness feature 를 condition 으로 받는다.

  • PPGs: content feature

    • PPGs 를 추출하는 model 은 Deep-FSMN (DPFSMN)-based ASR acoustic model 을 사용
      • Train ASR model with frame-wise cross-entropy loss using phonemes (i.e., initials and finals with tone) for Mandarin Chinese SVC
      • PPG \(218\) dim
    • PPG prenet: simple fully-connected layer
  • Log-F0 \(f_0\) (Melody): fundamental frequency contour in logarithmic scale
    • Hop size: \(240\)
    • Robustness 를 위해 \(3\) 개의 F0 estimator 를 사용했다.
      • DIO, REAPER, SPTK
      • 이 \(3\) 개의 median results 를 사용
  • Loudness: A-weighting mechanism of a singing signal's power spectrum

    • FFT size, window size, hop size: \(2048, 2048, 240\)
  • Log-F0 와 loudness 는 같은 방식으로 처리된다.

    • 각 feature 를 256 bins 으로 quantization \(\rightarrow\) 각 embedding table 을 거친다.
  • Log-F0 & loudness & processed PPG feature 는 element-wise 로 더해진다. (conditioner \(e\))
    • 더할 때의 size 는 \(256\) 이다.
  • Step encoder: sinusoidal position encoding
  • DiffSVC: bidirectional residual convolutional architecture proposed in DiffWave/WaveNet
    • Residual block 은 \(20\) 개
    • \(T\): 100
    • \(\beta\): \(1 \times 10^{-4} \sim 0.06\)
    • Adam optimizer and \(0.0002\) constant LR
    • Trained with an internal dataset: audio format is 16-bit PCM with a sample rate of \(24\)kHZ
    • Mel-Spectrograms have \(80\) frequency bins, and are computed with \(1024\)-point fast Fourier transform (FFT), \(1024\)-point window size and \(240\)-point hop size (i.e., \(10\) ms)
    • Mel-Spectrogram 은 \([-1,1]\) 로 normalization
    • Raw waveform 이 아닌 Mel-Spectrograms 으로 작동하기에 Dilation rate of \(1\) 로 한다.
  • Mel-Spectrogram 을 raw waveform 으로 변환시켜 주는 vocoder 로는 Hifi-GAN model 을 사용했다.

  • Algorithm 1. Training

  • Algorithm 2. Inference
    • Sample (\(x, f_0, l, y_0\)) from \(D\): \(y_0\) 가 들어갈 필요가 있을까?

참고