目录

DDPM完全解读

名词解析

• diffusion process: also called forward process, training process, represented by $q(x_t)$$q(x_t)$
• reverse process: also called sampling process, inference process, represented by $p(x_t)$$p(x_t)$

注意：

• diffusion process：is fixed to a Markov chain that gradually adds Gaussian noise to the data according to variance schedule ${\beta }_1,...{\beta }_T$$\beta_1,...\beta_T$, 即变换前后满足高斯分布，当前状态只与前一时刻有关; 下一小节将给出diffusion过程的分布预定义形式，即variance schedule是自定义的constant；且从上图可以看出diffusion过程与$\theta$$\theta$无关，只是为了求loss，将$\theta$$\theta$作用在forward input上，后续将具体介绍
• reverse process: is defined as a Markov chain with learned Gaussian transition starting at $P(x_T):=N(x_T;0,I)$$P(x_T):=N(x_T;0,I)$，但reverse过程的mean and std是与$\theta$$\theta$相关的函数，为了使$p_{\theta }(x_0)$$p_{\theta}(x_0)$尽量接近$q_{data}(x_0)$$q_{data}(x_0)$，需要找到mean和std的最佳定义，使likelihood of $p_{\theta }(x_0)$$p_{\theta}(x_0)$最大，这也是diffusion model的loss定义，后续将具体介绍

预定义

Diffusion Process

根据Diffusion Model[1]的定义，定义了diffusion process is fixed to a Markov chain that gradually adds Gaussian noise to the data according to variance schedule ${\beta }_1,...{\beta }_T$$\beta_1,...\beta_T$：

注意此处$\prod$$\prod$不是阶乘，代表嵌套的意思，类似normalizing flow里的表达

Reverse Process

根据定义，sampling/reverse process is defined as a Markov chain with learned Gaussian transition starting at $p(x_T):=N(x_T;0,I)$$p(x_T):=N(x_T;0,I)$：

注意此处$\prod$$\prod$不是阶乘，代表嵌套的意思，类似normalizing flow里的表达

Loss

Reverse process is $\theta$$\theta$ parameterization, 为了使reverse process尽可能的得到fidelity result，则需要找到使$p_{\theta }(x_0)$$p_{\theta}(x_0)$最接近$q_{data}(x_0)$$q_{data}(x_0)$分布的参数$\theta$$\theta$，即采用maximize log likelihood estimation，等价于minimize negative log likelihood。

下式中的$p_{\theta }(x_0)$$p_{\theta}(x_0)$通常很难准确求解，Sampling process start from $p_{latent}(x_T):=N(x_T;0,I)$$p_{latent}(x_T):=N(x_T;0,I)$, 则：

故$\theta$$\theta$通过minimize variational bound on log likelihood求解 (该diffusion求解过程is known as the variance preserving forward SDE), log likelihood定义为：

将上式$L$$L$进一步可化简为：

具体推导如下（注以下推导没加负号[2]，加负号的推导见[3]-Extra information-A Extended derivations）：

注意，loss的计算需要用到

前两个分布以下将分别推导，第三个分布即DDPM[3] proposed distribution，which makes DDPM resembling denoising score matching[4].

推导

$q(x_T|x_0)$$q(x_T|x_0)$

根据diffusion model预定义，从1至T的任意时刻，$x_t$$x_t$相对$x_0$$x_0$的后验：$q(x_{1:T}|x_0):=\prod _{t=1}^{T}q(x_t|x_{t-1})$$q(x_{1:T}|x_0):=\prod_{t=1}^Tq(x_t|x_{t-1})$

以$q(x_3|x_0)$$q(x_3|x_0)$为例，即$t=3$$t=3$时：

令${\alpha }_t=1-{\beta }_t,\overline{{\alpha }_t}=\prod _{s=1}^t{\alpha }_s$$\alpha_t=1-\beta_t,\overline {\alpha_t}=\prod_{s=1}^t\alpha_s$，则$q(x_3|x_0)$$q(x_3|x_0)$的均值，方差为

因此，$q(x_3|x_0):=N(x_3;\sqrt{\overline{{\alpha }_3}}\cdot x_0,(1-\overline{{\alpha }_3})I$$q(x_3|x_0):=N(x_3;\sqrt{\overline {\alpha_3}}\cdot x_0,(1-\overline {\alpha_3})I$，同理，推广到所有的t可得：

或者，迭代的理论推导如下：

$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$

根据贝叶斯公式，全概率公式等，可得：

根据各维独立高斯分布，将$x_{t-1}$$x_{t-1}$关于$x_t,x_0$$x_t,x_0$的分布可进一步化简得：

其中，$\overline{{\beta }_t}$$\overline {\beta_t}$代表：

$p_{\theta }(x_{t-1}|x_t)$$p_{\theta}(x_{t-1}|x_t)$

由于$L_{t-1}$$L_{t-1}$是$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$与$p_{\theta }(x_{t-1}|x_t)$$p_{\theta}(x_{t-1}|x_t)$的KL散度，$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$已求得，因此需要确定$p_{\theta }(x_{t-1}|x_t)$$p_{\theta}(x_{t-1}|x_t)$的分布，使loss有closed-form calculation，因此DDPM[3]给出了$p_{\theta }(x_{t-1}|x_t):=N(x_{t-1};{\mu }_{\theta }(x_t,t),\sum _{\theta }(x_t,t)I)$$p_{\theta}(x_{t-1}|x_t):=N(x_{t-1};\mu_{\theta}(x_t,t),\sum _{\theta}(x_t,t)I)$中${\mu }_{\theta }(x_t,t),\sum _{\theta }(x_t,t)$$\mu_{\theta}(x_t,t),\sum _{\theta}(x_t,t)$的形式，实现了closed-form expression，并与denoising score matching对应起来，以下将具体介绍。

根据前文reverse process预定义，

Loss中与其相关的项为：

其中，根据上文推导，将$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$简写为：

首先考虑std

Ho通过实验发现，令

• $\sum _{\theta }(x_t,t)={\sigma }_t^2={\beta }_t$$\sum _{\theta}(x_t,t)=\sigma_t^2=\beta_t$，${\beta }_t\text{趋}\text{向}1$$\beta_t趋向1$
• $\sum _{\theta }(x_t,t)={\sigma }_t^2=\overline{{\beta }_t}$$\sum _{\theta}(x_t,t)=\sigma_t^2=\overline {\beta_t}$，$\overline{{\beta }_t}<{\beta }_t$$\overline {\beta_t}<\beta_t$

有相似的结果，The first choice is optimal for $x_0:=N(x_0;0,I)$$x_0:=N(x_0;0,I)$, and thes econd is optimal for $x_0$$x_0$ deterministically set to one point. These are the two extreme choicesc orresponding to upper and lower bounds on reverse process entropy for data with coordinatewise unit variance[1].

无论第一种还是第二种方式，$\sum _{\theta }(x_t,t)$$\sum _{\theta}(x_t,t)$都与$\theta$$\theta$无关，由于$q(x_{t-1}|x_t,x_0)$$q(x_{t-1}|x_t,x_0)$的variance与$\theta$$\theta$也无关，因此两个分布的std项带入KL divergence中计算得到常数C

因此，实验中采用第二种方式。

其次考虑mean

将C带入L_{t-1}可化简得：

根据上文：

带入上式得：

根据上式可知，${\mu }_{\theta }$$\mu_{\theta}$需要预测（尽可能近似）$\frac{1}{\sqrt{{\alpha }_t}}(x_t(x_0,ϵ)-\frac{{\beta }_t}{\sqrt{1-\overline{{\alpha }_t}}}ϵ)$$\frac {1}{\sqrt{\alpha_t}}(x_t(x_0,\epsilon)-\frac {\beta_t}{\sqrt {1-\overline {\alpha_t}}}\epsilon)$，由于其中$x_t(x_0,ϵ)$$x_t(x_0,\epsilon)$是reverse input，是已知的（gaussian noise），因此，${\mu }_{\theta }$$\mu_{\theta}$的proposion将用来估计于$ϵ$$\epsilon$，因为diffusion过程刚好也是通过t次变换从$x_0$$x_0$映射到gaussian即$ϵ$$\epsilon$，巧妙的将$\theta$$\theta$嵌入到train过程用来优化；同时将$x_t$$x_t$也作为其输入（因为${\mu }_{\theta }$$\mu_{\theta}$是关于$x_t,t$$x_t,t$的函数，不会引入新的自变量），因此Ho将mean定义为：

其中，${ϵ}_{\theta }$$\epsilon_{\theta}$ is a function approximator,用来根据$x_t$$x_t$估计$ϵ$$\epsilon$,即guassion noise.

整合

有了std和mean的定义，即可给出$x_{t-1}$$x_{t-1}$的解析：

$x_{t-1}$$x_{t-1}$既可以视为reverse所得，也可视为diffusion所得，因此training过程，${ϵ}_{\theta }$$\epsilon_{\theta}$可作用于diffusion variable

The complete sampling procedure resembles Langevin dynamics with ${ϵ}_{\theta }$$\epsilon_{\theta}$ as a learned gradient of the data density. 同时，Eq10.可简化为：

which resembles denoising score matching over multiple noise scales indexed by t. 上式 is equal to (one term of) the variational bound for the Langevin-like reverse process, we see that optimizing an objective resembling denoising score matching is equivalent to using variational inference to fit the finite-time marginal of a sampling chain resembling Langevin dynamics

此外，通过不同的化简形式，也可以约掉$x_t$$x_t$，使${\mu }_{\theta }$$\mu_{\theta}$化简为关于$x_0$$x_0$，但作者通过实验发现这种方式生成的图片质量更差。

因此，DDPM的diffusion process和reverse process可概括如下：

注意，training过程中，取$t\in Uniform1,...,T$$t\in Uniform{1,...,T}$, 不一样的的t对应不一样的$\beta$$\beta$, 实际实现上，每次循环，不同的样本的t都不同；对同一样本，每次loop随机取t，即相当于每次训练了不同长度的markov chain，足够多次的iteration之后，遍历多次训练了整个链；不同长度的链都尽量优化到最小loss。

eg. DDPM论文中，T取1000，即链的长度为1000

Reference

[1]. Deep Unsupervised Learning using Nonequilibrium Thermodynamics, 2015.

[2]. DIFFWAVE: A VERSATILE DIFFUSION MODEL FOR AUDIO SYNTHESIS, 2021.

[3]. Denoising Diffusion Probabilistic Models, 2020.

[4]. Generative Modeling by Estimating Gradients of the Data Distribution, 2019.