Denoising Diffusion Probabilistic Models Jonathan Ho Ajay Jain Pieter Abbeel UC Berkeley UC Berkeley UC Berkeley jonathanho@berkeley.edu ajayj@berkeley.edu - 全部中文论文
Denoising Diffusion Probabilistic Models Jonathan Ho Ajay Jain Pieter Abbeel UC Berkeley UC Berkeley UC Berkeley jonathanho@berkeley.edu ajayj@berkeley.edu - 全部中文论文
Page 1
<a id="S0001"></a> Jonathan Ho Ajay Jain Pieter Abbeel UC 伯克利 UC 伯克利 UC 伯克利 Jonathanho@berkeley.edu ajayj@berkeley.edu pabbeel@cs.berkeley.edu 摘要 我们利用扩散概率模型呈现出高质量的图像合成结果,这种模型是由无平衡热力学的考虑所激发的一类潜在可变模型。
<a id="S0002"></a> 我们的最佳成果是通过按照扩散概率模型和去诺比分与Langevin动力学之间的一个新联系设计的加权变异约束培训,我们的模式自然承认一种递增的减压方案,可以被解释为自旋解码的概括.
<a id="S0003"></a> 在无条件的CIFAR10数据集上,我们获得9.46分的入场分和3.17分的全能FID分.
<a id="S0004"></a> 在256x256 LSUN上,我们获得了类似于进步GAN的样本质量.
<a id="S0005"></a> 我们的执行情况可查阅https://github.com/hojonathanho/diffusion。 1 各种深层遗传模型最近以各种各样的数据方式展示了高质量的样本。
<a id="S0006"></a> 基因对抗网络(GANs),自递式模型,流出和变相自编码器(VAEs)已合成出惊人的图像和音频样本[14,27,3,58,38,25,10,32,44,57,26,33,45],在以能为基础的模型和分数匹配方面有显著的进步,产生了与GANs[11,55]相当的图像.
<a id="S0007"></a> 图1:加拿大温哥华CelebA-HQ256×256(左)和无条件的CIFAR10(右)神经信息处理系统第34次会议(2020年)上生成的样本。 0202 ceD 61]GL.sc[2v93211.6002:viXra
Page 2
<a id="S0008"></a> x T! ! ! x t! <latexit sha1 base64=' XVzP503G8Ma8Lkwk3KKGZCJbZ0='! AAACEnicbVC7 SgNBF2Nrxh克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克 x 0 <latexit sha1 base64="l4LvSgM7PR7I/kkuy5soikK4gpU=". AAAEOXictVLditNAFE7X克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克 >tixetal/ o5kGOXA8nPw+jg58xpF0iV+df+Fc65c4dlh4JDBJAKNtMMqLdIwOTQ4OGx Reun +Vexdrd1nq3克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克 AAACC3icbVC7 TgJBFJ31ifhatbSZQNRSjblFMFIA1 GING7 Ugy4RyMBspK8 GAFC7 MOZUZY0Y0Y0Tv4 KzYWGmPrD9j5N87CFgieZJIZNV559ybe+9xI8EVWWNAKBK6tr6xmdvnjnd7 B7u2 B4DNFCFCSGFSGBSGYNRLFF8I7IGH0FH0FH0R0F0R0R0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0F0 MmlWyvZ5uXJzUaxVszhy6BgVUAnZ6BLV0DWqowai6Am9oDf0bjwbr8aH8TkrXGyniP0B8bXL+1hmu8=</latexit > (xt|Xt)
<a id="S0009"></a> 1) 图2:本作中考虑的定向图形模型.
<a id="S0010"></a> 本文件介绍了传播概率模型方面的进展[53]。 传播概率模型(我们将称之为“散射模型”,用于简洁性)是一个参数化的马可夫链条,利用可变推论在有限时间后产生匹配数据的样品。
<a id="S0011"></a> 这个链子的过渡被学习来倒转一个扩散过程,这是一个马尔可夫链子,它逐渐地将噪声添加到数据中以相反的取样方向,直到信号被破坏.
<a id="S0012"></a> 当扩散由少量高斯噪声所组成时,就足以将采样链向有条件的高斯噪声的过渡也设定下来,从而可以实现特别简单的神经网络参数化.
<a id="S0013"></a> 传播模型可以直截了当地定义和高效地训练,但据我们所知,还没有证明它们能够产生高质量的样本。
<a id="S0014"></a> 我们显示,传播模型实际上能够产生出高质量的样本,有时比其他类型基因模型上公布的结果更好(第4节).
<a id="S0015"></a> 此外,我们显示,传播模型的某些参数化显示,在训练期间,在多噪声水平上进行去诺分比,在取样期间进行厌杀Langevin动力学比对(第3.2节)[55,61]。
<a id="S0016"></a> 我们利用这种参数化(第4.2节)获得了最佳的样本质量结果,因此我们认为这种等同性是我们的主要贡献之一。
<a id="S0017"></a> 尽管样本质量较高,但与其他基于可能性的模型相比,我们的模型没有竞争性的日志可能性(然而,我们的模型的确比大型估算的无记名重要性抽样更有可能为基于能源的模型和比分[11、55])。
<a id="S0018"></a> 我们发现,我们模型的大部分无损码长都用来描述无法察觉的图像细节(第4.3节)。
<a id="S0019"></a> 我们用失落压缩的语言提出了对这一现象的更精细的分析,我们显示,扩散模型的取样程序是一种渐进的解码方法,它类似于沿着一点点顺序的自递分解,它大大概括了通常情况下用自递分解模型可以做到的事情。 2 背景(cid:82) 扩散模型 [53] 是形式 p (x):= p (x) dx 的潜伏可变模型,其中 0 θ 0: T 1: T x.,., x 是与数据 x q (x) 相同的维度的潜伏.
<a id="S0020"></a> 联合分布 1 T 0 ∼ p (x) 被称作倒转过程,它被定义为有学识的高斯克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克 扩散模型与其他类型的潜在可变模型的区别在于,称为前向过程或扩散过程的近似后方的q(xx)被固定在一个马可夫链上,即: 1:T 0-Q|会根据差异表β,.逐渐将高斯噪音添加到数据中. , β: 1 T (cid:89)(cid:112) q (xx): = q (xx), q (xxx): = (x; 1 β x, β I) (2) 1: T 0 t 1 t 1 t 1 t 1 t 1 t 1 t 1 t 1 t = L (3) = = (cid:20) (cid:20) (cid:20) (cid:21) (cid:21) (cid:21) = E [log p → (x)] E q → (x: T) = E q → (cid:88) log (x-t--------------------------------------------------------------------------------------------- 前向过程差异β可以通过再参数化[33]或以t高参数保持常数来学习,反向过程的表达性部分通过p (xx)中高斯条件的选择来保证,因为当-t 1tβ为小[53]时,这两个过程具有相同的功能形式. 向前过程的一个显著的p-ro-| perty是它以封闭的形式在t t 任意的时步t 上接受采样x:使用注解 α:= 1 β和 α':= (cid:81)t α,我们有 t- t s= 1 s q(x) → (x; √α, (1 α) I) (4) t 0 t → 2
Page 3
<a id="S0021"></a> 因此,通过优化L的随机条件和有花样的梯度下降,可以进行有效的培训。
<a id="S0022"></a> 进一步的改进来自通过将L(3)改写为:(cid:20)(cid:21)(cid:88) E D (q(xx)) p (xx) + D (q(xxx,xx) p (xxx)) log p (xx) (5) q KL T 0 T KL T 1 t 0 T 1 t → 1 (cid:124) → (cid:123)(cid:107)(cid:124) → → (cid:123)(cid:107)(cid:122)(cid:125)(cid:124)(cid:123)(cid:123)(cid:122) → (cid:125) → (cid:125)(cid:1222) → (cid:125) T (cid:1) LT 1 LT 1 L0 → (cid:107)(见附录) - 详细情况 A.
<a id="S0023"></a> 第3节使用了术语上的标签。 ) (5)利用KL相差来直接比较p(xx)与前方过程后缀相差,当以x===================================================================================================;=================================;==============================;========================;======================================= 3 扩散模型和去诺自编码器 扩散模型可能似乎是潜在可变模型的有限类别,但它们允许大量自由实施。
<a id="S0024"></a> 人们必须选择 t 前进过程的差异 β 和 模式架构 和 高斯分配参数化 逆向过程 .
<a id="S0025"></a> 为了指导我们的选择,我们在扩散模型和去名分比(第3.2节)之间建立了新的明确联系,从而形成一个简化的、加权的可变约束的传播模型目标(第3.4节)。
<a id="S0026"></a> 归根结底,我们的模型设计以简单和实证结果为依据(第4节)。
<a id="S0027"></a> 我们的讨论按照Eq. (5)的规定分类。 3.1 前进过程和L T 我们忽略了这样一个事实,即前进过程差异β可以通过重新参数化来学习,而将其固定为常数(详情见第4节)。
<a id="S0028"></a> 因此,在我们的执行中,大概的后q没有可学习的参数,因此L是训练期间的常数,可以忽略. T 3.2 倒置过程和L 1:T 1 − 现在我们以 p (x x) = (x; μ (x, t), Σ (x, t) 来讨论我们的选择 1 < t T.
<a id="S0029"></a> 首先,我们设置了"(x,t)"="σ"2I去去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"去"""""""""""""""""""""""""""
<a id="S0030"></a> θ θ β β β β β β β β β β β β β β β β β β β β β β β ̄− ̄− ̄− 1ti 1m 1 fo 1 fo 1 fo 1 fo 1β 1β 1β 1β 1β 1β 1β e 1β 1β 1 e 1 e 1 e 1 e 1 e 1 e 1 s 1 s 1 s 1 s 1 s 1 s 1 s 1 s 1 s 1 s e 1 s 1 s e 1 s 1 s e 1 s 1 s 1 s 1 s 1 s 1 s 1 s 1 s s 1 s corresponding 1 s s 1 s 1 s 1 s 1 and 1 and 1 and corresponding 1 s 1 and 1 s 1 s corresponding corresponding corresponding 1s corresponding 1s 1s 1s 1s 1s 1s 1s upper 1s upper 1s 1s upper 1s 1s 1s 1s 1s 1s 1s upper 1s upper 1s 1s upper 1s 1s 1s bound 1s bound
<a id="S0031"></a> 第二,为了代表平均值μ (x,t),我们提议在L 分析之后,以 \ t 为动机进行具体参数化。
<a id="S0032"></a> 有p (x x) = (x; μ (x, t), \ 2I) 等,我们可以写出: t → 1 → (x, t) → (cid: 20) (cid: 21) 1 L = E μ → (x, t) 2 + C (8) t → 1 q 2 → (cid: 107) t → (cid: 107) C 是一个不依赖于 → (x, t) 的常数.
<a id="S0033"></a> 因此,我们看到,μ最直接的参数化是一个预测μ的模型,即后期过程的意思.
<a id="S0034"></a> 然而,我们可以进一步扩展 α t Eq. (8) 通过将 Eq. (4) 重新校正为 x (x, (cid:15) = → (x, (cid:15) → (cid:15) 为 (cid:15) (0, I) 和 t 0 t 0 t- → N 应用前进过程后方公式 (7) : (cid:34) (cid:13) (cid:18) (cid:19) (cid:13) Lt → 1 → C= Ex0 (cid:15) 2 – (cid:13) (cid:13) (cid:13) (cid:13) (cid:13-d:13) (cid:13-d:13) (cid:13) (cid:13:cid:13) (cid:13:cid:11-d:13) (cid:13) (cid:13) (cid:11-d:13) (cid:13) (cid:13) (cid:13
Page 4
<a id="S0035"></a> 算法 1 训练 算法 2 抽样 1 重复 1: x ∼ N (0, I) T 2: x ∼ q (x) 0 2: 为 t = T,., 1 do 3 : t { 1,., T } 3 : z ∼ N (0, I) 如 > 1, 或 z = 0 4 : (cid:15) ∼ N (0, I) (cid:16) (cid:17) 5 : 取出 ∇克 ra (cid:13) d (cid:13) i − (cid:15) d e (cid:15) dθ e ( s√ √ √ ̄ ̄ ̄ ̄ ̄ ̄ ̄ ̄ x − − − √ (x :15: 1μ- (10); (10) (10) (10); (10); (10); (10); (10); (10); 13); (10); (10); 13); 13); 13); 13);
<a id="S0036"></a> 由于 x 可以作为模型的输入,我们可以将 \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\
<a id="S0037"></a> 取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取取
<a id="S0038"></a> 完整的取样程序,A t − g 1 → m αt 2, ret se- m → bl 1 e-s → s → 在 dynam t ics中用 (cid:15) a N 表示数据密度的已学习梯度。
<a id="S0039"></a> 此外,随着参数化(11),Eq.(10)简化为:E x0(cid:15) (cid:20) 2/3/2α β (1t 2 α ̄ (cid:13) (cid:13) (cid:15) − (cid:15) → (X't x 0 + √ 1 → t (cid:15)),t (cid:13) 2 (cid:21) (12) t - t 类似于以t [55] 索引的多噪分尺上的去诺比分.
<a id="S0040"></a> 由于Eq.(12)等于(一个术语)Langevin类似倒置过程的变异性约束(11),我们看到,优化一个类似去诺能分数匹配的目标相当于使用变异推论来适应一个类似Langevin动态的抽样链的有限时间边际.
<a id="S0041"></a> 概括地说,我们可以训练反向过程指函数近似于μ来预测μ QQ,或者通过 \ t修改其参数化,我们可以训练它来预测(cid:15). (还有预测x的可能性,但我们发现这会导致实验初期样本质量更差. ) 也简化了扩散模型的变异性,
<a id="S0042"></a> 然而,它只是p (x x) 的又一参数化,所以我们在第4节中验证它的有效性,用一个't 1 t' ablusion来比较我们预测 (cid:15) aga-in → st 预测 μ. t 3.3 数据缩放 逆向过程解码器 L 0 我们假设图像数据由整数组成,以 0, 1,., 255线性缩放为 [ 1, 1].
<a id="S0043"></a> 此 { } - 确保神经网络反向过程从标准正常的p( x) 开始, 运行在一致的缩放输入上 。
<a id="S0044"></a> 为了获得离散的日志可能性,我们将倒转 T 过程的最后一个术语设定为由高斯琴衍生出的独立离散解码器(x; μ (x, 1), ç : 2I): N 0 → 1 (cid:89) D (cid:90) → (x) p (x (x; μi (x, 1), σ 2) dx → 0 → 1 N → 1 → (x (x; 1) (cid:26) (cid:26) 如果x = 1 → (x) → (x) = 1 → + + + + 1 如果x → 1 如果x > 1 → 1 → 1 如果 1 → 1 255 - 数据维度, i 上标显示提取一个坐标 。 (将一个更强大的解码器像一个有条件的自递模式,是直截了当的,但我们把它留给今后的工作。 ) 与VAE解码器和自递回式模型[34,52]中使用的光碟化连续分布类似,我们在这里的选择确保了变异绑定是离散数据的无损码长,不需要给数据添加噪音,也不需要将缩放操作的雅各比人纳入日志可能性.
<a id="S0045"></a> 在取样结束时,我们无声显示μ (x, 1). θ 1 3.4 简化训练目标 以上文定义的倒置过程和解码器,由Eqs.(12)和(13)等术语组成的变异约束显然与 θ不同,并准备用于4个
Page 5
<a id="S0046"></a> Model IS FID NLL Test (Train) 表2:无条件 CIFAR10逆向条件工艺参数化和训练 objec-EBM [11] 8.30 37.9 型机车减速.
<a id="S0047"></a> 空白条目对正义运动来说是不稳定的 [17] 8.76 38.4 列车,并以出局BigGAN[3] 9.22 14.73 射程分数产生差的样本.
<a id="S0048"></a> StyleGAN2 + ADA (v1) [29] 10.06 2.67 目标 IS FID 无条件 μ → → 预测 (底线) Difusion (原作) [53] 5.40 Gated PixelCNN [59] 4.60 65.93 3.0 → 3 (2.90) L, 学习对等分数 → 7.28 0.10 23.69 Sparse 变形器 [7] 2.80 L, 固定同分数 → 13.09 → 13.22 PixelIQN [43] 49.46 μ → → → → → → → → → EBM [11] 6.78 3.3 (cid:107) NCSNSNv2 [56] → → 31.75 L (cid. 1 (3 ± ± + − 3° 1 + 1 + + 1 − ° 1 ° 1 ° 1 ° 1 ° 1 ° 1 = 0° 1 = 0° 1 = 0° 1° = 0°
<a id="S0049"></a> 然而,我们发现在变异绑定的下列变体上进行试样质量(并且执行起来更简单)的训练是有好处的: L 简单 (θ):= E t,x0, (cid:15) (cid:104 (cid:13) (cid:13) (cid:15)- (cid:15) → (√α t + 0 + √ 1) → (cid:15) (cid:13) (cid:13) 2 (cid:105) (14),其中t在1到T之间是统一的.
<a id="S0050"></a> t = 1 大小写对应 L ,在 0 离散分解码器定义中包含组件 (13),与高斯概率密度函数乘以 bin 宽度相近,忽略了 ç2 和边缘效果.
<a id="S0051"></a> t > 1个案例对应了1 Eq. (12)的未加权版本,类似于NCSN去诺比分比对模型使用的减重. [55]. (L不出现,因为前方流程差异β是固定的。 ) 算法 1 显示带有这个简化目标的 T t 完整的训练程序.
<a id="S0052"></a> 由于我们的简化目标(14)放弃了Eq.(12)中的权重,它是一种加权变异约束,它强调重建的不同方面,而标准变异约束[18,22].
<a id="S0053"></a> 特别是,我们在第4节设定的传播过程导致简化目标,即降低重量的损失条件相当于小吨。
<a id="S0054"></a> 这些名词训练网络以极小的噪音来去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去去
<a id="S0055"></a> 我们会在实验中看到,这种再加权会导致更好的样本质量. 4个实验 我们为所有实验设定 T = 1000,这样在取样时所需的神经网络评价数量与以前的工作相匹配 [53, 55].
<a id="S0056"></a> 我们设定了前进过程差异,使β = 10 4 到β = 0.02的常数线性增长。
<a id="S0057"></a> 这些常数被选为小 1 - T 相对于被缩放为 [1, 1] 的数据,确保倒向和前向过程的功能形式大致相同,同时将信号-噪声比尽可能小(L = T T D (q (x x) (0, I)) 10个比特,在我们实验中每个维度.
<a id="S0058"></a> KL T 0 – | (cid:107) N ≈ 为代表倒转过程,我们使用一个U-Net主干线,类似于一个未被遮盖的PixelCNN++ [52,48],整个[66] 实现团体正常化.
<a id="S0059"></a> 参数是跨时间共享的,使用嵌入式变形器 sinusoidal 位置向网络指定 [60].
<a id="S0060"></a> 我们在16个16个地物地图分辨率[63,60]上使用自觉.
<a id="S0061"></a> 详情见附录B×4.1。 样本质量表1显示CIFAR10上的受试分数,FID分数,和负对数概率(无损失码长).
<a id="S0062"></a> 随着我们的FID分数为3.17,我们的无条件模型比文献中大多数模型,包括类有条件模型,都取得了更好的样本质量.
<a id="S0063"></a> 我们的FID分数是根据培训集的标准做法计算的;当我们计算测试集时,得分是5.24分,这仍然比文献中许多培训集的FID分数要好. 页:1
Page 6
<a id="S0064"></a> FID=7.89 图4:LSUN卧室样本.
<a id="S0065"></a> FID=4.90 算法 3 发送x算法 4 接收0 1: 发送x T ∼ (x T | (x T |) 使用p (x T) 1: 接收x T 使用p (x T) 2: 为t = T - 1,., 2, 1 do 2 : 为t = T − 1,., 1, 0 do 3 : 发送x t q (x | (x |) + 1, x 0 ) 使用p → (x) 3 : 接收x t 使用p → (x) → (x) +1) 4 : 结束为 5: 发送x 0 使用p → (x 0 |x 1) 5 : 返回x 0 : 我们发现, 培训我们真正变异约束的模型的代码长度比对简化目标的培训要好, 但后者的样本质量最好。
<a id="S0066"></a> 关于CIFAR10和CelebA-HQ256样本,请参见图1;关于LSUN256-256样本,请参见图3和图4[71]、x和附录D。 4.2 逆向进程参数化和培训目标化 在表2中,我们显示逆向进程参数化和培训目标的样本质量影响(第3.2节)。
<a id="S0067"></a> 我们发现,只有当接受过关于真正的可变约束而不是未加权平均平方误差的培训时,预测μ-Q的基线选择才有效,这个简化目标类似于Eq.(14)。
<a id="S0068"></a> 我们还看到,学习逆向过程差异(将参数化的对角(x)纳入变量约束)导致培训不稳定,与固定差异相比样本质量更差。
<a id="S0069"></a> 正如我们所建议的那样,预测(cid:15)在接受关于固定差异的变异性培训时,表现大致和预测微分,但在接受关于我们简化目标的培训时,表现要好得多。 4.3 渐进编码表1还显示了我国CIFAR10型机车的编码长度。
<a id="S0070"></a> 列车与测试间的差距为每个维度最多0.03比特,这与其他基于概率的模型所报告的差距相上下,并表明我们的传播模型并不过于相配(最近的相邻可视化功能见附录D).
<a id="S0071"></a> 然而,虽然我们的无损失编码长度优于关于基于能源的模型的大规模估计,并使用无记忆重要性取样法进行比对[11],但它们与其他类型的基于概率的基因模型没有竞争力[7]。
<a id="S0072"></a> 由于我们的样品质量很高,我们得出结论,扩散模型具有诱导性偏差,使它们成为极佳的失落压缩器.
<a id="S0073"></a> 将变异约束术语L + + L 1 T + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
<a id="S0074"></a> 超过半数的无损码长描述出无法察觉的扭曲.
<a id="S0075"></a> 逐渐丢失压缩 我们可以进一步探究我们模型的速率扭曲行为,方法是引入一个反映 Eq. (5) 形式的渐进式丢失代码:见算法 第3和第4条,它假定可以访问一个程序,例如最小随机编码[19, 20], 它可以使用任何分布p 和 KL (cid:107) q 平均大约 D (q (x) p (x) 位来传输一个样本 x q (x) , 而接收器在此之前只能使用 p .
<a id="S0076"></a> 当应用到 x q (x) 时, 算法为 3 0 0 − 和 4 传送 x ,. x 以等于 Eq. (5) 的总预期码长为序.
Page 7
<a id="S0077"></a> 在任何时间,有完全可用的部分资料,并可以逐步估计:t (cid:0) (cid:1) (xˆ) (xˆ) (xd (cid:15) (x) (x) (x:15) (x:15) (x:0:0 t) (x-) - 由于Eq. (4). (Stochastic reconstruction x p (x x) 也是有效的, 但我们不认为 0 → 0 t → 此处 , 因为它使扭曲更难评估 。) 图5显示了由此产生的CIFAR10测试集上的额定图.
<a id="S0078"></a> 在每次t时,扭曲被计算为根平均(cid:112)平方误差××××2/D,而率被计算为截至时间t时得到的位数累计为0(cid:107)−(cid:107).
<a id="S0079"></a> 在速率扭曲地块的低速率区域,失真率急剧下降,表明大部分位数确实被分配到难以察觉的失真. 80 60 40 20 0 200 400 800 800 倒置工艺步骤(T-t) ESMR(NoitrotsiD 1.5 1 0.5 0 200 400 600 800 1000 倒置工艺步骤(T-t)) mid/tib(etaR 80 60 0 0 0 0.5 1 1.5 速率(bits/dim)) ESMR(noitrotsiD 图5:无条件的CIFAR10试验套速率-分流与时间.
<a id="S0080"></a> 扭曲用根平均平方误差测量,一个[0,255]尺度.
<a id="S0081"></a> 逐步生成 我们也在进行一个渐进的无条件生成过程, 由随机位的渐进解压。
<a id="S0082"></a> 换句话说,我们预测反向过程的结果xˆ,同时使用算法2从反向过程取样.
<a id="S0083"></a> 图6和图10显示在倒转过程中XQQ的0样本质量。
<a id="S0084"></a> 大尺度图像特征 0 出现先,细节出现后.
<a id="S0085"></a> 图7显示xx p (x x) 的分解预测,其中x 0 θ 0 t | 为各种t被冻结.
<a id="S0086"></a> T小的时候,除了细细的细节都保留了下来;而T大的时候,只保留了大尺度地貌.
<a id="S0087"></a> 也许这些都是概念压缩的提示[18].
<a id="S0088"></a> 图6:无条件的CIFAR10 渐进生成(xˆ随着时间,从左到右).
<a id="S0089"></a> 附录中的扩展样本0和样本质量衡量标准(图10和图14)。
<a id="S0090"></a> 图7:CelebA-HQ 256 × 256个样本在以同一潜伏性为条件时具有高水平属性。
<a id="S0091"></a> 右下角四角体为x,而其他四角体为样本出自p (x ××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××(×××××××××××××××××××××××××××××××××××××××××××××××××××× 现在考虑将扩散过程的长度T设定为数据的可视性,定义前向过程,使q(xxx)将所有概率质量t0放入x上,并蒙住第一个t坐标(即q(xxx)口罩出tth坐标),设置0ttt 1 p(x)将所有质量放入空白图像上,对于QQ(e-s-ake)争论,取p(xx)t 1t-QQ 7
Page 8
<a id="S0092"></a> 图8:CelebA-HQ 256x256图像被内入,传播时间为500分. 成为充分表达性有条件的分布.
<a id="S0093"></a> 有了这些选择,D(q(x) p(x))=0,而KL T(cid:107)将D(q(xx) p(xx))列车p复制坐标t+1.,T不变的KLtt 1t 1t 并预言tth co-ord inat(cid:107) e给定-t + + 1,.,T.
<a id="S0094"></a> 因此,具有这种特别普及性的培训p是一种自发性模式的培训。
<a id="S0095"></a> 因此,我们可以将高斯扩散模型(2)解释为一种自旋式模型,其通俗的位顺序不能通过重排数据坐标来表示.
<a id="S0096"></a> 先前的研究表明,这种重排会引入对样本质量有影响的诱导偏差[38],因此我们推测高斯扩散具有类似的目的,也许效果更大,因为高斯噪音可能比遮掩噪音更自然地会增加图像.
<a id="S0097"></a> 此外,高斯扩散长度并不局限于等于数据维度;例如,我们使用T=1000,这比我们实验中3232 3或256 256 3相片的维度还小. ××高斯散射可以作更短的快速采样,也可以作更长时间的模型表达. 4.4 内插 我们可以将源图像 x, x q (x) 在潜在空间中以 q 为分解编码器, 0 (cid:480 ∼, x q (x ×)), 然后通过反向过程将线性分解为 linear (1 λ)x + λ (cid:48t ∼ | (cid:48) → 0 (cid:48) 空间, x p (x ×).
<a id="S0098"></a> 实际上,我们使用反向过程,从线性地插入已腐坏的源图像中去除0个t QQ的文物,如图8所描绘的.
<a id="S0099"></a> 我们固定了不同值的噪音,所以x和x保持不变。
<a id="S0100"></a> 图8 (右)t (cid:48t)显示原始 CelebA-HQ 256 256相片(t = 500相片)的插图与重建.
<a id="S0101"></a> ×倒置过程产生出高质量的重建,以及令人信服的插值,这些插值会平稳地改变各种属性,如姿势,皮肤色调,发型,表情和背景等,但不是眼衣.
<a id="S0102"></a> 较大的t得到更相近和更相异的插值,出自t=1000的小说样本(附录图9). 5 相关工作 虽然扩散模型可能类似于流 [9, 46, 10, 32, 5, 16, 23] 和 VAEs [33, 47, 37],但扩散模型的设计使得q没有参数,而顶层潜入x与数据x的相互信息几乎为零.
<a id="S0103"></a> 我们的(cid:15)-预测反向过程参数化在扩散模型和去诺比分在多噪量水平上与被厌杀的朗格文动力学相匹配以进行取样[55,56]之间建立了0连接.
<a id="S0104"></a> 然而,传播模型承认了直截了当的日志概率评估,培训程序通过可变推论(详见附录C)明确培训了Langevin动态取样器.
<a id="S0105"></a> 连接还具有相反的含义,即某种加权形式的去诺比分比对等于可变推论来训练类似朗格文的采样器.
<a id="S0106"></a> 学习马尔可夫链的过渡操作员的其他方法有:倒注训练[2],可变回行走[15],基因分层网络[1],而其他[50,54,36,42,35,65].
<a id="S0107"></a> 通过分数比对和以能为基础的模型的已知联系,我们的工作可能对最近关于以能为基础的模型的其他工作[67-69,12,70,13,11,41,17,8]产生影响.
<a id="S0108"></a> 我们的速率扭曲曲线是随着时间的推移在一次对变异约束的评价中计算出来的,这让人想起了在一次无源重要采样[24]中,速率扭曲曲线的计算方法可以超过被扭曲的处罚。
<a id="S0109"></a> 我们的渐进解码论点可以从革命性DRAW和相关模型[18,40]中看出,并且还可能导致更一般地设计出自旋模型的分尺度订购或采样策略[38,64]. 8
Page 9
<a id="S0110"></a> 6 结论 我们利用扩散模型提出了高质量的图像样本,我们发现扩散模型和变异推论之间的联系,用于培训马尔可夫链条,去诺比分和厌去Langevin动力学(以及扩展的以能为基础的模型),自相递进模型,以及渐进的损耗压缩.
<a id="S0111"></a> 由于扩散模型似乎对图像数据有极好的诱导偏差,我们期待着调查这些模型在其他数据模式中的效用,以及作为其他类型基因模型和机器学习系统的组成部分。
<a id="S0112"></a> 更大的影响 我们有关扩散模型的工作,其范围与其他类型的深层遗传模型的现有工作相类似,例如努力提高GAN的样本质量,流量,自转模型等.
<a id="S0113"></a> 我们的文件表明,在使传播模型成为这一技术体系中普遍有用的工具方面取得了进展,因此,它可能有助于扩大遗传模型已经(和将要)对更广大世界的任何影响。
<a id="S0114"></a> 不幸的是,对基因模型有许多众所周知的恶意用途。
<a id="S0115"></a> 可以采用样本生成技术,为政治目的制作高知名度人物的假相和视频.
<a id="S0116"></a> 虽然假图像是在软件工具提供之前很久才手工创建的,但像我们这样的基因模型使得这一过程变得更容易.
<a id="S0117"></a> 幸运的是,CNN生成的图像目前有微妙的缺陷,可以被检测出[62],但基因模型的改进可能使这一困难更大.
<a id="S0118"></a> 遗传模型还反映了培训对象数据集的偏差。
<a id="S0119"></a> 由于许多大型数据集是通过自动化系统从互联网上收集的,因此可能很难去除这些偏差,特别是在图像没有标签的情况下.
<a id="S0120"></a> 如果通过这些数据集培训的基因模型样本在互联网上扩散,那么这些偏见只会得到进一步的强化。
<a id="S0121"></a> 另一方面,传播模型可能对数据压缩有用,随着数据分辨率的提高和全球互联网流量的增加,数据压缩对于确保广大受众能够使用互联网可能至关重要。
<a id="S0122"></a> 我们的工作可能有助于从图像分类到强化学习等一系列下游任务的无标签原始数据方面的代表性学习,传播模式也可能成为艺术、摄影和音乐的创造性用途。
<a id="S0123"></a> 资金的确认和披露 这项工作得到了挪威国家科学研究署和NSF研究生研究研究金的支持,赠款编号为DGE-1752814。
<a id="S0124"></a> Google的TensorFlow研究云(TFRC)提供了Cloud TPU.
<a id="S0125"></a> [1] 参考资料:纪尧姆·阿兰,约斯华·本吉奥,李尧,杰森·约辛斯基,埃里克·蒂博多-劳费尔,张赛正,和帕斯卡尔·文森特.
<a id="S0126"></a> 资料与推论:IMA期刊, 5(2):210–249, 2016. [2] Florian Bordes, Sina Honari, and Pascal Vincent.
<a id="S0127"></a> 通过输液训练学习从噪音中生成样本.
<a id="S0128"></a> 在2017年国际学习代表大会上. [3] 安德鲁·布洛克,杰夫·多纳休,和凯伦·西蒙扬.
<a id="S0129"></a> 大规模GAN训练高忠性自然影像合成.
<a id="S0130"></a> 2019年国际学习代表会议[4]. 唐切,张瑞祥,贾夏·索尔-迪克施泰因,雨果·拉罗切勒,利亚姆·保尔,袁曹,约斯华·本乔.
<a id="S0131"></a> 你的GAN是一个秘密的以能量为基础的模型 你应该使用歧视者驱动的潜在取样。 arXiv预印 arXiv:2003.06060,2020. [5]. 田克陈,尤利娅·鲁巴诺娃,杰西·贝滕库尔,和大卫·克·杜维诺.
<a id="S0132"></a> In Advances in Neural Information Systems, pages 6571–6583, 2018. [6] 习近平, Nikhil Mishra, Mostafa Rohaninejad, and Pieter Abbeel.
<a id="S0133"></a> PixelSNAIL:改进后自递性基因模型.
<a id="S0134"></a> 国际机器学习会议, 第863-871页, 2018. [7]. (原始内容存档于2013-10-12). Rewon Child, Scott Gray, Alec Radford, and Ilya Sutskever.
<a id="S0135"></a> 用稀疏的变压器生成长序. arXiv 预印 arXiv:1904.10509, 2019. 9
Page 10
<a id="S0136"></a> [8] 云天·登,安东·巴赫廷,弥勒·奥特,亚瑟·斯克拉姆,和马克·奥雷利奥·兰扎托.
<a id="S0137"></a> 文本生成的残余能基模型. arXiv预印 arXiv:2004.11714,2020. [9]. 劳伦特·丁克(Laurent Dinh),大卫·克虏格(David Krueger)和约斯华·本吉奥(Yoshua Bengio).
<a id="S0138"></a> 非线性独立组件估计。 arXiv preprint arXiv:1410.8516 2014. [10] (英语). Laurent Dinh, Jascha Sohl-Dickstein, and Samy Bengio.
<a id="S0139"></a> 密度估计使用 Real NVP. arXiv preprint arXiv:1605.08803, 2016. [11]. Yilun Du and Igor Mordatch.
<a id="S0140"></a> 用以能为基础的模型进行隐含生成和建模.
<a id="S0141"></a> In Advances in Neural Information Systems, pages 3603–3613, 2019. [12] (中文(简体) ). Riqi Gao, Yang Lu, Junpei Zhou, Song-Chun Zhu, and Ying Nian Wu.
<a id="S0142"></a> 通过多网格模型和取样学习基因ConvNet.
<a id="S0143"></a> 在"IEEE计算机视野与模式识别会议纪要"上,第9155–9164页,2018. [13] 陆克高, Erik Nijkamp, Diederik P Kingma, Zhen Xu, Andrew M Dai, 和 Ying Nian Wu.
<a id="S0144"></a> 以能源为基础的模型的流量对比估计。
<a id="S0145"></a> 在IEEE/CVF计算机视野与模式识别会议记录上,第7518–7528页,2020. [14] 伊恩·古德费洛,让·普吉特-阿巴迪,梅赫迪·米尔扎,平旭,大卫·沃德-法雷,谢尔吉勒·奥扎尔,阿伦·库维尔和约斯华·本乔.
<a id="S0146"></a> In Advances in Neural Information Systems, pages 2672–2680, 2014. [15] Anirudh Goyal, Nan Rosemary Ke, Surya Ganguli, and Yoshua Bengio. 互联网档案馆的存檔,存档日期2013-12-21.
<a id="S0147"></a> 变相回走:学习过渡操作员作相接回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回回
<a id="S0148"></a> In Advances in Neural Information Systems, page 4392–4402, 2017. [16] (英语). (原始内容存档于2018-03-26). Will Grathwohl, Ricky T. Q.
<a id="S0149"></a> 陈,杰西·贝滕考特,和大卫·杜文诺.
<a id="S0150"></a> FFJORD:可伸缩可逆基因模型的自由形连续动力学.
<a id="S0151"></a> 2019年国际学习代表大会上. [17] 威尔·格拉斯沃赫,汪宽-谢赫,约恩-亨里克·雅各布森,大卫·杜维诺,穆罕默德·诺鲁齐,和凯文·斯韦尔斯基.
<a id="S0152"></a> 你的分类器是一个基于能量的模型 你应该把它当成一个模型
<a id="S0153"></a> (原始内容存档于2017-10-21). In International Conference on Learning Deplorations, 2020. [18] Karol Gregor, Frederic Besse, Danilo Jimenez Rezende, Ivo Danihelka, and Daan Wierstra.
<a id="S0154"></a> In Advances In Neural In In In In Information Information Systems, pages 3549–3557, 2016. [19] Prahladh Harsha, Rahul Jain, David McAllester, 和 Jaikumar Radhakrishnan. (原始内容存档于2018-07-25).
<a id="S0155"></a> 关联性的沟通复杂性.
<a id="S0156"></a> 第二十二届IEEE计算复杂程度年度会议(CCC ' 07),第10至23页。
<a id="S0157"></a> IEEE, 2007. [20] 马顿·哈瓦西, 罗伯特·佩哈兹,和何塞·米格尔·埃尔南德斯-洛巴托.
<a id="S0158"></a> 最小随机代码学习:从压缩模型参数中获取比特.
<a id="S0159"></a> 在2019年的"学习代表作国际会议"中[21]. Martin Heusel, Hubert Ramsauer, Thomas Unterthiner, Bernhard Nessler, 和 Sepp Hochreiter.
<a id="S0160"></a> 受两个时间级更新规则训练的GAN汇合到当地的纳什均衡.
<a id="S0161"></a> In Advances in Neural Information Systems, pages 6626–6637, 2017. [22] (英语). 伊琳娜·希金斯(英语:Irina Higgins, Loic Matthey, Arka Pal, Christopher Burgess, Xavier Glorot, Matthew Botvinick, Shakir Mohamed, and Alexander Lerchner. β-VAE:学习基本视觉概念,采用受限的变异框架.
<a id="S0162"></a> 2017年国际学习代表大会上. [23] Jonathan Ho, 习近平, Aravind Srinivas, Yan Duan, 和 Pieter Abbeel.
<a id="S0163"></a> 流程++: 完善以流为主的基因模型,并有可变分化和结构设计.
<a id="S0164"></a> 在2019年的"机器学习国际会议"中 [24] 黄思康,阿利雷扎·马克扎尼,曹延斯怀和罗杰·格罗斯.
<a id="S0165"></a> 评估深层基因模型的损失压缩率。
<a id="S0166"></a> 2020年国际机器学习大会[25]. 纳尔·卡尔克布伦纳(英语:Nal Kalchbrenner),阿伦·范登·奥德(英语:Aaron van den Oord),卡伦·西蒙扬(英语:Karen Simonyan),伊沃·达尼赫尔卡(英语:Ivo Danihelka),奥里奥尔·维尼亚尔斯(英语:Oriol Vinyals),亚历克·格雷夫斯(英语:Alex Graves),克赖·卡武克库格鲁(英语:Koray Kavukcuoglu).
<a id="S0167"></a> 国际机器学习会议, 第1771-1779页, 2017. [26]. 纳尔·卡尔克布伦纳,埃里希·埃尔森,凯伦·西蒙扬,塞布·努里,诺曼·卡萨格朗德,爱德华·洛克哈特,弗洛里安·斯蒂姆伯格,亚伦·范登·奥德,桑德·迪勒曼,和克赖·卡武克库奥格卢.
<a id="S0168"></a> 国际机器学习会议, 第2410–2419页, 2018. [27]. 特罗·卡尔拉斯,蒂莫·艾拉,萨穆利·莱恩,和雅克科·莱克蒂宁.
<a id="S0169"></a> 逐步增加全球网络,以提高质量、稳定性和差异性。
<a id="S0170"></a> 2018年国际学习代表大会上. [28] Tero Karras, Samuli Laine, and Timo Aila. 基因对抗网络基于风格的生成器架构.
<a id="S0171"></a> 《关于计算机视野和模式识别的IEEE会议记录》,第10页。
Page 11
<a id="S0172"></a> 4401–4410, 2019. [29] (中文(简体) ). 特罗·卡尔拉斯,米伊卡·艾特塔拉,詹恩·赫尔斯滕,萨穆利·莱恩,雅克科·莱克蒂宁和蒂莫·艾拉.
<a id="S0173"></a> 以有限数据培训基因对抗网络. arXiv preprint arXiv:2006.06676v1, 2020. [30]. 特罗·卡尔拉斯,萨穆利·莱恩,米伊卡·艾特塔拉,扬纳·赫尔斯滕,雅克科·莱克蒂宁和蒂莫·艾拉.
<a id="S0174"></a> 分析和改进StyleGAN的图像质量.
<a id="S0175"></a> 《IEEE/CVF计算机视野和模式识别会议记录》,第8110-8119页,2020年。 [31] Diederik P Kingma和Jimmy Ba。
<a id="S0176"></a> 亚当:一种花样优化的方法.
<a id="S0177"></a> 在2015年国际学习代表大会上[32] Diederik P Kingma和Prafula Dhariwal.
<a id="S0178"></a> 克洛:有不可逆 1x1相变的基因流.
<a id="S0179"></a> In Advances in Neural Information Systems, pages 10215–10224, 2018. [33] Diederik P Kingma and Max Welling. 互联网档案馆的存檔,存档日期2013-12-21.
<a id="S0180"></a> 自动编码可变贝叶. arXiv preprint arXiv:1312.6114, 2013. [34] Diederik P Kingma, Tim Salimans, Rafal Jozefowicz, 习近平, Ilya Sutskever, 和 Max Welling.
<a id="S0181"></a> 与逆向自旋流相适应的变异推论得到改进.
<a id="S0182"></a> 《神经信息处理系统的进步》,第4743–4751页,2016年。 [35] John Lawson、George Tucker、Bo Dai和Rajesh Ranganath。
<a id="S0183"></a> 被能源启发的模型:与采样器引起的分布学习.
<a id="S0184"></a> In Advances in Neural Information Systems, pages 8501–8513, 2019. [36] (英语). (原始内容存档于2017-10-12). Daniel Levy, Matt D.
<a id="S0185"></a> 以神经网络普及汉密尔顿蒙特卡洛.
<a id="S0186"></a> 2018年国际学习代表大会上. [37] Lars Maaløe, Marco Fraccaro, Valentin Liévin, 和 Ole Winther.
<a id="S0187"></a> BIVA:基因建模的深层潜在变量结构.
<a id="S0188"></a> In Advances in Neural Information Systems, pages 6548–6558, 2019. [38] Jacob Menick and Nal Kalchbrenner. 互联网档案馆的存檔,存档日期2013-12-02.
<a id="S0189"></a> 以子像素网络和多维升级生成高忠诚度图像.
<a id="S0190"></a> 2019年国际学习代表会议[39]. 宫道武,相克相克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克
<a id="S0191"></a> 基因对抗网络的光谱正常化。
<a id="S0192"></a> (原始内容存档于2018-10-11). In International Conference on Learning Delections, 2018. [40] Alex Nichol.
<a id="S0193"></a> VQ-DRAW:相继相继相分离的VAE. arXiv预印 arXiv:2003.01599,2020. [41] Erik Nijkamp, Mitch Hill, Tian Han, Song-Chun Zhu, and Ying Nian Wu.
<a id="S0194"></a> 关于基于MCMC的最大概率学习以能为基础的模型的解剖学. arXiv preprint arXiv:1903.12370, 2019. [42] Erik Nijkamp, Mitch Hill, Song-Chun Zhu, and Ying Nian Wu. 互联网档案馆的存檔,存档日期2011-12-21.
<a id="S0195"></a> 学习非同性非持久性的短期MCMC向以能源为基础的模式发展.
<a id="S0196"></a> In Advances in Neural Information Systems, 第5233–5243, 2019页. [43] Georg Ostrovski, Will Dabney, and Remi Munos.
<a id="S0197"></a> 用于基因模型的自递式等分网络.
<a id="S0198"></a> 机器学习国际会议, 第3936–3945, 2018页. [44] Ryan Prenger, Rafael Valle, and Bryan Catanzaro.
<a id="S0199"></a> WaveGlow:用于语音合成的流源基因网络.
<a id="S0200"></a> 在ICASSP 2019-2019-2019 IEEE 声学,语音和信号处理国际会议(ICASP)中,第3617-3621页.
<a id="S0201"></a> IEEE, 2019. [45] (中文(简体) ). 阿里·拉扎维,亚伦·范登·奥德,和奥里奥·维尼亚尔斯.
<a id="S0202"></a> 以 VQ- VAE-2 生成多样的高纯度图像.
<a id="S0203"></a> 神经信息处理系统预案, 第1487–14847页, 2019. [46]. 达尼洛·雷曾德和沙基尔·穆罕默德.
<a id="S0204"></a> 以常行相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相入相出相入相入相入相出相入相入相入相出相入相入相入相入相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相出相
<a id="S0205"></a> 机器学习国际会议, 第1530–1538页, 2015 [47]. 达尼洛·希门尼斯·雷曾德,沙基尔·穆罕默德,和达安·维尔斯特拉.
<a id="S0206"></a> 在深层基因模型中有分层反向传播和近似推论.
<a id="S0207"></a> 机器学习国际会议,第1278-1286页,2014 [48] 奥拉夫·罗内伯格,菲利普·菲舍尔,和托马斯·布罗克. U-Net:生物医学影像分解的革命网络.
<a id="S0208"></a> 医疗图像计算和计算机辅助干预国际会议,第234-241页。
<a id="S0209"></a> Springer, 2015. [49] 蒂姆·萨利曼斯和杜克·P·金马.
<a id="S0210"></a> 重量常态化:为加快深层神经网络培训,简单进行再参数化.
<a id="S0211"></a> In Advances in Neural Information Systems, pages 901–909, 2016. [50] 蒂姆·萨利曼斯, Diederik Kingma, and Max Welling.
<a id="S0212"></a> 马可夫链蒙特卡洛与变异推论:缩小差距.
<a id="S0213"></a> 国际机器学习会议, 第1218–1226页, 2015. 11
Page 12
<a id="S0214"></a> [51] 蒂姆·萨利曼斯,伊恩·古德费洛,沃克西克·扎雷姆巴,维基·祥,阿莱克·拉德福德,和习近平.
<a id="S0215"></a> In Advances in Neural Information Systems, pages 2234–2242, 2016. [52] Tim Salimans, Andrej Karpathy, Xi Chen, and Diederik P Kingma. 互联网档案馆的存檔,存档日期2013-12-21.
<a id="S0216"></a> 像素CNN++: 改进PixelCNN,使其具有磁盘化后勤混合物的可能性并作其他修改。
<a id="S0217"></a> 在2017年的"学习代表作国际会议"中. [53] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, 和 Surya Ganguli.
<a id="S0218"></a> 利用无平衡热力学进行深度无监督学习.
<a id="S0219"></a> 在"机器学习国际会议"上,第2256–2265页,2015. [54] 宋家明,赵生嘉和斯特凡诺·埃尔蒙. A-NICE-MC:MCMC的横向训练.
<a id="S0220"></a> 神经信息处理系统的进步, 第5140-5150页, 2017. [55]. 杨松与斯德凡诺·厄蒙.
<a id="S0221"></a> 通过估计数据分布梯度进行基因模型化.
<a id="S0222"></a> 神经信息处理系统预案, 第11895-11907页, 2019. [56]. 杨松与斯德凡诺·厄蒙.
<a id="S0223"></a> 改进了基于分数的基因模型培训技术。 arXiv preprint arXiv:2006.09011,2020. [57] (中文(简体) ). Aaron van den Oord, Sander Dieleman, Heiga Zen, Karen Simonyan, Oriol Vinyals, Alex Graves, Nal Kalchbrenner, Andrew Senior, 和克赖·卡武克库奥格卢.
<a id="S0224"></a> (原始内容存档于2018-10-21). WaveNet:生声的基因模型. arXiv预印版arXiv:1609.03499, 2016. [58]. Aaron van den Oord, Nal Kalchbrenner, 和克赖·卡武克库奥格卢.
<a id="S0225"></a> 机器学习国际会议,2016. [59]. Aaron van den Oord, Nal Kalchbrenner, Oriol Vinyals, Lasse Espeholt, Alex Graves, 和克赖·卡武克库奥格卢.
<a id="S0226"></a> 用 PixelCNN 解码器生成有条件的图像 。
<a id="S0227"></a> In Advances in Neural Information Systems, pages 4790–4798, 2016. [60] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uzkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, 和 Illia Polosukhin.
<a id="S0228"></a> In Advances in Neural Information Systems, 第5998–6008页, 2017. [61] Pascal Vincent. 分数匹配和自定义编码器之间的连接 。
<a id="S0229"></a> 神经计算, 23(7):1661-1674, 2011. [62]. 王生裕,王奥利弗,张理查,安德鲁·欧文斯,阿列克谢一世.
<a id="S0230"></a> 现在Cnn生成的图像很容易发现
<a id="S0231"></a> 在2020年IEEE计算机视野与模式识别会议记录中. [63] 王晓龙,罗斯·吉尔希克,阿比纳夫·古普塔和克来明·贺.
<a id="S0232"></a> IEEE计算机视野和模式识别会议记录,第7794-7803页,2018. [64]. (原始内容存档于2018-10-12). Auke J Wiggers and Emiel Hoogeboom.
<a id="S0233"></a> 具有预测自递性模型的预测性取样。 arXiv preprint arXiv:2002.09928,2020. [65] 郝武,乔纳斯·克勒和弗兰克·诺.
<a id="S0234"></a> 使流动正常化。 arXiv preprint arXiv:2002.06707, 2020. [66] (中文(简体) ). 于克新吴与克明贺.
<a id="S0235"></a> 《欧洲计算机视野会议记录》,第3-19页,2018年。 [67] ian文谢,杨鲁,相克相克,相克相克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克克
<a id="S0236"></a> 在"机器学习国际会议"上,第2635–2644页,2016. [68] 谢建文, 宋克忠; 吴延宁.
<a id="S0237"></a> 由空间-时相基因整流网合成动态模式.
<a id="S0238"></a> IEEE计算机视野和模式识别会议记录,第7093-7101页,2017. [69]. J文谢,字子 Zheng,鲁齐高平人,出为相州刺史,出为相州刺史,同平章事.
<a id="S0239"></a> 学习描述网络用于3d形状合成和分析.
<a id="S0240"></a> 在"IEEE计算机视野与模式识别会议纪要"中,收录了第8629–8638,2018页. . [70] 谢建文,"宋中正","永年吴".
<a id="S0241"></a> 学习以能为基础的空间-时序基因圈来适应动态规律.
<a id="S0242"></a> IEEE交易关于模式分析与机器智能,2019. [71] 费舍尔·于克,殷达·张,舒兰·宋,阿里·塞夫,相克·肖.
<a id="S0243"></a> LSUN:利用环中与人类的深度学习来构建大型图像数据集. arXiv preprint arXiv:1506.03365, 2015. [72] 谢尔盖·扎戈鲁伊科和尼科斯·克莫达基斯.
<a id="S0244"></a> 广余网. arXiv预印 arXiv:1605.07146, 2016. 12 (英语).
Page 13
<a id="S0245"></a> LSUN数据集的额外信息LSUN FID分数见表3.
<a id="S0246"></a> 标有*的分数由StyleGAN2报告为基线,其他分数由各自的作者报告.
<a id="S0247"></a> 表3: LSUN 256 256个数据集的FID分数 × Model LSUN Bedroom LSUN Church LSUN Cat ProgressGAN [27] 8.34 6.42 37.52 StyleGAN [28] 2.65 4.21 8.53 StyleGAN2 [30] - 3.86 6.93 Ours (L) 6.36 7.89 19.75 简单 Ours (L,大) 4.90 - 简单进取压缩 我们在"4.3节"中的损失压缩论证只是概念的证明,因为算法3和4依赖于最小随机编码等程序[20],对于高维度数据是无法被取取取的.
<a id="S0248"></a> 这些算法充当了Sohl-Dickstein等[53]的变异约束(5)的压缩解释,还不是实用的压缩系统.
<a id="S0249"></a> 表4:无条件的CIFAR10试验集速率扭曲值(并附图5) 逆向过程时间(T t + 1) 速率(位/分) 扭曲(RMSE [0, 255]) − 1000 1.77581 0.95136 900 12.02277 800 0.05415 18.47482 700 0.0282 700 0.0286 24.43656 600 0.01507 30.80948 500 0.00716 38.03236 400 0.0282 46.12765 300 0.00081 54.18826 200 0.0001360170 100 0.00067.60125 扩展衍生物是Eq (5)的衍生物,其变异性减少,受扩散模型约束。
<a id="S0250"></a> 这些材料取自Sohl-Dickstein等人[53];我们只为了完整性而将其列入此处. (cid:20) (cid:21) p (x:20) L = Elog → 0:T (17) q (x:34) (cid:35) = Eq → q (x:18) = (x:88) = (x:1) − (x:18) q (x:13) t (x:34) (x:35) → Eq → (17) q (x:17) q (x:18) q (x:17) q (x:17) q (x:17) q (x:18) q (x:18-18) | (x-18-18) q (x-18) | (x-18) | (x-18-18) | (x) | (x-18-18) | (x-18-18-18) | (x-18-18) | (x-18-18-) | (x-18-) | (x-18-) | (x-18-
Page 14
<a id="S0251"></a> (编:34) (编:35) (编:88) = E D (q (xx) p (xx)) + D (q (xxx) p (xxx)) log p (xxx) q KL T 0 T KL t 1 t 1 t 1 t → (编:107) → (cid:107) → (xxx) 1 (22) 以下为L.
<a id="S0252"></a> 无法估计,但对于我们在4.3节中的讨论有用。 L = E q log p (x T) (cid:88) log p (x t- 1 | x x (23)- q (x x ≥ q q q) (cid:88) log p (x |) (x t | | | | | | | q q q q q (x 25) 25) 25) 88) ) )) (x 25) 25) 25) q q 25) q q q q q q q q q q q q q q q q q q q q q | q q | q | | q | | | q q q q q q q q q q q q q q q q q q q q q q
<a id="S0253"></a> 我们把重量正常化[49]取而代之的是集团正常化[66],以简化执行工作。
<a id="S0254"></a> 我们的32个模型使用4个地物图分辨率(32 32 ××××到4 4),我们的256 256个模型使用6个.
<a id="S0255"></a> 所有型号均有两块相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相
<a id="S0256"></a> 分化时间t通过将变形器sinusoidal位置嵌入到每个剩余块来指定. [60].
<a id="S0257"></a> 我们的CIFAR10模型有3570万个参数,我们的LSUN和CelebA-HQ模型有1.14亿个参数.
<a id="S0258"></a> 我们还通过增加滤波计数,培训了LSUN卧室模型的较大变体,参数约为2.56亿个.
<a id="S0259"></a> 我们在所有实验中使用了TPU v3-8(类似于8个V100 GPU).
<a id="S0260"></a> 我国CIFAR型号列车以每秒21步128分(10.6小时以800克步来进行训练以完成),并抽取了一批256幅图像需要17秒.
<a id="S0261"></a> 我们的CelebA-HQ/LSUN (2562)型号列车在批量尺寸为64时每秒2.2步,并抽取了一批128个图像需要300秒.
<a id="S0262"></a> 我们在CelebA-HQ训练了0.5M步,LSUN卧室训练了2.4M步,LSUN Cat训练了1.8M步,LSUN Church训练了1.2M步.
<a id="S0263"></a> 更大的LSUN卧室模型接受了1.15M阶梯的训练.
<a id="S0264"></a> 除了早期初步选择超参数使网络大小适应内存限制外,我们进行了大多数超参数搜索,以优化CIFAR10样本质量,然后将由此产生的设置转移到其他数据集: • 我们从一组恒定的,线性的,和四面体的时间表中选择了β表, 全部被限制到L 0。
<a id="S0265"></a> 我们设定 T = 1000 没有扫描,我们选择了从 β = 10 X 4 到 β = 0.02的线性 T 时间表. 1-T − 我们通过扫码0.1、0.2、0.3、0.4,将CIFAR10的辍学率确定为0.1。 在CIFAR10没有辍学的情况下,我们获得了较贫穷的样本,让人联想出一种未规范的PixelCNN++ [52].
<a id="S0266"></a> 我们把其他数据集的辍学率确定为零而不扫地。 我们在训练CIFAR10时使用了随机水平翻转;我们尝试了无论有无翻转的训练,并发现了翻转来略微提高样本质量.
<a id="S0267"></a> 除了LSUN Bedroom之外,我们还对所有其他数据集使用随机水平翻转。
<a id="S0268"></a> 我们把超参数留给他们的标准值
<a id="S0269"></a> 我们把256个256个图像的学习率设定为2 10 4, 并且我们把它降为2 10 5, —— —— —— —— —— —— —— 这似乎不稳定, 无法用更大的学习率来训练。 页:1
Page 15
<a id="S0270"></a> • 我们规定CIFAR10的批量尺寸为128个,大图像为64个。
<a id="S0271"></a> 我们没有扫荡这些价值观。 我们在模型参数上使用了EMA,衰变系数为0.9999.
<a id="S0272"></a> 最后的实验经过一次培训,并在整个培训中评价样品质量。
<a id="S0273"></a> 在培训过程中,报告质量样本分数和记录可能性,说明最低FID值。
<a id="S0274"></a> 在CIFAR10上,我们分别使用OpenAI [51]和TTUR [21]寄存器的原始代码,计算出5000个样本的受测分和FID分.
<a id="S0275"></a> 在LSUN上,我们用StyleGAN2[30]寄存器的代码计算出50000个样本的FID分数.
<a id="S0276"></a> CIFAR10和CelebA-HQ由TensorFlow Datasets(https://www.tensorflow.org/datasets)提供上载,LSUN是使用StyleGAN的代码编写的.
<a id="S0277"></a> 数据集分拆(或缺乏分拆)是那些在基因模型上下文中引入其用法的论文的标准.
<a id="S0278"></a> 所有细节均可在源代码发布中找到. C 相关工作的讨论 我们的模型架构,前向过程定义,以及先前与NCSN[55,56]在提高样本质量的微妙而重要的方式上有所不同,特别是,我们直接培训我们的样本员,将其作为潜在的可变模型,而不是在培训后添加.
<a id="S0279"></a> 我们使用一个自觉的U-Net;NCSN使用一个有膨胀分解分解的FineNet.
<a id="S0280"></a> 我们通过在变形器 sinosoidal 位置上添加嵌入来附加所有层在t上,而不只是在正态层(NCSNv1)上,或者只在输出(v2)上. 2. 联合国
<a id="S0281"></a> 分流模型用每个前向过程步骤(用"% 1 β 系数"来缩放数据 t-,这样在增加噪声时差异不会增大,从而为神经网倒转过程提供一致的分量输入.
<a id="S0282"></a> 与NSCN不同的是,我们的前进过程会破坏信号(D (q (x x (0, I)))0),随后的- KL T 0 → (cid:107) N → 将前后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后后
<a id="S0283"></a> 与NSCN不同的是,我们的Tβ非常小,这保证了前向过程被有条件的高斯人所组成的马尔可夫链t所可逆.
<a id="S0284"></a> 这两个因素都防止了取样时的分布转移. 4.四.
<a id="S0285"></a> 我们的Langevin类采样器的系数(学习率、噪音尺度等)严格来自远期过程中的β。
<a id="S0286"></a> 因此,我们的培训程序直接培训我们的 t 采样器,以匹配T步骤后的数据分布:它利用可变推论,将采样器培训为潜在的可变模型.
<a id="S0287"></a> 相形之下,NCSN的采样器系数是用手定出后荷克的,他们的训练程序不能保证直接优化其取样器的质量度量. D. 补充样品 图11、13、16、17、18和19显示关于CelebA-HQ、CIFAR10和LSUN数据集培训的传播模型的未检验样品。
<a id="S0288"></a> 在采样过程中,先期X T (0, I) 和朗格文动力学都是有花样的。
<a id="S0289"></a> 为了了解噪音的第二源N的意义,我们取样了以同一中间潜伏物为条件的多种图像,用于CelebA 256 256数据集.
<a id="S0290"></a> 图7显示,从逆向过程取自的乘数xp (xx)为0 θ 0 t | | | 为t 1000, 750, 500, 250 分享了潜入的乘数x.
<a id="S0291"></a> 为了完成这个任务,我们从前作的初始抽取中运行一个单反向链 t {{}.
<a id="S0292"></a> 在中间时序,链被分出来取取多个图像样本.
<a id="S0293"></a> 当链在上图后以 x 进行分解时,样品差异很大. 页:1 然而,当链被分出更多的步骤后,样品会分享性别,发色,眼衣,饱和,姿势和面部表情等高层次属性.
<a id="S0294"></a> 这表明,像x这样的中间潜伏物编码了这些属性,尽管其不可接受. 750 从粗到细的内插图图图9显示了一对源CelebA 256 256个图像之间的内插图,因为我们在潜在空间内插前会改变扩散步骤的数量. × 增加扩散步骤的数量会破坏源图像中更多的结构,15
Page 16
<a id="S0295"></a> 模型在倒转过程中完成.
<a id="S0296"></a> 这使得我们可以在细颗粒物和粗颗粒物上进行插接.
<a id="S0297"></a> 在0扩散步骤的限制下,插值将源图像混合到像素空间.
<a id="S0298"></a> 另一方面,在1000个扩散步骤后,源信息丢失了,插图是新颖的样本.
<a id="S0299"></a> 来源 注释 0.1 λ= 0.2 λ= 0.3 λ= 0.4 λ= 0.5 λ= 0.6 λ= 0.7 λ= 0.8 λ= 0.9 Rec Rec Rec Rec Rec Rec Rec Rec
<a id="S0300"></a> 出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出自出 10 8 6 4 2 0 200 400 600 800 000 倒置工艺步骤(T - t) erocSnoitpecnI 300 200 100 0 200 400 600 800 000 图10:无条件的CIFAR10 逐步取样质量
Page 17
<a id="S0301"></a> 图11:CelebA-HQ 256 256个生成的样本x17
Page 18
<a id="S0302"></a> (a) 相距最近的像素空间 (b) 相距最近的空间(Inception)
<a id="S0303"></a> 生成的样本在最左边的一列,而培训的一列最近的邻居在其余一列. 第 18 条
Page 19
<a id="S0304"></a> 图13:无条件生成的CIFAR10样本 19
Page 20
<a id="S0305"></a> 图14:无条件的CIFAR10逐步生成 20
Page 21
<a id="S0306"></a> (a) 距离最近的像素空间 (b) Inception 特征为距离最近的空间 图15:无条件的CIFAR10 距离最近的邻居。
<a id="S0307"></a> 生成的样本在最左边的一列,而培训的一列最近的邻居在其余一列. 21国
Page 22
<a id="S0308"></a> 图16: LSUN Church生成了样本.
Page 23
<a id="S0309"></a> 图17: LSUN 卧室生成样品,大型模型.
Page 24
<a id="S0310"></a> 图18: LSUN 卧室生成样品,小型模型.