多城市二手车网站源码泉州 网站建设

多城市二手车网站源码,泉州 网站建设,站长工具之家,个人建设纪检网站Day 16: 生成模型基础 (Generative Models Basics) 摘要#xff1a;在前面的课程中#xff0c;我们学习的分类、检测、分割任务都属于判别式模型#xff08;判断“是什么”#xff09;。而今天#xff0c;我们将进入生成式模型#xff08;创造“有什么”#xff09;的奇…Day 16: 生成模型基础 (Generative Models Basics)摘要在前面的课程中我们学习的分类、检测、分割任务都属于判别式模型判断“是什么”。而今天我们将进入生成式模型创造“有什么”的奇妙世界。从“左右互搏”的 GAN 到“概率重构”的 VAE本文将带你推开 AI 内容生成AIGC的大门。1. 判别式 vs 生成式在深入具体模型之前先搞清楚两种建模思路的区别模型类型英文核心逻辑例子比喻判别式模型Discriminative学习条件概率 $P(YX)$分类、回归生成式模型Generative学习联合概率P ( X , Y ) P(X,Y)P(X,Y)或分布P ( X ) P(X)P(X)图像生成、文本生成画家从白纸画出一幅画简单来说判别式模型在乎决策边界生成式模型在乎数据分布。2. GAN生成对抗网络 (Generative Adversarial Networks)2014年Ian Goodfellow 提出了 GAN被 Yann LeCun 誉为“过去十年机器学习领域最有趣的想法”。2.1 核心思想零和博弈GAN 由两个网络组成它们就像造假币的团伙和警察生成器 (Generator, G)负责“造假”。输入随机噪声z zz输出假图片G ( z ) G(z)G(z)。目标是骗过判别器。判别器 (Discriminator, D)负责“打假”。输入图片x xx判断它是真的来自数据集还是假的来自G GG。2.2 训练过程两者交替训练最终达到纳什均衡固定 G训练 D让 D 能尽可能区分真图和假图。固定 D训练 G让 G 生成的假图能被 D 误判为真。min ⁡ G max ⁡ D V ( D , G ) E x ∼ p d a t a ( x ) [ log ⁡ D ( x ) ] E z ∼ p z ( z ) [ log ⁡ ( 1 − D ( G ( z ) ) ) ] \min_G \max_D V(D, G) \mathbb{E}_{x \sim p_{data}(x)}[\log D(x)] \mathbb{E}_{z \sim p_{z}(z)}[\log (1 - D(G(z)))]Gmin​Dmax​V(D,G)Ex∼pdata​(x)​[logD(x)]Ez∼pz​(z)​[log(1−D(G(z)))]2.3 训练的痛点模式崩塌 (Mode Collapse)G 发现生成某种特定的图很容易骗过 D于是它就一直生成这一种图失去了多样性。训练不稳定两者很难平衡如果 D 太强G 梯度消失学不动如果 G 太强D 随便猜也没法指导 G。3. 经典 GAN 变体为了解决原始 GAN 的问题无数变体涌现3.1 DCGAN (Deep Convolutional GAN)贡献把 CNN 引入 GAN并给出了一系列工程实践建议如去掉 Pooling 用 Strided Conv用 BatchNorm用 LeakyReLU 等。地位GAN 走向实用化的第一步。3.2 WGAN (Wasserstein GAN)贡献从理论上解决了训练不稳定的问题。用Wasserstein 距离推土机距离代替原来的 JS 散度来衡量分布差异。特点训练超稳定不用小心翼翼调节 D 和 G 的平衡。3.3 StyleGAN贡献生成人脸的霸主。核心引入了Style Transfer的思想通过映射网络Mapping Network把噪声解耦控制生成的不同层级特征粗糙特征控制脸型精细特征控制发色。3.4 BigGAN贡献简单粗暴“大”就是好。更大的模型、更大的 Batch Size生成了高分辨率、高质量的 ImageNet 图像。4. VAE变分自编码器 (Variational Autoencoders)如果说 GAN 是“无中生有”VAE 则是“先压后解”。它基于贝叶斯推断是一个有着严谨数学推导的模型。4.1 结构Encoder (推断网络)输入图片x xx输出隐变量z zz的分布均值μ \muμ和方差σ \sigmaσ。Decoder (生成网络)从分布中采样z zz重构出图片x ^ \hat{x}x^。4.2 核心技巧重参数化 (Reparameterization Trick)问题直接从N ( μ , σ 2 ) N(\mu, \sigma^2)N(μ,σ2)采样这个操作是不可导的没法反向传播。解决把采样变成z μ σ ⋅ ϵ z \mu \sigma \cdot \epsilonzμσ⋅ϵ其中ϵ ∼ N ( 0 , 1 ) \epsilon \sim N(0, 1)ϵ∼N(0,1)。这样ϵ \epsilonϵ是常数μ \muμ和σ \sigmaσ就可以求导了。4.3 损失函数L o s s Reconstruction Loss KL Divergence Loss \text{Reconstruction Loss} \text{KL Divergence}LossReconstruction LossKL Divergence重构损失生成的图要像原图。KL 散度隐变量z zz的分布要尽可能接近标准正态分布N ( 0 , 1 ) N(0, 1)N(0,1)为了方便采样。4.4 GAN vs VAEGAN生成的图清晰度高但多样性可能差训练难。VAE生成的图容易模糊因为是概率分布的均值但分布特性好训练稳定。5. Flow-based Models (流模型)这是一个比较小众但优雅的流派如 Glow。核心设计一系列可逆的变换函数f ff。优点可以精确计算似然概率P ( x ) P(x)P(x)生成的隐变量极其平滑。缺点为了保证可逆网络结构受限计算量巨大。6. 代码实践PyTorch 实现最简单的 GAN这里用 MNIST 数据集演示一个全连接层的 GAN。importtorchimporttorch.nnasnn# 1. 生成器classGenerator(nn.Module):def__init__(self,z_dim64,img_dim784):super().__init__()self.gennn.Sequential(nn.Linear(z_dim,256),nn.LeakyReLU(0.01),nn.Linear(256,img_dim),nn.Tanh()# 输出归一化到 [-1, 1])defforward(self,z):returnself.gen(z)# 2. 判别器classDiscriminator(nn.Module):def__init__(self,img_dim784):super().__init__()self.discnn.Sequential(nn.Linear(img_dim,128),nn.LeakyReLU(0.01),nn.Linear(128,1),nn.Sigmoid()# 输出概率)defforward(self,img):returnself.disc(img)# 3. 训练循环伪代码# for epoch in epochs:# for real_imgs, _ in dataloader:## ### 训练判别器 #### noise torch.randn(batch_size, z_dim)# fake_imgs gen(noise)## real_score disc(real_imgs)# fake_score disc(fake_imgs.detach()) # 注意 detach不传梯度给 G## d_loss -torch.mean(torch.log(real_score) torch.log(1 - fake_score))# opt_disc.zero_grad()# d_loss.backward()# opt_disc.step()## ### 训练生成器 #### # G 希望 D 判定 fake_imgs 为真 (score 接近 1)# fake_score disc(fake_imgs)# g_loss -torch.mean(torch.log(fake_score))## opt_gen.zero_grad()# g_loss.backward()# opt_gen.step()7. 总结GAN是生成领域的“摇滚明星”效果惊艳但脾气暴躁难训练。VAE是“数学教授”理论优美但有时过于平滑图像模糊。Flow是“精密仪器”精确但昂贵。预告虽然 GAN 统治了一段时间但明天我们要介绍的扩散模型 (Diffusion Model)才是当今 AIGC 真正的王者。它结合了概率生成的稳定性像 VAE和生成质量的高保真度超越 GAN。思考为什么 GAN 的 Loss 很难指示训练进度因为它是两个网络的博弈Loss 下降不代表生成质量变好可能只是对手变弱了。