阿里网站导航怎么做的聊城的网站制作公司

阿里网站导航怎么做的,聊城的网站制作公司,曲靖公司网站建设,平面设计概述础后#xff0c;可以说#xff0c;在理解上对本周的内容不会存在什么难度。当然#xff0c;我也会对一些新出现的概念补充一些基础内容来帮助理解#xff0c;在有之前基础的情况下#xff0c;按部就班即可对本周内容有较好的掌握。本篇继续上篇的内容#xff0c;介绍drop…础后可以说在理解上对本周的内容不会存在什么难度。当然我也会对一些新出现的概念补充一些基础内容来帮助理解在有之前基础的情况下按部就班即可对本周内容有较好的掌握。本篇继续上篇的内容介绍dropout 正则化。1. dropout 正则化1.1 原理介绍Dropout随机失活是一种在训练过程中随机“丢弃”部分神经元的正则化方法。它的核心思想是在每次训练迭代时随机让一部分神经元暂时不参与前向传播和反向传播从而防止网络过度依赖某些特定节点。通俗地讲就是在每次迭代时会随机出现“修路”情况来关闭一些神经元避免模型“太喜欢某条常走的弯路”尝试多条路径从而增强泛化能力就像这样Pasted image 20251030100158在数学上设一个隐藏层的输出为那么 Dropout 的过程可表示为其中是一个与形状相同的随机掩码矩阵是保留神经元的概率除以是为了保持整体激活期望一致防止数值偏移。别慌这几个公式堆在一起看起来确实挺吓人我们同样展开一些需要理解的内容1什么叫随机掩码矩阵“随机掩码矩阵”其实就是一张决定谁能“上场”的随机名单表。在每一轮训练中rand(A.shape) 会生成一个介于 0~1 的随机矩阵如果某个位置的随机数小于那对应的神经元就被“保留”否则就被“屏蔽”。用一个实例来说明假设我们有一个隐藏层输出现在我们设置保留概率然后随机生成于是更新后的输出就是这就表示——在这一轮训练中第 2 和第 4 个神经元被“临时关闭”。它们既不会参与当前的前向传播也不会计算梯度更新。换句话说每一轮上场的神经元阵容都不同 有时候 1、3 上有时候 2、4 上像在打轮换赛。2保持整体激活期望一致是什么意思由于每次训练时有一部分神经元被“关掉”如果不做任何处理剩下神经元的输出总量就会变小。这会导致模型的数值分布发生偏移训练和测试阶段的行为不一致。这句话是什么意思什么叫偏移怎么就不一致了 我们来详细解释一下在训练阶段我们启用 Dropout——每一轮随机关闭一部分神经元而在测试阶段我们不再丢弃神经元希望所有连接都参与计算。因此如果不做“除以”的调整训练时网络看到的激活值较小而测试时所有神经元都激活信号强度会突然变大。打个比方这就相当于模型在训练时习惯了“音量 50%”但一到测试就被拉成“音量 100%” 结果预测结果可能大幅波动这就是所谓的分布偏移distribution shift即同样的输入数据在训练和测试时网络的激活分布不一样表现出不同的“行为模式”。而调整的目的就是让训练时的信号强度和测试时一致这样模型在上场时才不会突然音量上升而不适应。我们继续用上面的例子原来的激活平均值为Dropout 之后关掉一半神经元平均值直接变小很多这会让网络误以为“信号整体变弱”从而影响学习。所以我们把输出除以保留概率这时平均值恢复到虽然不完全相等但数量级一致期望保持平衡。换成人话就是 虽然有一半神经元请假了但留下来的要多干一倍活这样团队输出不变。难绷3为什么这么“随机”的机制能起作用随机丢弃神经元会让网络在每次训练中都看到一个不同的子网络。于是整个训练过程就像在同时训练一大群共享参数的小网络。最终当我们在测试时把所有神经元都打开网络的行为就相当于这些小网络预测结果的集成平均。因此Dropout 能显著提升模型的稳健性减少过拟合。就像一个团队经过无数次不同组合的演练 最终每个人都能独当一面不再依赖特定搭档。总之dropout正则化就是每次训练都会让网络“瘦身”但每次瘦的部分不同。这样网络学到的不是一条固定通路而是多条冗余且稳健的特征路径。1.2 “人话版总结”可以把神经网络想成一张复杂的城市路网每条“路”就是一条神经元之间的连接。在没有正则化时模型总喜欢走几条特别顺畅的“老路”久而久之就太依赖这些路线了。一旦测试阶段路况稍有不同数据分布变化模型就会懵因为它从来没学会走别的路。而 Dropout 做的事就是在每次训练时——随机封几条路去维修让模型被迫换条路走。久而久之模型就能适应多种交通方案学会多条“通往目的地”的路径。等到测试阶段所有道路都重新开放模型就像整个城市的交通系统都训练有素不管哪条路通都能通向正确的结果。这也就是 Dropout 提升模型泛化能力的根本原因。类型 内容 形象比喻优点 1. 有效防止过拟合让模型不过度依赖特定神经元。2. 提高模型的鲁棒性稳健性相当于训练了多个“子网络”的集成效果。3. 在一定程度上还能起到特征选择作用让网络更“均衡”地使用不同特征。 修路让模型学会多条路线不怕某条主路堵车。缺点 1. 训练时间变长因为每次激活模式不同收敛更慢。2. 不适合用于推理阶段测试时必须关闭 Dropout。3. 如果过低会导致模型学习信号太弱出现欠拟合。 修太多路车都走不动了修太少路又起不到练兵效果。2. 应用正则化和调节学习率的关系在上一篇的结尾我们提出了这样一个问题应用正则化和直接调节学习率有什么不同呢详细点说既然正则化最终是要影响参数的大小那我是不是调一调学习率也能达到类似的效果要回答这个问题我们先分别看看二者到底在干什么。2.1 学习率决定“走多快”学习率是梯度下降中最直观的参数。它控制着模型在参数空间中更新的步伐大小学习率太大模型可能“迈太大步”直接越过最优点甚至震荡发散。学习率太小模型每次只挪一点点训练速度慢到令人发疯。通俗地讲学习率决定你“往山谷底走的步子多大”。太大了会一脚踩空太小了磨到天荒地老。2.2 正则化决定“走哪条路”正则化并不是控制你“走得快不快”而是在梯度更新时施加一种施加一种特定的影响力。以 L2 正则化为例参数更新公式是可以看出这一项会在每次更新时把权重往 0 拉一点它的目的不是减慢步伐而是修正方向——让参数不至于“长歪”。Dropout也是同理 就像在训练道路上随机设置一些坑洞让车手学会绕过而不是死死踩同一条路它并不减慢你的油门学习率依然决定速度而是防止模型走到“捷径陷阱”学得太偏。通俗地说学习率是油门正则化是方向盘。学习率太大车容易冲出路没有正则化车会偏离中心线。这里我用GPT画了一张图或许能帮助记忆Pasted image 202510301119292.3 总结对比项 学习率调节 正则化L2 / Dropout目的 控制参数更新的速度 控制参数更新的方向与幅度使其不过大或防止过拟合影响阶段 优化器梯度下降 损失函数多加一项惩罚或训练策略Dropout公式体现或随机丢掉部分神经元形象比喻 决定“走多快” 决定“往哪走”Dropout 让车手学会绕开陷阱错误调节后果 步子太大震荡不收敛太小训练缓慢 惩罚太强模型太简单欠拟合太弱模型太复杂过拟合Dropout 太大模型收敛慢交互影响 学习率越大惩罚效果越显著两者需协调 一般配合调节防止权重过大或收敛太慢总之学习率与正则化是互补的而不是替代关系。一个决定“快慢”一个决定“方向和稳健性”