深度学习--图像分类！

net.train() self.training=True
net.eval() self.training=False
辅助分类器的作用：为了避免深度增加而导致的梯度消失，训练过程中用来优化网络参数的，训练阶段优化好了，测试阶段就不用了
辅助分类器只在训练过程中起作用，有输出，在验证测试阶段，辅助分类器不起作用，

最后的loss是三个分类器的loss之和
在这里插入图片描述

在这里插入图片描述

Resnet

一个up的笔记
内部记录有如何加载预训练好的模型进行继续训练

网络深度越深—》梯度消失、爆炸，退化问题–》模型误差越大？
对于梯度消失、爆炸通常是对数据进行标准化，权重初始化，BN
利用残差解决了退化问题，实现网络越深，模型越好，误差越小

残差块中的实现和虚线部分

主分支和测分支的输出特征矩阵的shape必须一致
在这里插入图片描述

主分支和测分支的输出特征矩阵的shape必须一致

18和34层的网络结构中conv2_X不涉及虚线残差，50层以上的conv2_1涉及到了虚线残差层，但只是改变了特征矩阵的深度，高宽不变。
conv3,4,5的卷积的第一层都有虚线残差结构，这个结构的侧分枝改变了特征矩阵的深度和大小，为了主分支和测分支的输出特征矩阵的shape必须一致，以便进行融合。

BatchNormalizition

BN详解

让feature map满足某一分布规律，理论上是指整个训练样本集所对应feature map的数据要满足分布规律，保证每一层操作都满足一定的分布规律？

（1）训练时要将traning参数设置为True，在验证时将trainning参数设置为False。在pytorch中可通过创建模型的model.train()和model.eval()方法控制。

（2）batch size尽可能设置大点，设置小后表现可能很糟糕，设置的越大求的均值和方差越接近整个训练集的均值和方差。

（3）建议将bn层放在卷积层（Conv）和激活层（例如Relu）之间，且卷积层不要使用偏置bias，因为没有用，参考下图推理，即使使用了偏置bias求出的结果也是一样的

迁移学习

常见的迁移学习方式:
1.载入权重后训练所有参数
2.载入权重后只训练最后几层参数
3.载入权重后在原网络基础上再添加一层全连接层，仅训练最后一个全连接层

transformer

一些编程经验

展平操作

torch.flatten(x,start_dim=1) 从第二维开始展开
x.view(-1,abc) 确保总元素数量不变
x.flatten() 在所有维度展开
new_tensor = tensor.view(*shape) shape 是一个整数元组，用于指定新的张量形状
对于numpy和panda的一些东西，不看就忘了

形参前带星号

请添加图片描述

pytorch中nn.Conv1d和nn.Conv2d的区别！

nn.Conv1d和nn.Conv2d

conv2d官网nn.conv2d()

Conv1d顾名思义只对一个维度操作，在文本中只需要从上往下进行卷积扫描即可。

input的的维度是[batch_size, max_len, embedding_dim]，在开始Conv1d前需要将max_len换到最后一个维度用来做一维卷积。卷积后的结果[batch_size, out_channels, n+2p-f/s+1]，
在这里插入图片描述

就是官方提供已经训练好的参数权重文件，加载到自己网络上再继续训练就行。

padding作用

在卷积操作中，padding可以避免特征矩阵越来越小，可以充分提取到边缘信息

p=(f-1)/2

卷积核大小为3，步长为1，padding为1的时候，卷积得到的特征矩阵大小和原图不变

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模