归一化总结

归一化的效果

零均值：每个通道的像素值均值接近零。
单位方差：每个通道的像素值标准差接近一。
均匀的动态范围：不同通道的数据值被拉伸或压缩到类似的范围。
加快模型训练：提高梯度下降的收敛速度。
减少数值不稳定性：防止梯度爆炸或梯度消失。
提高模型性能：帮助模型更好地学习数据特征，提高性能和泛化能力。

定义

归一化是一种数据预处理技术，旨在调整数据的分布，使其具有零均值和单位方差。归一化可以加速模型的训练过程，提高模型的性能和稳定性。

公式

在深度学习中的应用

在深度学习中，归一化通常用于图像数据的预处理。常用的方法是通过 torchvision.transforms.Normalize 函数来实现。

示例代码

import torchvision.transforms as transforms

# 定义归一化的均值和标准差
normalize = transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])

# 应用归一化变换
transform = transforms.Compose([
    transforms.Resize((224, 224)),  # 调整图像大小
    transforms.ToTensor(),  # 将图像转换为张量
    normalize  # 应用归一化
])

# 加载数据集并应用变换
train_dataset = torchvision.datasets.ImageFolder('/path/to/hotdog/train', transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=32, shuffle=True)