cnn反向传播python_numpy 反向传播

卷积神经网络处理图像数据。输入矩阵表示像素值。卷积层滑动滤波器核。核尺寸为3x3或5x5。点积运算生成特征图。步长控制滑动间隔。填充扩展边界。

激活函数应用非线性。ReLU函数输出max(0,x)。负值归零。池化层压缩特征图。最大池化选取区域最大值。尺寸减半。

全连接层连接所有神经元。权重矩阵存储连接强度。偏置项添加偏移。输出层生成预测值。损失函数计算误差。交叉熵或均方误差。

反向传播从损失梯度开始。输出层误差计算。损失对预测值的偏导数。链式法则传播梯度。

梯度回传至全连接层。权重梯度等于输入转置乘误差。偏置梯度等于误差和。更新权重：新权重等于旧权重减学习率乘梯度。

池化层反向传播。最大池化记录最大值位置。梯度仅传递至原位置。其他位置梯度为零。

激活层梯度计算。ReLU梯度：输入大于零时为1，否则为零。

卷积层反向传播复杂。输入梯度通过全卷积计算。滤波器梯度等于输入卷积误差。偏置梯度等于误差和。

NumPy实现使用数组。权重初始化为随机小值。输入数据加载为多维数组。正向传播函数逐层调用。conv_forward实现卷积。relu_forward应用激活。pool_forward执行池化。

反向传播函数：backward_output计算损失梯度。backward_fc处理全连接层。backward_pool对应池化。backward_conv计算卷积层梯度。

更新步骤：权重数组减去梯度数组乘学习率。训练循环迭代数据集。批次大小固定。前向传播计算预测。反向传播更新参数。

梯度检查验证正确性。数值梯度近似偏导数。比较分析误差。