1. Neural Network

  • :第 层的第 个单元
  • :第 层到第 层映射的权重矩阵

假设第 层单元数为 (不包括偏置单元),第 层单元数为 ,则

2. Cost Function

  • :总层数
  • :第 层的单元数(不包括偏置单元)
  • :样本个数
  • :输出单元数

3. Backpropagation

假设只有一个样本 的情况,神经网络如下:

在 forward propagation 阶段:

在 backpropagation 阶段,令 表示第 层第 个节点的误差,则:

其中 (sigmoid函数求导)。

推导过程:

对于隐藏层:

其中:

因此:

所以:

有了上面的推导之后,可以得到:

4. 直观理解

在 forward propagation 阶段:

在 backpropagation 阶段:

注:这里只是一个直观的解释,因此并未考虑偏置单元 以及