1. 磐创智能首页
  2. TensorFlow教程

TensorFlow系列专题(五):BP算法原理

一.反向传播算法

反向传播算法[1](Backpropagation Algorithm,简称BP算法)是深度学习的重要思想基础,对于初学者来说也是必须要掌握的基础知识,在这一小节里,我们会较为详细的介绍这一重点知识。

我们使用一个如图1所示的神经网络,该图所示是一个三层神经网络,两层隐藏层和一层输出层,输入层有两个神经元,接收输入样本,为网络的输出。

图1 一个三层神经网络

二.前馈计算的过程

为了理解神经网络的运算过程,我们需要先搞清楚前馈计算,即数据沿着神经网络前向传播的计算过程,以图1所示的网络为例:

输入的样本为:

TensorFlow系列专题(五):BP算法原理

第一层络的参数为:

TensorFlow系列专题(五):BP算法原理

第二层网络的参数为:

TensorFlow系列专题(五):BP算法原理

第三层网络的参数为:

TensorFlow系列专题(五):BP算法原理

·第一层隐藏层的计算

图2 计算第一层隐藏层

第一层隐藏层有三个神经元:neu₁、neu₂和。neu₃该层的输入为:

TensorFlow系列专题(五):BP算法原理

以神经元为例,则其输入为:

TensorFlow系列专题(五):BP算法原理

同理有:

TensorFlow系列专题(五):BP算法原理

TensorFlow系列专题(五):BP算法原理

假设我们选择函数 f(x) 作为该层的激活函数(图1中的激活函数都标了一个下标,一般情况下,同一层的激活函数都是一样的,不同层可以选择不同的激活函数),那么该层的输出为:f₁(z₁)、f₂(z₂)和f₃(z₃)。

·第二层隐藏层的计算

图3 计算第二层隐藏层

第二层隐藏层有两个神经元:neu₄和neu₅。该层的输入为:

TensorFlow系列专题(五):BP算法原理

即第二层的输入是第一层的输出乘以第二层的权重,再加上第二层的偏置。因此得到₄和₅的输入分别为:

TensorFlow系列专题(五):BP算法原理

TensorFlow系列专题(五):BP算法原理

该层的输出分别为:f₄(z₄)和f₅(z₅)。

·输出层的计算

图4 计算输出层

输出层只有一个神经元:neu₆。该层的输入为:

TensorFlow系列专题(五):BP算法原理

即:

TensorFlow系列专题(五):BP算法原理

因为该网络要解决的是一个二分类问题,所以输出层的激活函数也可以使用一个Sigmoid型函数,神经网络最后的输出为f₆(z₆):。

三.反向传播的计算

上一小节里我们已经了解了数据沿着神经网络前向传播的过程,这一节我们来介绍更重要的反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数,损失函数定义为L(y,y ̂),其中是该样本的真实类标。使用梯度下降进行参数的学习,我们必须计算出损失函数关于神经网络中各层参数(权重w和偏置b)的偏导数。

假设我们要对第k层隐藏层的参数W^((k))和求偏导数b^((k))。假设z^((k))代表第k层神经元的输入,即

TensorFlow系列专题(五):BP算法原理

,其中n^((k-1))为前一层神经元的输出,则根据链式法则有:

TensorFlow系列专题(五):BP算法原理

TensorFlow系列专题(五):BP算法原理

因此,我们只需要计算偏导数。

· 计算偏导数

前面说过,第k层神经元的输入为:

TensorFlow系列专题(五):BP算法原理

,因此可以得到:

TensorFlow系列专题(五):BP算法原理

上式中,

TensorFlow系列专题(五):BP算法原理

代表第k层神经元的权重矩阵的第m行,

TensorFlow系列专题(五):BP算法原理

代表第k层神经元的权重矩阵的第m行中的第n列。

我们以图1所示的简单神经网络为例,假设我们要计算第一层隐藏层的神经元关于权重矩阵的导数,则有:

TensorFlow系列专题(五):BP算法原理

·计算偏导数

因为偏置b是一个常数项,因此偏导数的计算也很简单:

TensorFlow系列专题(五):BP算法原理

依然以第一层隐藏层的神经元为例,则有:

TensorFlow系列专题(五):BP算法原理

·计算偏导数

偏导数

TensorFlow系列专题(五):BP算法原理

又称为误差项(error term,也称为”灵敏度”),一般用表示,例如是第一层神经元的误差项,其值的大小代表了第一层神经元对于最终总误差的影响大小。

根据第一节的前向计算,我们知道第k + 1层的输入与第k层的输出之间的关系为:

TensorFlow系列专题(五):BP算法原理

又因为

TensorFlow系列专题(五):BP算法原理

,根据链式法则,我们可以得到:

TensorFlow系列专题(五):BP算法原理

由上式我们可以看到,第k层神经元的误差项δ^((k))是由第k + 1层的误差项乘以第k + 1层的权重,再乘以第k层激活函数的导数(梯度)得到的。这就是误差的反向传播。

现在我们已经计算出了偏导数,则分别表示为:

TensorFlow系列专题(五):BP算法原理

TensorFlow系列专题(五):BP算法原理

下面是基于随机梯度下降更新参数的反向传播算法:

<

pre style=”margin: 0px; padding: 0px; border: 0px; font: inherit; vertical-align: baseline; word-break: break-word;”>

输入:训练集:D={(x^((i)),y^((i)) )},i=1,2,⋯,N
 学习率:γ
 训练回合数(epoch):T
初始化网络各层参数w^((l))和b^((l))
for t=1⋯T do
 打乱训练集中样本的顺序
 for i=1⋯N do
 (1)获取一个训练样本,前馈计算每一层的输入z^((l))和输出n^((l))
 (2)利用公式*反向传播计算每一层的误差项δ^((l))
 (3)利用公式和公式*计算每一层参数的导数
 (4)更新参数:
 w^((l))=w^((l))-γδ^((l)) (n^((l)) )^T
 b^((l))=b^((l))-γδ^((l))

以上是BP算法的介绍,下次文章中有一个BP算法计算的完整示例,希望加深理解的读者可以跟着示例计算一遍。

四.参考文献

[1]. Learing representations by back-propagating erros.David E.Rumelhart,Geoffrey E.Hinton,Ronald J.Williams


对深度学习感兴趣,热爱Tensorflow的小伙伴,欢迎关注我们的网站http://www.panchuang.net 我们的公众号:磐创AI。

原创文章,作者:磐石,如若转载,请注明出处:https://panchuang.net/2018/11/05/tensorflow%e7%b3%bb%e5%88%97%e4%b8%93%e9%a2%98%ef%bc%88%e4%ba%94%ef%bc%89%ef%bc%9abp%e7%ae%97%e6%b3%95%e5%8e%9f%e7%90%86/

发表评论

电子邮件地址不会被公开。

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息