前馈神经网络的目标函数

ß对于一系列训练样本x，

ß期望输出t=(t1,…, tc)，网络实际输出z=(z1,…, zc)，

ß目标函数：

梯度下降

ß这是一个表示参数w与目标函数J(w)的关系图，红色的部分是表示J(w)有着比较高的取值，需要能够让J(w)的值尽量的低。也就是深蓝色的部分。w1，w2表示w向量的两个维度。

ß先确定一个初始点，将w按照梯度下降的方向进行调整，就会使得J(w)往更低的方向进行变化，如图所示，算法的结束将是在w下降到无法继续下降为止。