一、人工神经网络

关于对神经网络的介绍和应用，请看如下文章

​ 神经网络潜讲

​ 如何简单形象又有趣地讲解神经网络是什么

二、人工神经网络分类

• 按照连接方式——前向神经网络、反馈(递归)神经网络

• 按照学习方式——有导师学习神经网络、无导师学习神经网络

• 按照实现功能——拟合(回归)神经网络、分类神经网络

三、BP神经网络概述

1. 特点

• BP神经网络中 BP 是指 BackPropagation (反向传播) ，指的是误差的反向传播 ，其信号是向前传播的 ， 从结构上分类 ，它是前向有导师学习神经网络 ，BP神经网络要求激活函数必须是可微分的函数。

2. 学习算法

(1) 传播阶段

​ 首先是信号传播

​ 其次是误差的反向传播

​ 将误差按照信号的反方向传播，结果的误差由权值设置不合理造成，这个步骤用来保证输出结果的正确性。

(2) 权值更新阶段

• 梯度下降法——利用梯度下降最快的方向进行权值修正

3. 举例

​ 图中是一个简单的神经网络，可以计算出 $$ y_{1} = f_{1}(w_1x_1+w_3x_2) $$, $ y_2 = f_2(w_2x_1+w_4x_2+w_5x_3) $, $ y_3 = f_3(w_6x_3) $, \(y_4 = f_4(w_{11}y_1+w_{21}y_2+w_{31}y_3)\), \(y_5 = f_5(w_{32}y3)\)。

​ 最终输出为 \(y = f(w_{41}y4 + w_{51}y5)\) 。假设预期结果为 \(z\) 。

​ 可以将最终结果与预期结果 \(z\) 作对比，得到误差值 \(δ\) , 从而得到 \(δ_4 = w_{41}δ\) , \(δ_5 = w_{51}δ\) ，\(δ_1 = w_{11}δ_4\) ，\(δ_2 = w_{21}δ_4\) ，\(δ_3 = w_{31}δ_4+w_{32}δ_5\) 。

​ 因此可以得到 \(w_1\prime = w_1 + \eta\delta_1\cfrac{\mathrm{d}f_1(e) }{\mathrm{d}e}x_1\) , \(e\) 为 输入参数，其他权值修改同理。

四、数据归一化

1. 什么是数据归一化
   • 将数据映射到 [0，-1] 或 [-1，1] 区间或其他区间
2. 为什么要数据归一化
   • 输入数据的单位不一样，有些数据的范围很大，导致的结果是神经网络收敛慢、训练时间长。
   • 数据范围大的输入在模式分类中的作用可能会偏大，数据范围小的输入在模式分类中的作用可能会偏小
   • 由于神经网络输出层的激活函数的值域是有限制的，因此需要将网络训练的目标数据映射到激活函数的值域。
   • 某些激活函数在 (0,1) 外很平缓，区分度很小。
3. 归一化算法
   • \(y = (x-min)/(max - min)​\)
   • \(y = 2*(x-min)/(max - min)-1\)

五、函数介绍

• 归一化函数——mapminmax()
  • [Y,PS] = mapminmax(X,YMIN,YMAX)，X是预处理的数据，Ymin和Ymax是期望的每一行的最小值与最大值，Y是规范化得到的数据，这种规范化的映射记录在 PS 中。
  • Y = mapminmax(\'apply\',X,PS)，这种方法一般是用在上一条语句之后，用上一条语句得到的 PS ，可以使得这里要处理的数据的规范化规则和上一条是一样的。
  • X = mapminmax(\'reverse\',Y,PS) ，预处理之后的数据进行反转得到原始数据 。
• 创建前向神经网络——newff()
  • net = newff(P,T,S,TF,BTF,BLF,PF,IPF,OPF,DDF)
  • P ：输入参数矩阵。
  • T ：目标参数矩阵。
  • S ：N-1个隐含层的数目（S（i）到S（N-1）），默认为空矩阵[] 。
  • TF：相关层的传递函数，默认隐含层为tansig函数，输出层为purelin函数。此外还有 purelin： 线性传递函数。 　tansig ：正切S型传递函数。logsig ：对数S型传递函数。
  • BTF：BP神经网络学习训练函数，默认值为trainlm函数 。此外还有 traingd：最速下降BP算法。traingdm：动量BP算法。trainda：学习率可变的最速下降BP算法。traindx：学习率可变的动量BP算法。trainrp：弹性算法。变梯度算法：traincgf（Fletcher-Reeves修正算法）traincgp（Polak_Ribiere修正算法）traincgb（Powell-Beale复位算法）trainbfg（BFGS 拟牛顿算法）trainoss（OSS算法）。
  • BLF：权重学习函数，默认值为learngdm。PF：性能函数，默认值为mse，可选择的还有sse，sae，mae，crossentropy。
  • IPF，OPF，DDF均为默认值即可。
• 训练函数——train()
  • [net,tr,Y,E,Pf,Af] = train(net,P,T,Pi,Ai)
  • net：神经网络
  • P : 神经网络输入
  • T：神经网络目标(可选，有或无)
  • Pi：初始输入延迟条件(默认为0)
  • Ai：初始层延迟条件(默认为0)
  • 返回值 net ：新的训练过的网络
  • 返回值 tr ：训练记录
• 仿真，模拟，预测——sim()
  • [Y,Pf,Af,E,perf] = sim(net,P,Pi,Ai,T)
  • Y：输出
  • Pf：最终输出延迟
  • Af：最终层延迟
  • E：误差向量
  • perf：平均绝对误差(网络性能)
  • P：输入
  • Pi：初始输入延迟，默认为0
  • Ai：初始层延迟，默认为0
  • T：神经网络目标

六、具体实例

• 问题描述
  ​

• 解题思路

​

• 代码

%% I. 清空环境变量
clear all
clc

%% II. 训练集/测试集产生
%%
% 1. 导入数据
load spectra_data.mat

%%
% 2. 随机产生训练集和测试集，因为是随机产生，所以每次执行的结果会不同
temp = randperm(size(NIR,1));
% 训练集——50个样本
P_train = NIR(temp(1:50)