1006: 多层感知机实现

      多层感知机（multi perceptron，MLP）。对于普通的含隐藏层的感知机，由于其全连接层只是对数据做了仿射变换，而多个仿射变换的叠加仍然是一个仿射变换，即使添加更多的隐藏层，这种设计也只能与仅含输出层的单层神经网络等价。解决问题的一个方法是引入非线性变换，对隐藏变量使用非线性变化，然后作为下一个全连接层的输入，这个非线性函数被称为激活函数。
      激活函数主要有ReLu、Sigmoid、tanh。其中ReLu计算简单，且不像其他两个哪个容易造成梯度消失，使用较多。
      多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出激活函数进行变换。多层感知机的层数和各隐藏层中隐藏单元个数都是超参数。以单隐藏层为例，多层感知机按以下方式计算输出：

      其中，表示激活函数。

3

3