一、模型解释

1.1 用人脑解释

神经网络是模拟人的神经元，通过输入电化学信号（Input：Dendrite）经过细胞核（Dealing：Nucleus）处理得到结果（Output：Axon）传给下一个神经元（下一个输入）。

1.2 用模型解释

这个相比于人脑神经元系统：我们拿肿瘤分类举例

偏置单元（bias unit）： $x_{0}=1$

待训练参数： $\theta_{1},\theta_{2},\theta_{3},\theta_{4}$

        输入（Input）： $x_{1},x_{2},x_{3}$

处理函数（Dealing）：激活函数，逻辑回归的激活函数为Sigmoid函数

$g(z) = \frac{1}{1+e^{-z}} \ \ \ z=\theta^{T}x$

输出（Output）：根据处理函数处理出的值和判断阈值确定分类或者输出逻辑是或者逻辑否。

神经网络一般有三层：分别是输入层、隐藏层和输出层。

我们定义几个符号：

         $a_{i}^{(j)}$ ：是第 $j$ 层的第 $i$ 个激活单元

         $\Theta ^{(j)}$ ：控制从层 $j$ 到层 $j+1$ 的函数映射的权重矩阵
且一般每新的一个隐藏层会多一个隐藏层，如果用 $s_{j}$ 表示在 $j$ 层的单元数量， $s_{j+1}$ 表示在 $j+1$ 层的单元数量，那么 $\Theta ^{(j)}$ 的维度为 $s_{j+1} \times (s_{j}+1)$ 。

二、通过异或门的神经网络理解偏置量、神经网络的传播

2.1 与门的神经网络表示

这里我们选择单层隐藏层的神经网络，假设我们训练出的参数 $\theta_{1},\theta_{2}$ 为20，20。（怎么训练的不用管，后文会介绍）。偏置量 $\theta_{0}$ 设置为30。

我们输入为 $(x_{1},x_{2})\subset binary(0\ or\ 1)$ ，输出为 $y = x_{1} \ AND \ x_{2}$

神经网络如下：

①我们输入一组参数判断是否是与逻辑，比如 $(x_{1},x_{2}) = (1,0)$

则激活函数 $h_{\Theta }(x) = g(-30 + 20*1 + 20*0)=g(-10)$ ，通过观察Sigmoid函数：

$g(-10)$ 的值低于0.01，远低于0.5，我们认为是约等于0的。也就是不存在与关系。

②我们输入一组参数判断是否是与逻辑，比如 $(x_{1},x_{2}) = (1,1)$

则激活函数 $h_{\Theta }(x) = g(-30 + 20*1 + 20*1)=g(10)$ ，通过观察Sigmoid函数：

$g(10)$ 的值接近于1，我们认为存在与关系。

2.2 或门的神经网络表示

这里我们选择单层隐藏层的神经网络，假设我们训练出的参数 $\theta_{1},\theta_{2}$ 为20，20。（怎么训练的不用管，后文会介绍）。偏置量 $\theta_{0}$ 设置为-10。

我们输入为 $(x_{1},x_{2})\subset binary(0\ or\ 1)$ ，输出为 $y = x_{1} \ OR \ x_{2}$

神经网络如下：

①我们输入一组参数判断是否是与逻辑，比如 $(x_{1},x_{2}) = (1,0)$

则激活函数 $h_{\Theta }(x) = g(-10 + 20*1 + 20*0)=g(10)$ ，通过观察Sigmoid函数：

$g(10)$ 的值接近于1，我们认为存在或关系。

②我们输入一组参数判断是否是与逻辑，比如 $(x_{1},x_{2}) = (1,1)$

则激活函数 $h_{\Theta }(x) = g(-10 + 20*1 + 20*1)=g(30)$ ，通过观察Sigmoid函数：

$g(30)$ 的值接近于1，我们认为存在与关系。

2.3 异或门的神经网络表示

我们结合与门和非门，推导出异或门。

异或门对应两种情况： $(1,0),(0,1)$

$x_{1} \ AND \ x_{2}$ 对应的情况是 $(1,1)$

$(NOT \ x_{1}) \ AND \ (NOT \ x_{2})$ 对应的情况是 $(0,0)$

则去掉这两种情况便得到了异或门。我们画出神经网络的结构：

推导前面已经给出，现不重复推导。