来源:原始 Jupyter Notebook。内容已转换为网页阅读格式;下载原文件

生物学家在很早的时候就开始研究人体中的 神经元(neuron)结构。在人体内,神经元的结构形式并非是完全相同的,但是无论结构形式如何,神经元都是由一些基本的成份组成的,主要包括三大部分:细胞体树突(dendrites) 和 轴突(axon)。一个神经元通常具有多个 树突,用来接受传入信号,说白了就是接受其他神经元传递过来的化学物质,这些化学物质汇聚在细胞体内可以改变神经元的电位,如果电位超过一个阈值,那么神经元被激活,并通过 轴突 传递信息到其他神经元。如下图所示:

基于上述的神经元结构,McCulloch 和 Pitts 在 1943 年提出了 M-P 神经元模型(由他们两的名字命名),在这个模型中,神经元接收 n 个输入,每个输入和神经元之间的连接赋有相应的权重,神经元通过某种计算(譬如带权求和)得到一个值,如果这个值超过神经元设定的阈值,就通过一个 激活函数 得到神经元的输出。如下图所示:

常见的激活函数有:

  • 阶跃函数
  • Sigmoid 函数
  • tanh 函数
  • ReLU 函数
  • Softmax 函数

把许多个这样的神经元按一定的层次结构连接起来,就得到了 神经网络(neural network)。

除了 M-P 神经元模型,还有一些其他的神经元模型,比如脉冲神经元(spiking neuron)模型,但是 M-P 神经元模型是目前用的最多的和最广的,可谓是现在神经网络的基石。

参考

  1. https://www.cnblogs.com/subconscious/p/5058741.html
  2. https://www.zhihu.com/question/22553761/answer/36429105
  3. http://fitzeng.org/2018/02/19/MLNeuralNetwork/