{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "生物学家在很早的时候就开始研究人体中的 **神经元**（neuron）结构。在人体内，神经元的结构形式并非是完全相同的，但是无论结构形式如何，神经元都是由一些基本的成份组成的，主要包括三大部分：**细胞体**，**树突**（dendrites） 和 **轴突**（axon）。一个神经元通常具有多个 **树突**，用来接受传入信号，说白了就是接受其他神经元传递过来的化学物质，这些化学物质汇聚在细胞体内可以改变神经元的电位，如果电位超过一个阈值，那么神经元被激活，并通过 **轴突** 传递信息到其他神经元。如下图所示：\n",
    "\n",
    "<img src=\"../images/neutron.jpg\" width=\"500px\" />\n",
    "\n",
    "基于上述的神经元结构，McCulloch 和 Pitts 在 1943 年提出了 **M-P 神经元模型**（由他们两的名字命名），在这个模型中，神经元接收 n 个输入，每个输入和神经元之间的连接赋有相应的权重，神经元通过某种计算（譬如带权求和）得到一个值，如果这个值超过神经元设定的阈值，就通过一个 **激活函数** 得到神经元的输出。如下图所示：\n",
    "\n",
    "<img src=\"../images/mp-neuron.png\" width=\"600px\" />\n",
    "\n",
    "常见的激活函数有：\n",
    "\n",
    "* 阶跃函数\n",
    "* Sigmoid 函数\n",
    "* tanh 函数\n",
    "* ReLU 函数\n",
    "* Softmax 函数\n",
    "\n",
    "<div>\n",
    "    <img style=\"display: inline\" src=\"../images/activation-function-1.png\" width=\"300px\" />\n",
    "    <img style=\"display: inline\" src=\"../images/activation-function-2.png\" width=\"300px\" />\n",
    "    <img style=\"display: inline\" src=\"../images/activation-function-3.png\" width=\"300px\" />\n",
    "</div>\n",
    "\n",
    "把许多个这样的神经元按一定的层次结构连接起来，就得到了 **神经网络**（neural network）。\n",
    "\n",
    "除了 M-P 神经元模型，还有一些其他的神经元模型，比如脉冲神经元（spiking neuron）模型，但是 M-P 神经元模型是目前用的最多的和最广的，可谓是现在神经网络的基石。\n",
    "\n",
    "### 参考\n",
    "\n",
    "1. https://www.cnblogs.com/subconscious/p/5058741.html\n",
    "1. https://www.zhihu.com/question/22553761/answer/36429105\n",
    "1. http://fitzeng.org/2018/02/19/MLNeuralNetwork/"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}