https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/Recent content in 神经网络 on Colommar BlogHugozh-CNWed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/01-%E6%84%9F%E7%9F%A5%E6%9C%BA%E6%A8%A1%E5%9E%8B/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/01-%E6%84%9F%E7%9F%A5%E6%9C%BA%E6%A8%A1%E5%9E%8B/感知机 （perceptron）是一种非常简单的用于二分类的线性模型，对于线性可分的样本，它对应于输入空间中将样本划分为正负两类的划分超平面，感知机模型在 1957 年由 Rosenblatt 提出，是神经网络和支持向量机的基础。 感知机模型 在支持向量机的学习中，我们知道，对于一个线性可分的输入空间，存在多个划分超平面可以将训练样本分开https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/02-%E7%A5%9E%E7%BB%8F%E5%85%83%E6%A8%A1%E5%9E%8B/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/02-%E7%A5%9E%E7%BB%8F%E5%85%83%E6%A8%A1%E5%9E%8B/生物学家在很早的时候就开始研究人体中的 神经元 （neuron）结构。在人体内，神经元的结构形式并非是完全相同的，但是无论结构形式如何，神经元都是由一些基本的成份组成的，主要包括三大部分： 细胞体 ， 树突 （dendrites） 和 轴突 （axon）。一个神经元通常具有多个 树突 ，用来接受传入信号，说白了就是接受其他神经元传递过来的https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/03-%E4%BB%8E%E6%84%9F%E7%9F%A5%E6%9C%BA%E5%88%B0%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/03-%E4%BB%8E%E6%84%9F%E7%9F%A5%E6%9C%BA%E5%88%B0%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/通过前面的学习，我们掌握了感知机模型和神经元模型，我们稍微对比一下。 感知机模型如下： 其中 为符号函数，也就是阶跃函数。 神经元模型如下： 其中 可以是 或 或其他类型的激活函数。 可以看出两个模型实际上是一样的，可以说感知机就是一个简化版神经元，如下所示： 这实际上是一个神经网络，左边的输入节点被称为 输入层 ，右边的输出节点被称为https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/04-%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/04-%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95/在上一节中，我们构造了三个两层神经网络来解决 AND、OR、NOT 问题，并构造了一个三层神经网络来解决 XOR 问题，那么这些神经网络结构是如何构造出来的呢？神经元之间的权重和每个神经元的阈值又是如何确定的呢？如果是线性可分问题，两层神经网络就可以解决，这也就是感知机模型，通过前面学习的随机梯度下降法来训练感知机即可求解，如果是线性不可https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/05-%E5%85%B6%E4%BB%96%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/05-%E5%85%B6%E4%BB%96%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/其他常见的神经网络 RBF网络 使用 RBF（Radial Basis Fuction，径向基函数）作为隐层神经元的激活函数。 ART网络 ART（Adaptive Resonance Theory，自适应谐振理论）网络是 竞争型学习 （competitive learning）的重要代表，能比较好的解决竞争型学习中的 可塑性 稳定性困境https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/todo/Wed, 08 Jul 2026 07:33:44 +0000https://www.colommar.asia/ml-notes/%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/todo/神经网络概览 感知机（Perceptrons） 前馈神经网络（Feed Forward Neural Networks） 径向基函数网络（Radial Basis Function，RBF） Hopfield 神经网络（Hopfield Network，HN） 波尔兹曼机（Boltzmann Machines，BM） 受限玻尔兹曼机（Re