05. 其他神经网络

来源：原始 Jupyter Notebook。内容已转换为网页阅读格式；下载原文件。

其他常见的神经网络

• RBF网络

使用 RBF（Radial Basis Fuction，径向基函数）作为隐层神经元的激活函数。

• ART网络

ART（Adaptive Resonance Theory，自适应谐振理论）网络是 竞争型学习（competitive learning）的重要代表，能比较好的解决竞争型学习中的 可塑性-稳定性困境（stability-plasticity dilemma），可塑性指神经网络要有学习新知识的能力，稳定性是指神经网络在学习新知识时要保持对旧知识的记忆。所以 ART 网络可以增量学习（incremental learning） 或 在线学习（online learning）。

• SOM网络

SOM（Self-Organizing Map，自组织映射）网络也是一种竞争型学习网络，能将高维输入数据映射到低维空间，同时保持输入空间在高维的拓扑结构。也叫做 自组织特征映射网络 或 Kohonen 网络。

• 级联相关网络

级联相关（Cascade Correlation）网络是 结构自适应网络 的重要代表，一般的神经网络模型网络结构是事先固定的，而结构自适应网络将网络结构也作为学习目标，在训练过程中，自动加入隐层节点。

• Elman网络

Elman网络是一种常见的 递归神经网络（recurrent neural networks），递归神经网络中允许出现环状结构，即可以让一些神经元的输出反馈回来作为输入信号，这使得网络在 t 时刻的输出状态不仅与 t 时刻的输入有关，还与 t-1 时刻的网络状态有关，从而可以处理与时间有关的动态变化。

• Boltzmann机

Boltzmann机也是一种递归神经网络，它是一种基于能量模型（energy-based model）的神经网络，能量最小化时网络达到理想状态，这时称为 Boltzmann分布 或 平衡态（equilibrium）或 平稳分布（stationary distribution）。标准的Boltzmann机是一个全连接图，训练复杂度很高，现实中常采用 受限Boltzmann机（RBM，Restricted Boltzmann Machine）。

深度学习

深度学习（deep learning）就是多隐层神经网络，这样的网络难以使用BP算法训练，通常使用以下方法：

• 无监督逐层训练：预训练（pre-training）+ 微调（fine-tuning），比如在 深度信念网络（Deep Belief Network，简称 DBN）中每层都是一个受限 Boltzmann 机
• 权共享（weight sharing），让一组神经元使用相同的连接权，比如在 卷积神经网络（Convolutional Neural Network，简称 CNN）中发挥了重要作用