{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**微积分角度来讲**，最小二乘法是采用非迭代法，针对代价函数求导数而得出全局极值，进而对所给定参数进行估算。\n",
    "\n",
    "**计算数学角度来讲**，最小二乘法的本质上是一个线性优化问题，试图找到一个最优解。\n",
    "\n",
    "**线性代数角度来讲**，最小二乘法是求解线性方程组，当方程个数大于未知量个数，其方程本身无解，而最小二乘法则试图找到最优残差。\n",
    "\n",
    "**几何角度来讲**，最小二乘法中的几何意义是高维空间中的一个向量在低维子空间的投影。\n",
    "\n",
    "**概率论角度来讲**，如果数据的观测误差满足**高斯分布**（Gaussian distribution）或**正态分布**（Normal distribution），则最小二乘解就是使得观测数据出现概率最大的解，即**最大似然估计**（Maximum Likelihood Estimate，MLE），利用已知的样本结果，反推出最有可能（最大概率）导致这样结果的参数值。\n",
    "\n",
    "![](../images/gaussian-distribution.png)\n",
    "\n",
    "对于误差不符合高斯分布的，可以扩展到**广义误差分布**（Generalized error distribution，简称 GED）或**指数分布**（Exponential power distribution），广义误差是用来描述一类中间高两边低连续且对称的概率密度函数：\n",
    "\n",
    "$$\n",
    "p(x) \\mathrm{d}x = {1 \\over 2 a \\Gamma(1+1/b)} \\exp{(-|x/a|^b)} \\mathrm{d}x\n",
    "$$\n",
    "\n",
    "当 $b = 2$ 且 $a = \\sqrt{2}\\sigma$ 时，上式就退化成**高斯分布**，当 $b = 1$ 时，上式就退化成 **拉普拉斯分布**（Laplace distribution）。在一些长尾（long tail）的数据中，经常服从拉普拉斯分布，对他们来说**最小一乘法**才是更好的解法。\n",
    "\n",
    "#### 参考\n",
    "\n",
    "https://www.jianshu.com/p/40e251127025"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}