来源：原始 Jupyter Notebook。内容已转换为网页阅读格式；下载原文件。

在前一节中，我们学习了 kNN 算法就是要找到距离输入样本最近的 k 个样本，然后再通过多数表决规则进行分类。那么这里的距离应该如何定义？

我们在中学时就学过怎么计算平面几何中（二维空间）两点之间的距离：

如上图所示，点 P1(x1,y1)P_1(x_1, y_1) 和 点 P2(x2,y2)P_2(x_2, y_2) 之间的距离可以定义为：

d=(x1−x2)2+(y1−y2)2 d = \sqrt{(x_1-x_2)^2 + (y_1-y_2)^2}

在立体几何中（三维空间）两点之间的距离为：

d=(x1−x2)2+(y1−y2)2+(z1−z2)2 d = \sqrt{(x_1-x_2)^2 + (y_1-y_2)^2 + (z_1-z_2)^2}

这其实就是 欧氏距离（Euclidean Distance，亦称 欧几里得距离）或 毕达哥拉斯距离（Pythagorean Distince），它的更一般形式可以扩展到 n 维空间：

d=∑k=1n(x1k−x2k)2 d = \sqrt{\sum_{k=1}^n (x_{1k} - x_{2k})^2}

这是最基本的距离度量方法，除此之外，这一节还将介绍几种其他的距离度量方法。

曼哈顿距离

曼哈顿距离（Manhattan Distance）是由十九世纪的赫尔曼·闵可夫斯基所提出的，它表示在欧式空间中的两点所形成的线段对轴产生的投影的距离总和。如下图所示，绿色代表两点之间的直线距离，也就是欧式距离，红色则代表曼哈顿距离，蓝色和橙色代表等价的曼哈顿距离。

曼哈顿是美国纽约市最小的一个行政区，这里的街道就像棋盘网格一样，类似于上图，假设要从 A 点开车去 B 点，只能沿着街道行走，这就是曼哈顿距离这个名称的由来。所以它也被称为 城市街区距离（City Block Distance），它的计算公式如下：

d=∑k=1n∣x1k−x2k∣ d = \sum_{k=1}^n |x_{1k} - x_{2k}|

切比雪夫距离

切比雪夫距离（Chebyshev Distance）起源于国际象棋中国王的走法，玩过国际象棋的朋友都知道，国王既能横着走，又能斜着走，走一步能够移动到相邻的 8 个方格中的任意一个，那么它从 点 P1(x1,y1)P_1(x_1, y_1) 走到点 P2(x2,y2)P_2(x_2, y_2) 最少需要几步呢？如下图所示：

很显然：

d=max(∣x1−x2∣,y1−y2) d = max(|x_1-x_2|, y_1-y_2)

这就是切比雪夫距离，或者叫做棋盘距离。

// TODO 切比雪夫距离和曼哈顿距离的转换：https://www.biaodianfu.com/chebyshev-distance.html

闵可夫斯基距离

闵可夫斯基距离（Minkowski Distance）又叫 闵氏距离，它并不是一种距离，而是一组距离的定义：

d=∑k=1n∣x1k−x2k∣pp d = \sqrt[p]{\sum_{k=1}^n |x_{1k} - x_{2k}|^p}

可以看出：

  • 当 p = 1 时，就是曼哈顿距离
  • 当 p = 2 时，就是欧式距离
  • 当 p→∞p \to \infty 时，就是切比雪夫距离

标准化欧式距离

闵氏距离，包括曼哈顿距离、欧氏距离和切比雪夫距离都存在明显的缺点。假设在平面坐标系中有三个点：A(180,50)A(180,50)、B(190,50)B(190,50)、C(180,60)C(180,60) 分别代表三个人的身高和体重特征，根据闵氏距离的定义，可以计算出 AB 之间的距离和 AC 之间的距离是相等的，但是很显然，身高上的 10cm 和 体重上的 10kg 并不能划等号。这就是闵氏距离的缺点：它忽略了每个分量的单位，也就是量纲（scale），而且它没有考虑每个分量的分布（期望、方差等）可能是不同的。

标准化欧氏距离（Standardized Euclidean Distance）就是针对闵氏距离的缺点而提出的改进方案。假设样本集 X 的数学期望或均值（mean）为 m，标准差（standard deviation）为 s，那么可以将 X 标准化为：

X∗=X−ms X^* = \frac{X - m}{s}

比如上面的 ABC 三个人，我们计算出身高的均值和标准差：

mheight=180+190+1803=183.33mweight=50+50+603=53.33sheight2=(180−mheight)2+(190−mheight)2+(180−mheight)23=22.22sweight2=(50−mweight)2+(50−mweight)2+(60−mweight)23=22.22sheight=sheight2=4.71sweight=sweight2=4.71 \begin{align} m_{height} &= \frac{180+190+180}{3} = 183.33 \\ m_{weight} &= \frac{50+50+60}{3} = 53.33 \\ s^2_{height} &= \frac{(180-m_{height})^2+(190-m_{height})^2+(180-m_{height})^2}{3} = 22.22 \\ s^2_{weight} &= \frac{(50-m_{weight})^2+(50-m_{weight})^2+(60-m_{weight})^2}{3} = 22.22 \\ s_{height} &= \sqrt{s^2_{height}} = 4.71 \\ s_{weight} &= \sqrt{s^2_{weight}} = 4.71 \\ \end{align}

将 ABC 标准化：

A∗=(180−mheightsheight,50−mweightsweight)=(−0.707,−0.707)B∗=(190−mheightsheight,50−mweightsweight)=(1.416,−0.707)C∗=(180−mheightsheight,60−mweightsweight)=(−0.707,1.416) \begin{align} A^* &= (\frac{180-m_{height}}{s_{height}}, \frac{50-m_{weight}}{s_{weight}}) = (-0.707, -0.707) \\ B^* &= (\frac{190-m_{height}}{s_{height}}, \frac{50-m_{weight}}{s_{weight}}) = (1.416, -0.707) \\ C^* &= (\frac{180-m_{height}}{s_{height}}, \frac{60-m_{weight}}{s_{weight}}) = (-0.707, 1.416) \\ \end{align}

标准化后的 X∗X^* 数学期望为 0，方差为 1。然后就可以计算标准化后的 A∗B∗A^*B^* 和 A∗C∗A^*C^* 之间的距离。这里计算出来的结果还是相等，这是因为样本数据较少，还不足以反映各个分量的分布情况。

经过简单的推导可以得到标准化欧式距离的公式：

d=∑k=1n(x1k−x2ksk)2=∑k=1n1sk2(x1k−x2k)2 d = \sqrt{\sum_{k=1}^n (\frac{x_{1k}-x_{2k}}{s_k})^2} = \sqrt{\sum_{k=1}^n \frac{1}{s_k^2} (x_{1k}-x_{2k})^2}

其中标准差的平方 s2s^2 代表方差，如果将方差的倒数看成一个权重，这个公式可以看成是一种 加权欧式距离（Weighted Euclidean Distance）。

马哈拉诺比斯距离

马哈拉诺比斯距离（Mahalanobis distance）简称马氏距离，它考虑各个分量（特征）之间的相关性，和各个分量的尺度无关，马氏距离越小，相似度越大。

给定样本集合 X=(xij)m×nX = (x_{ij})_{m \times n}，其协方差矩阵记作 SS，则样本 xix_i 和 xjx_j 之间的马氏距离定义为：

dij=[(xi−xj)TS−1(xi−xj)]1/2 d_{ij} = \big [ (x_i-x_j)^T S^{-1} (x_i-x_j) \big ] ^{1/2}

其中，

xi=(x1i,x2i,...,xmi)Txj=(x1j,x2j,...,xmj)T \begin{align} x_i = (x_{1i}, x_{2i}, ..., x_{mi})^T \\ x_j = (x_{1j}, x_{2j}, ..., x_{mj})^T \\ \end{align}

当 SS 为单位矩阵时，即样本数据的各个分量互相独立，且各个分量的方差为 1 时，马氏距离就是欧式距离。

相关系数

样本之间的相似度也可以用 相关系数（correlation coefficient）来表示，相关系数的绝对值越接近 1，表示样本越相似，越接近 0，表示样本越不相似。

样本 X 和 Y 的相关系数定义如下：

Corr(X,Y)=Cov(X,Y)Var(X)Var(Y)=Cov(X,Y)δ(X)δ(Y) Corr(X, Y) = \frac {Cov(X, Y)}{\sqrt{Var(X)} \sqrt{Var(Y)}} = \frac {Cov(X, Y)}{\delta(X)\delta(Y)}

其中，Cov(X,Y)Cov(X, Y) 表示 X 和 Y 的协方差：

Cov(X,Y)=E([X−E(X)][Y−E(Y)]) Cov(X, Y) = E \Big ( \big [ X-E(X) \big ] \big [ Y-E(Y) \big ] \Big )

E(X)E(X) 和 E(Y)E(Y) 分别表示 X 和 Y 的数学期望，X−E(X)X-E(X) 和 Y−E(Y)Y-E(Y) 分别表示 X 和 Y 的偏差，协方差也就是 X 的偏差和 Y 的偏差乘积的数学期望。

Var(X)Var(X) 和 Var(Y)Var(Y) 表示 X 和 Y 的方差，δ(X)\delta(X) 和 δ(Y)\delta(Y) 表示 X 和 Y 的标准差。

余弦相似度

余弦相似度（Cosine similarity）用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小，相比距离度量，余弦相似度更加注重两个向量在方向上的差异，而非距离或长度上。两个向量方向相同时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量方向相反时，余弦相似度的值为-1。

余弦相似度通常用于信息检索领域，譬如给每个词赋予不同的维度，每个维度由一个向量表示，其各个维度上的值对应于该词在文档中出现的频率，通过余弦相似度可以计算出两篇文档在其主题方面的相似度。

余弦相似度可以由 欧几里得点积公式 导出，根据欧几里得点积公式，两个向量的点积为：

a⋅b=∥a∥∥b∥cos⁡θ a \cdot b = \|a\| \|b\| \cos \theta

从而有：

similarity=cos⁡θ=a⋅b∥a∥∥b∥=∑i=1nai×bi∑i=1nai2×∑i=1nbi2 \begin{align} similarity &= \cos \theta \\ &= \frac {a \cdot b}{\|a\| \|b\|} \\ &= \frac {\sum_{i=1}^n a_i \times b_i} {\sqrt{\sum_{i=1}^n a_i^2} \times \sqrt{\sum_{i=1}^n b_i^2}} \end{align}

其他距离度量方法

除此之外，还有很多其他的距离度量方法，包括：

  • 巴氏距离
  • 汉明距离
  • 杰卡德距离
  • 信息熵

参考

  1. 从K近邻算法、距离度量谈到KD树、SIFT+BBF算法
  2. 机器学习——几种距离度量方法比较