机器学习——几种距离度量方法

jupiter
2021-01-24 / 0 评论 / 601 阅读 / 正在检测是否收录...
温馨提示:
本文最后更新于2021年11月25日,已超过1108天没有更新,若内容或图片失效,请留言反馈。

机器学习——几种距离度量方法

1. 欧氏距离(Euclidean Distance)

欧氏距离是最容易直观理解的距离度量方法,我们小学、初中和高中接触到的两个点在空间中的距离一般都是指欧氏距离。

欧氏距离

  • 二维平面上点a(x1,y1)与b(x2,y2)间的欧氏距离:

欧氏距离2维

  • 三维空间点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离:

欧氏距离3维

  • n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离(两个n维向量):

欧氏距离n维

2. 曼哈顿距离(Manhattan Distance)

顾名思义,在曼哈顿街区要从一个十字路口开车到另一个十字路口,驾驶距离显然不是两点间的直线距离。这个实际驾驶距离就是“曼哈顿距离”。曼哈顿距离也称为“城市街区距离”(City Block distance)。

曼哈顿距离

  • 二维平面两点a(x1,y1)与b(x2,y2)间的曼哈顿距离:

曼哈顿距离2维

  • n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的曼哈顿距离:

曼哈顿距离n维

3. 切比雪夫距离 (Chebyshev Distance)

国际象棋中,国王可以直行、横行、斜行,所以国王走一步可以移动到相邻8个方格中的任意一个。国王从格子(x1,y1)走到格子(x2,y2)最少需要多少步?这个距离就叫切比雪夫距离。

切比雪夫距离_国际象棋

  • 二维平面两点a(x1,y1)与b(x2,y2)间的切比雪夫距离:

切比雪夫距离2维

  • n维空间点a(x11,x12,…,x1n)与b(x21,x22,…,x2n)的切比雪夫距离:

切比雪夫距离n维

4.标准化欧氏距离 (Standardized Euclidean Distance)

定义: 标准化欧氏距离是针对欧氏距离的缺点而作的一种改进。标准欧氏距离的思路:既然数据各维分量的分布不一样,那先将各个分量都“标准化”到均值、方差相等。假设样本集X的均值(mean)为m,标准差(standard deviation)为s,X的“标准化变量”表示为:

标准化欧氏距离

  • 标准化欧氏距离公式:

标准化欧氏距离公式

如果将方差的倒数看成一个权重,也可称之为加权欧氏距离(Weighted Euclidean distance)。

5 余弦距离(Cosine Distance)

几何中,夹角余弦可用来衡量两个向量方向的差异;机器学习中,借用这一概念来衡量样本向量之间的差异。

  • 二维空间中向量A(x1,y1)与向量B(x2,y2)的夹角余弦公式:

余弦距离

  • 两个n维样本点a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夹角余弦为:

余弦距离

即:

余弦距离

夹角余弦取值范围为[-1,1]。余弦越大表示两个向量的夹角越小,余弦越小表示两向量的夹角越大。当两个向量的方向重合时余弦取最大值1,当两个向量的方向完全相反余弦取最小值-1。

参考资料

  1. 机器学习——几种距离度量方法比较:https://my.oschina.net/hunglish/blog/787596
0

评论 (0)

打卡
取消