人工智能的三大概念#

机器学习的两种方式#

机器学习的发展史#

机器学习数据集相关术语#

• 样本: 一行数据就是一个样本.
• 特征: 一列数据就是一个特征(培训学科、工作地点等).
• 标签/目标(label/target): 模型要预测的那一列 (本例中是就业薪资).
• 数据集: 多个样本组成.
• 训练集: 用来训练模型的数据集,由两部分组成:
  • x_train: 训练集的特征
  • y_train: 训练集的标签
• 测试集: 用来检验模型的数据集:
  • x_test / y_test

机器学习算法分类#

机器学习建模流程#

1. 获取数据: 明确数据源并加载(图像/文本/表格…)
2. 数据预处理: 过滤空值、异常值等
3. 特征工程: 反复做特征,让模型效果更好
4. 模型训练: fit
5. 模型预测: predict
6. 模型评估: 用测试集评估(见”回归模型评估”), 效果不好则回到 3 调整特征或模型

特征工程#

是什么: 将原始数据加工成模型可用信息的过程.

• 特征提取: 从原始数据中提取与任务相关的特征. 要贴合任务,任务不同,特征不同.

• 特征预处理: 数据清洗、数值变换,消除数据缺陷, 让数据适配算法. 典型问题是量纲问题,两种解决法:

  • 归一化(Min-Max): $(x-x_{min})/(x_{max}-x_{min})$, 压缩到 [0,1] 区间.
  • 标准化(Z-score): $(x-\mu)/\sigma$, 变换为均值0、方差1,不限定取值范围.

• 特征降维: 在核心信息损失最小的前提下,将高维特征映射到低维子空间.

  • 区分: 特征选择是”挑”出原有特征的子集,含义不变; 特征降维是”造”出新特征(PCA、AutoEncoder),
  • 新特征是原始特征的数学组合,一般无直观业务含义.

• **特征选择 **: 选取有用的特征列,将无用的特征列移除.

  为什么?

  • 降维降噪,防过拟合

    无用或冗余的数据对模型就是噪声,模型会试图从”噪声” 中学习,在训练集上表现的头头是道,到了测试集上一塌糊涂,原因就是模型一直在”背噪声”.

  • 省算力,省时间

    移除无用列,节省算力. 如在正规方程中,复杂度为o(n^3)

  • 确保可解释性

    移除无用列,如决定薪资的是人的手机号,这个完全没有意义.

  • 规避维度灾难

    特征维度过高时,数据在高维空间里变的过于稀疏,模型找不到规律.

• 特征组合: 将两个或多个特征相乘,交叉,拼接,生成新的特征.

  与降维的区别是: 降维是压缩信息,而组合是创造信息.

  为什么?

  • 表达交互效应

    如学区房贵的条件是: 是学区房且面积大,单独看一列,可能会有一些误解,如单看面积,有些城区小户型也贵.将两列组合起来,可以更有效的表达信息.

// todo#

1. 分析线性回归的公式组成及作用

2. 梯度下降中,有四种梯度下降计算方法,推导一下他们的公式

线性回归#

一元线性回归是什么: 求一条直线,让它尽可能靠近所有数据点,用于值预测.

多元线性回归是什么: 是一个超平面,让它尽可能靠近所有数据点,用于值预测.

一元线性回归方程: $y = wx + b$

• w: 斜率(权重) b: 截距(偏置)

多元线性回归方程: $y = w_1x_1 + \cdots + w_nx_n + b = \boldsymbol{w}^T\boldsymbol{x} + b$

w有多个,b只有一个,所以可以把w抽离出来,作为一个矩阵,但因为矩阵有一些运算规则,所以矩阵需要进行转置.

线性回归的目标就是 找出最优的w和b,使预测值与真实值的总误差最小. 误差使用损失函数进行衡量.

如何”优化”损失函数?#

何为优化? 优化 = 寻找使损失函数J(w,b)取最小值的参数w和b.即求解w,b两个变量.

目标: 到达谷底(误差最小)

• 对参数 w, b 的优化: 用梯度下降压低损失的值,这是”优化”在ML中的默认含义.
• 对损失函数本身: 它是人设计的,可以修改(换函数形式、加正则项、改权重);
• 损失函数定义了模型的价值观.
• 注意: 训练找的是一个最优点(参数组合), 不是”一条最短路径”.
• 迭代轨迹只是手段.

回归模型评估方法#

是什么: 定量判断回归模型预测好坏的手段. 作用: 检验泛化能力、发现问题、对比选型. 在测试集上计算.

MSE 均方误差

公式: $MSE = \frac{1}{m}\sum_{i=1}^{m}\big(y^{(i)} - \hat{y}^{(i)}\big)^2$

所有预测值和真实值差值的平方差的平均值.

$m$为样本数量,$y$为实际值,$\hat{y}$为预测值

RMSE 均方根误差

公式: $RMSE = \sqrt{MSE} = \sqrt{\frac{1}{m}\sum_{i=1}^{m}\big(y^{(i)} - \hat{y}^{(i)}\big)^2}$

所有预测值和真实值差值的平方差的平均值开根号.

等于MSE开根号,就这么简单

$m$为样本数量,$y$为实际值,$\hat{y}$为预测值

MAE 平均绝对误差

公式: $MAE = \frac{1}{m}\sum_{i=1}^{m}\big|y^{(i)} - \hat{y}^{(i)}\big|$

所有预测值和真实值的差值的平均值.

$m$为样本数量,$y$为实际值,$\hat{y}$为预测值

拟合#

拟合: 模型从给定数据中寻找特征与标签关系的过程.

• 欠拟合: 训练集差,测试集也差. 原因: 模型过于简单.

  解决方案:

  • 添加其他特征: 将线性模型通过添加二次项或更高次项使模型泛化能力更强( 说直白一点,一次线性模型是只能画直线,而添加了二次项或更高次项,则可以让模型去画曲线,以此增强拟合能力).
  • 采用能力更强的模型

• 过拟合: 训练集好,测试集差. 原因:

  • 噪声多.
  • 样本量太少.
  • 模型过于复杂.

  解决方案:

  • 重新清洗数据: 对于过多异常点数据,数据不纯的地方进行再处理
  • 增大数据的训练量:
  • 正则化:

• 正好拟合(目标): 训练集好,测试集也好.

泛化: 模型处理未见过的新数据的能力,是训练的最终目标.

奥卡姆剃刀: 泛化性能相同时,优先选择简单的模型.

正则化#

是什么? 在损失函数上额外加一个”惩罚项”,用于约束权重w的大小,让模型学得更简单,是一种缓解过拟合的技术.

公式: $损失函数_新=损失函数_旧+\alpha \cdot 正则化项$

KNN算法#

是什么? 是一个惰性算法,它没有训练过程,只是根据特征自动去训练集中匹配K个样本的相似性最后返回分类或回归值.

定义: 如果一个样本在特征空间中的k个最相似的样本中的大多数属于某一个类别,则该样本也属于这个类别.

分类: 属于有监督学习,既可以完成分类任务,也可以做回归计算.

KNN的核心步骤: 预测新样本时会进行如下步骤:

• 计算新样本与训练集中的每一个样本的距离.

• 选出距离最近的K个样本(K个邻居). 距离计算方式默认为欧几里得距离(欧氏距离),可选还有曼哈顿距离.

  闵可夫斯基距离: $d(x, y) = \left(\sum_{i=1}^{n} |x_i - y_i|^p\right)^{1/p}$

  p=1时,为曼哈顿距离.

  p=2时,为欧几里得距离.

  p>=2时,为切比雪夫距离.

• 分类任务: K个邻居投票,少数服从多数,票数最多的类别作为预测结果.

• 回归计算: 取K个邻居标签的平均值作为预测值.

由此可见,训练集就是全部的样本数据,KNN算法没有真正的”训练”过程.

在KNN中,有一个关键参数K:

• K值太小: 模型容易变得复杂,过拟合.
• K值太大: 模型学不会,欠拟合.
• K=N: 这个完全没有意义,无情的投票机器.

K值设置为奇数是最为推荐的,用以避免平票.

注意点:

1. 欧几里得距离,对于异常点很敏感,所以必须要对数据进行预处理,解决量纲问题. // todo
2. 高维下性能退化: 当维度很高时,所有点之间的欧氏距离会趋于相同,失去了区分度,最近邻在此时失去了意义.
3. 普通KNN算法,对每个特征维度都隐式的声明各维度独立且等权.即各维度的重要性(贡献度)相同.

特征预处理#

为什么? 不同特征的单位不一样,数值大小不一样,模型在学习时会优先学习数值较大的特征,较小的特征被忽略.为了解决这个问题,需要对数据进行预处理,有两种方式: 归一化和标准化.