个人笔记：实用机器学习（b站李沐）3.3~3.4

3.3线性模型
线性回归假设输出与所有特征呈线性加权关系

预测结果 = 各特征 × 对应重要系数，再加上一个固定基础值。

*损失误差（均方误差）MSE：

在所有w,b的可能取值中找到使MSE最小的取值作为最优取值

线性模型做分类：

可以使用向量来输出（不是输出1个元素而是m个元素 m为类别数）

使用线性模型预测出样本数据类别的置信度，最大置信度的类别为样本数据所对于的类别并用onehot（独热）编码输出。

这里的目标函数是MSE（均方误差）

Softmax Regression（Softmax回归）

模型输出经过 Softmax 变换得到概率向量；第i类的预测概率等于该类原始得分的指数，除以所有类别得分指数之和。

把无界的原始置信分数o转化为合法概率：所有数值≥0，全部类别概率相加等于 1。

理想输出是 “最大值对应类别为 1、其余为 0” 的独热向量；Softmax 是这个离散目标的连续可微近似，方便梯度下降训练。

若样本真实类别为 i，只要其他类别原始得分 oj 远小于 oi，损失就不会施加大量惩罚，不会像 MSE 一样强制把其他类分数压到 0。

【总结】：

交叉熵损失的优势：

（1）MSE 会要求所有非目标类概率趋近 0；交叉熵只关心真实类概率是否足够大，只要真实类得分远高于其他类，损失就很小，不会浪费模型能力。

（2）当预测和真实差距大时，交叉熵的梯度很大，模型能快速修正错误； MSE 在误差大时梯度平缓，收敛速度慢，分类效果差。

小批量随机梯度下降 Mini-batch SGD

w：是模型的参数，包括线性模型的w(权重)和b(偏移)

b：表示批量大小（需要自己设计）

η 表示在时间 t 的学习率（需要我们来设计，不能选太小，会走不动；也不能选太大，可能整个模型就出问题了）
迭代循环：

梯度为目标函数对参数w求导

优点：小批量随机梯度下降可以解决出决策树以外的模型

缺点：超参数b与η需要自己选