读《设计机器学习应用系统》有感-机器学习数学基础

Wed, 29 Jul 2026 00:00:00 +0000

机器学习数学基础

线性代数

如何表示和组织数据

向量基础

特征向量

计算机世界，所有的东西其实都是向量，如果一个向量是由多个特征组成的，则这个向量就是一个特征向量

如一个房价的特征向量：

x=(面积,卧室数,卫生间数,房龄,距地铁站距离)

对于一套 90 平米、两室一卫、房龄 5 年、距地铁站 500 米的房子，其特征向量可以表示为：

x=(90,2,1,5,500)x=(90,2,1,5,500)

要构建一个预测房价的机器学习模型，实际上就是在这个五维向量中寻找规律

如图是一个2维向量，v点是向量的一个分量，整个线上的所有点组成了向量。

表示形式	形状	数学表示	说明
一维数组	`(n,)`	[v1v2⋯vn][v1v2⋯vn]	只有长度，无行列之分
行向量	`(1, n)`	v=[v1v2⋯vn]v=[v1v2⋯vn]	1 行 nn 列的二维数组
列向量	`(n, 1)`	v=[v1v2⋮vn]v=v1v2⋮vn	nn 行 1 列的二维数组

数据集：由多个向量组成的一个数据的集合。

线性相关与线性无关

对于一组向量 v1,v2,…,vkv1,v2,…,vk，存在不全为0的标量c1,c2,…,ckc1,c2,…,c**k，使得 c1v1+c2v2+⋯+ckvk=0c1v1+c2v2+⋯+ckvk=0，则称这组向量线性相关。否则这组向量线性无关。

线性无关意味着没有任何一个向量可以被其他向量表示。则数据集中不存在冗余数据。

数据科学用秩来衡量数据之间的相关性，秩指向量组中线性无关向量的最大个数。满秩：每个数据都有意义，不满秩：存在可以移除的冗余量。

特征选择：如果特征矩阵的秩小于特征数，说明存在冗余特征。

数据压缩：秩分解可以实现低秩近似，用更少的参数近似原矩阵，降低维度，减少空间。

奇异值分解：秩等同于非0奇异值个数，决定了有多少东西值得保留。

模型LoRA微调：只训练“低秩适配器”，不动原模型，用极少参数实现高效微调。

向量相加

平行四边形法则：将两个向量 uu 和 vv 的起点放在同一点，以它们为邻边作平行四边形，从公共起点出发的对角线就是 u+vu+v。

三角形法则：将 vv 的起点放在 uu 的终点，从 uu 的起点到 vv 的终点的向量就是 u+vu+v。

向量相乘

当 c>0c>0：向量的长度缩放为原来的 ∣c∣ 倍，方向不变

当 c<0c<0：向量的长度缩放为原来的 ∣c∣ 倍，方向反向

当 c=0c=0：结果为零向量 0

矩阵基础

矩阵是向量的自然扩展，也是线性代数的核心研究对象。

矩阵：由标量按行列排量组成的矩形阵列。

矩阵是机器学习的"原材料"，把矩阵想象成一张数据表格，每行是一个样本（譬如一位用户、一张图片），每列是一个特征（譬如年龄、价格、像素值）。这种结构让计算机能高效处理成千上万的数据点。

矩阵的逆：将一个已经变换了的矩阵，恢复到原来状态的操作。

如图的两个矩阵，一个是转换后，一个是原始，进行求逆时发现，2，3，为1，1，其他位置为0，0。为1的位置表示可以恢复，为0的位置表示无法恢复。（因为值已经发生了变化）。

这在记忆压缩时常使用。

矩阵向量积

h=Wx+b

其中 xx 是输入向量（上一层的输出），WW 是权重矩阵，bb 是偏置向量，hh 是本层的输出。权重矩阵 WW 把输入从 nn 维空间映射到 mm 维空间（WW 为 m×nm×n 矩阵），这个映射过程就是一次线性变换。

将一组向量进行转换，从原来变成另一种的过程。

张量

标量、向量、矩阵在高维空间的自然推广，可以描述任意维度的数据及其转换关系。

阶数	名称	维度描述	NumPy 表示
0	标量	无方向，只有大小	`x` （标量值）
1	向量	一行或一列	`shape = (n,)`
2	矩阵	行 × 列	`shape = (m, n)`
3	三阶张量	行 × 列 × 通道 / 深度	`shape = (h, w, c)`
nn	nn阶张量	维度 1 × 维度 2 × … × 维度nn	`shape = (d₁, d₂, ..., dₙ)`

深度学习的所有数据都使用张量表示。

微积分

从数据中学习和改进

极限、导数与微分

极限

当自变量无限接近某个值时，函数值的变化趋势。

对与上面的函数：当x无限趋近于1时（x永远不等于1），函数的值越来越接近2

这就是一个极限的概念，

导数的定义和几何意义

如图，我们如何计算一个物体的瞬时速度，我们只能根据时间和路程求出某个物体的平均速度。但是如何我们不断缩小时间，则无限小的时间短内的平均速度就就相当于此物体的瞬时速度。

常见函数的导数

幂函数

f(x)=xnf(x)=x**n

指数函数和对数函数

三角函数

函数	导数
sin⁡xsinx	cos⁡xcosx
cos⁡xcosx	−sin⁡x−sinx
tan⁡xtanx	sec⁡2x=1cos⁡2xsec2x=cos2x1

微分和线性近似

微分可以理解为导数的另一种表达形式。

微分和导数的区别在于导数是一个比值dy/dx，而微分dy和dx是独立的量。

微分的一个重要应用是线性近似，目的是将函数复杂计算转化为相对简单的微分计算。

导数是揭示了一个朴素却深刻的思想，任何连续变化的量，都可以通过它在某一点的变化趋势来刻画。从牛顿当年思考的瞬时速度问题出发，导数将平均变化率推向极限，得到了瞬时变化率的精确表达。这一从静态比值到动态极限的跨越，不仅是数学的进步，更是思维方式的转变，我们从此可以用一个数值来描述一个函数在某一点的变化倾向。几何上，导数是切线的斜率，这提供了我们用直线（线性）来理解曲线（非线性）的途径。

微分则将抽象的变化率转化为具体的变化量，让我们能够通过线性近似来简化复杂的函数计算。这一思想在机器学习中体现得尤为明显，泰勒展开将复杂函数分解为一系列多项式，梯度下降依赖一阶导数指引优化方向，而损失函数的凹凸性由二阶导数揭示，这些都是微分学在现代人工智能中的直接应用。极限、导数、微分、高阶导数这些概念层层递进，构成了理解连续变化世界的数学框架，也为下一章学习多元函数微分学奠定了坚实基础。

多元函数和复合函数求导

偏导数

对于一个多元函数，如果只让其中一个变量变化，而保持其他变量不变，函数值会如何变化。表示此变化的导数就是偏导数。

梯度

偏导数表示函数沿每个坐标轴方向的变化率。如果把所有坐标方向的偏导数组合在一起，就可以得到一个向量，称为梯度。

复合函数和链式法则

复合函数：一个函数的输出是另一个函数的输入。多个函数嵌套在一起组成的复杂函数。

链式法则：为何解决复合函数问题的有力工具。复合函数的导数等于各层函数导数的乘积。

积分

微分研究的是局部变化率，是指在某一点处，函数指变化的快慢。积分则是研究全局累计量，即在一个区间上，函数值的总体效果。

统计和概率

线性代数是机器学习的数据语言，它告诉计算机如何表示和组织数据。

微积分是机器学习的优化行为，它告诉计算机如何从数据中学习和改进。

统计与概率就是机器学习的决策思想，它告诉计算机如何在不确定的世界中做出理性的判断和预测。

概率基础

概率性思维

传统软件开发的一贯思维方式是确定性的。同样的输出永远产生同样的输出，代码逻辑明确的，可预测的，发生错误是可以精确定位和修复的。

机器学习的思想是从数据中学习规律，而不是由人工设计规则。机器学习的预测结果和过程天生就带有概率性。模型的输出不是正确答案，而是最可能的答案。

数学 on 韩永发的博客