深度学习基础理论篇（1）线性代数

线性代数的本质：用不同的方式和角度，对空间的变换进行不同的描述同一个点在不同的坐标系下，其坐标是不同的，而线性代数可以反映同一个点在不同坐标系的坐标和不同坐标的关系。

m0_74196436

281人浏览 · 2023-09-16 17:34:43

m0_74196436 · 2023-09-16 17:34:43 发布

线性代数的本质：用不同的方式和角度，对空间的变换进行不同的描述

同一个点在不同的坐标系下，其坐标是不同的，而线性代数可以反映同一个点在不同坐标系的坐标和不同坐标的关系

一.向量和线性组合

向量（vector）：是一种包含大小和方向的量。只由它的方向和长度来决定，与位置无关。

向量的长度（或模）： $|(x, y) |=\sqrt{\left (x^{2}+y^{2} \right )}$

比如，点A平面坐标为(x, y)，点O平面坐标为(0,0),向量 $\underset{OA}{\rightarrow}$ =(x-0, y-0)=(x, y)

向量的加减法：三角形法则 / 平行四边形法则

加法：首尾相连减法：尾尾相连

向量的乘法：

点乘（内积）： $\vec{a}=\begin{pmatrix}a_{1} \\ a_{2} \\ \vdots \\a_{n} \end{pmatrix},\vec{b}=\begin{pmatrix}b_{1} \\ b_{2} \\ \vdots \\ b_{n} \end{pmatrix}$

$\vec{a}\cdot \vec{b}=a_{1}b_{1}+a_{2}b_{2}+\cdots +a_{n}b_{n}$ =C（常数）

C>0, $\theta \in \left ( 0^{\circ} ,90^{\circ}\right )$ ; C=0, $\theta =90^{\circ}$ ; C<0, $\theta \in \left ( 90^{\circ}, 180^{\circ} \right )$

叉乘（外积）： $\vec{a}=\left ( a_{1}, a_{2}, a_{3} \right ), \vec{b}=\left ( b_{1}, b_{2}, b_{3} \right )$

$\vec{a}\times \vec{b}=\begin{vmatrix} \vec{i} & \vec{j} & \vec{k} \\ a_{1}& a_{2}& a_{3}\\ b_{1}& b_{2}& b_{3} \end{vmatrix}=\left ( a_{2}b_{3}-a_{3}b_{2} \right )\vec{i}-\left ( a_{1}b_{3}-a_{3}b_{1} \right )\vec{j}+\left ( a_{1}b_{2}-a_{2}b_{1} \right )\vec{k}$

得到的结果是垂直于两向量所确定平面的一个向量

线性组合： $c_{1},c_{2},\cdots ,c_{k}$ 为常数， $\mathbf{v}_{1},\mathbf{v}_{2},\cdots ,\mathbf{v}_{k}$ 为 $\mathbf{R}^{n}$ 中的向量，

$c_{1}\mathbf{v}_{1}+c_{2}\mathbf{v}_{2}+\cdots +c_{k}\mathbf{v}_{k}$

为向量 $\mathbf{v}_{1},\mathbf{v}_{2},\cdots ,\mathbf{v}_{k}$ 的线性组合

线性表示就是用线性组合来表示

线性相关：存在不为零的系数使线性组合为零

线性无关：n个向量组成的向量组的线性组合只在系数为零时是为零

理解：若有两个线性无关的向量，则表示其中一个向量为另一个向量提供了一个新的维度。即，n个线性无关的向量可以通过线性组合张成一个n维空间。

通俗来讲就是说，一个向量表示一条线，是一维空间；现在有另一个与之线性无关的向量，为它提供了一个新的维度，使两个向量组成的线性组合表示成一张平面，是二维空间。

也就是说，原来的一维向量叠加了一个线性无关的向量，就是叠加了一个维度，实现了一维向二维的转变。反之，线性相关就没有提供一个新的维度。

张成空间：向量的全部线性组合所构成的向量集合

秩：该向量组张成空间的维度。向量组有多少个线性无关的向量，秩就是多少。

二.矩阵和线性变换

矩阵：形如 $\begin{bmatrix} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots &a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} &a_{m2} & \cdots & a_{mn} \end{bmatrix}$ 或 $\begin{pmatrix} a_{11} & a_{12} & \cdots &a_{1n} \\ a_{21} & a_{22} & \cdots &a_{1n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} &a_{m2} & \cdots & a_{mn} \end{pmatrix}$

标准正交基：向量两两垂直，且模长为1

矩阵代表了一种线性变换，从标准正交基到矩阵的列组成的基

注：若矩阵的列是线性相关的，那么代表至少有两个向量共线的，即代表由矩阵的列组成的向量组的维度<列数，所以该矩阵是从标准正交基的高维压缩到低维的线性变换。

矩阵向量的乘法：是向量的变换，把矩阵所描述的线性变换作用于向量上。

我认为，就是把在矩阵所表示的坐标系上的向量所对应的在标准正交基下的对应向量算出来。

矩阵x矩阵向量=直角坐标系向量 -----------> 逆矩阵x直角坐标系向量=矩阵向量

矩阵 $\rightarrow$ 变换（变换到标准正交基上）

逆矩阵 $\rightarrow$ 还原（还原到矩阵的基上）

矩阵矩阵的乘法：复合线性变换

矩阵的转置：交换矩阵的行和列

$A=\begin{bmatrix} a &b \\ c & d \end{bmatrix}, A^{T}=\begin{bmatrix} a&c \\ b& d \end{bmatrix}$

三.特征值与特征向量

特征向量：经过矩阵变换后，还是与原来所处的直线共线，并不会因为矩阵的线性变换发生旋转从而离开原本所在的直线，即矩阵仅对特征向量进行拉伸和压缩。

特征值：特征向量拉伸的倍数

参考的哔哩哔哩视频

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

全家桶集齐！Qwen3.5四款小模型上线魔乐社区，附昇腾全套实践教程

魔乐社区

Pont - 搭建前后端之桥：高效、灵活的接口管理工具

Pont 是一款强大的数据服务层解决方案，它能够帮助开发者快速搭建前后端之间的桥梁，实现接口的高效管理和代码自动生成。无论是新手还是有经验的开发者，都能通过 Pont 轻松处理接口文档、生成类型安全的 API 代码，从而显著提升开发效率。[![Pont 工具标志](https://raw.gitcode.com/gh_mirrors/po/pont/raw/3f1b7d4bbba3fd2dda