矩阵理论

矩阵空间

$A = \left[\begin{array}{ccccccc} a_{11} & a_{12} & a_{13} & \ldots & a_{1 j} & \ldots & a_{1 n} \\ a_{21} & a_{22} & a_{23} & \ldots & a_{2 j} & \ldots & a_{2 n} \\ a_{31} & a_{32} & a_{33} & \ldots & a_{3 j} & \ldots & a_{3 n} \\ \vdots & \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ a_{i 1} & a_{i 2} & a_{i 3} & \ldots & a_{i j} & \ldots & a_{i n} \\ \vdots & \vdots & \vdots & \ddots & \vdots & \ddots & \vdots \\ a_{m 1} & a_{m 2} & a_{m 3} & \ldots & a_{m j} & \ldots & a_{m n} \end{array}\right] \in \mathcal{R} ^{m\times n}$

$C(A)$: 列空间
$C(A^T)$: 行空间
NULL(A): 零空间
NULL(A^T): 左零空间
行空间和零空间的维度只和为n
列空间和左零空间的维度只和为m
行空间和零空间正交（Orthogonality）

把矩阵写成行空间的向量组合, 则由零空间可推出行空间和零空间正交：

$A = \begin{bmatrix}a_1^T \\ \cdots \\ a_2^T \\a_m^T \end{bmatrix}: Az=0 \rightarrow a_i^T z = 0$

线性空间投影： $Ax = b$

b是A的列空间的线性组合，若b中包含了左零空间中的维度($b= p+ e$)，则方程无解。但可以通过投影找到最近的解，即方程退化为$Ax = p$