Linear Algebra

此处用于记录我学习 MIT 18.06 Linear Algebra 的笔记。

顺便学习 Latex 排版。

每次看完都会忘记，比较难受，尝试记住

正交矩阵 Orthogonal Matrix

正交矩阵有 $Q$ 满足 $Q^T Q = I$。

因为 $Q$ 的每一列 $q_i$ 都是单位向量，并且两两正交，所以 $q^T q = 1$。

因此，在 $Q$ 和 $Q^T$ 相乘时，对应元素为 $Q_i * Q_j^T$。只有当 $i = j$ 时，才会有非零值，且为 1。否则任意两列 $q_i$ 和 $q_j$ 的互相垂直，内积为 0。

此外，因为有 $Q^T Q = I$，所以 $Q^{-1} = Q^T$。

行列式 Determinant

行列式是一个标量值，表示矩阵的某些性质。对于 $n \times n$ 矩阵 $A$，其行列式记为 $det(A)$ 或 $|A|$。

行列式有三个重要性质：

1. The determinant of the n by n identity matrix is 1. 即 $det(I) = 1$。

2. The determinant changes sign when two rows are exchanged. 即交换矩阵的两行，行列式的值会变号。

3. The determinant is a linear function of each row separately. 即行列式对每一行都是线性函数。

   • 如果矩阵的一行乘以一个标量 $k$，则行列式也乘以 $k$。

   • 如果矩阵的一行是两行之和，则行列式等于这两行分别拆分计算的行列式之和。

利用这三个性质，可以推导出其他性质：

4. 如果矩阵有两行相同，则行列式为 0。

   因为根据性质 2，交换这两行会使行列式变号，但行列式并没有发生变化，所以行列式必须为 0。

5. 将行列式的一行加上或者减去另一行，行列式的值不变。

   因为根据性质 3，行列式是线性函数，所以可以将该行拆分成两部分，一部分是原来的行，另一部分是被加上或者减去的行。

   同时，拆分出来的矩阵，将所乘的标量提出后，会有两行相同，根据性质 4，行列式为 0。因此，行列式相加后的值不变。

6. 如果行列式有全零行，那么行列式为 0。

   因为可以将该行加上或者减去其他行，变成两行相同的情况，根据性质 5，行列式的值不变，又因为根据性质 4，所以行列式为 0。

7. 如果行列式是三角矩阵（上三角矩阵或者下三角矩阵），则行列式等于对角线元素的乘积。

   因为可以通过将非对角线元素所在的行加上或者减去其他行，将其变成对角矩阵，而根据性质 3，提出每一行的对角线上的标量后，留下的矩阵是单位矩阵，行列式为 1。

   因此，行列式等于对角线元素的乘积。

8. 如果 $A$ 是奇异矩阵，则 $det(A) = 0$。如果 $A$ 是可逆的矩阵，则 $det(A) \neq 0$。

   将矩阵化为行阶梯形矩阵时，奇异矩阵会有全零行，根据性质 6，行列式为 0。

9. $det(AB) = det(A) \cdot det(B)$。

10. $det(A^{-1}) = \frac{1}{det(A)}$。

    当 $B = A^{-1}$ 时，有 $det(AB) = det(I) = 1$，根据性质 9，$det(AB) = det(A) \cdot det(B)$，所以 $det(A) \cdot det(A^{-1}) = 1$，即 $det(A^{-1}) = \frac{1}{det(A)}$。

11. $det(A^T) = det(A)$。

    当 $A$ 不是奇异矩阵时，有 $A A^{-1} = I$，可以分解为 $PA = LU$，其中 $P$ 是置换矩阵，$L$ 是下三角矩阵，$U$ 是上三角矩阵。

    因为 $det(P) = det(P^T)$，因为 $P^TP = I$

    $det(L) = det(L^T)$，因为 $L$ 的对角线上都 1

    $det(U) = det(U^T)$，因为上下三角矩阵的行列式只取决于对角线元素

    所以 $det(A) = det(P) det(L) det(U) = det(P^T) det(L^T) det(U^T) = det(A^T)$。

    当 $A$ 是奇异矩阵时，$det(A) = 0$，同样有 $det(A^T) = 0$。

因为性质 11，因此行列式的行和列操作是一样的。

特征向量与特征值 Eigenvectors and Eigenvalues

设有矩阵 $A$，如果存在向量 $x$ 和标量 $\lambda$，使得 $A x = \lambda x$，则称 $x$ 为矩阵 $A$ 的特征向量，$\lambda$ 为对应的特征值。

因此有

$$A x - \lambda x = 0 \Rightarrow (A - \lambda I)x = 0$$

要使得 $(A - \lambda I)x = 0$ 有非零解，必须使得 $A - \lambda I$ 为奇异矩阵，$det(A - \lambda I) = 0$。

求特征值 Finding Eigenvalues

要找到矩阵 $A$ 的特征值，需要解特征多项式 $det(A - \lambda I) = 0$。 该多项式的根即为矩阵 $A$ 的特征值。可能是重根。

求特征向量 Finding Eigenvectors

对于每个特征值 $\lambda$，将其代入方程 $(A - \lambda I)x = 0$，通过求解该齐次线性方程组，可以找到对应的特征向量 $x$。特征向量不一定唯一，当特征值是重根时，可能有多个线性无关的特征向量。

对角化 Diagonalization

如果一个矩阵 $A$ 有 $n$ 个线性无关的特征向量 $x_1, x_2, \ldots, x_n$，则可以将这些特征向量组成一个矩阵 $X = [x_1, x_2, \ldots, x_n]$。对应的特征值组成对角矩阵 $\Lambda = diag(\lambda_1, \lambda_2, \ldots, \lambda_n)$。

则有 $A X = X \Lambda$。如果 $X$ 可逆，则可以写成 $A = X \Lambda X^{-1}$，称为矩阵 $A$ 的对角化形式。

因为 $X$ 需要可逆，因此需要 A 有 $n$ 个线性无关的特征向量。必须满足矩阵 $A$ 的特征多项式有 $n$ 个不同的根，或者重根的代数重数等于几何重数。

有了对角化形式后，可以方便地计算矩阵的幂次 $A^k = X \Lambda^k X^{-1}$，其中 $\Lambda^k$ 只需对角线元素取幂。

对称矩阵 Symmetric Matrix

当矩阵 $S$ 满足 $S = S^T$ 时，称其为对称矩阵。

回顾上面的对角化，可以得到 $S = X \Lambda X^{-1}$。

由于 $S$ 是对称矩阵，有 $S = S^T$，因此 $X \Lambda X^{-1} = (X \Lambda X^{-1})^T = (X^{-1})^T \Lambda^T X^T$。

$\Lambda$ 是对角矩阵，因此 $\Lambda^T = \Lambda$。

因此有 $X \Lambda X^{-1} = (X^{-1})^T \Lambda X^T$。

两边同时左乘 $X^{-1}$，右乘 $X$，得到 $\Lambda = X^{-1} (X^{-1})^T \Lambda X^T X$。

所以 $X$ 满足 $X^{-1} = X^T$，即 $X$ 是正交矩阵。

因此，对称矩阵可以被正交对角化，即 $S = Q \Lambda Q^T$，其中 $Q$ 是正交矩阵，$\Lambda$ 是对角矩阵。

对称矩阵的以下性质：

1. 特征值为实数。

2. 不同特征值对应的特征向量正交。

假设实矩阵 $S$ 有 $Sx = \lambda x$, $\lambda = a + bi$, 则一定有 $S \bar{x} = \bar{\lambda} \bar{x}$。

对于 $Sx = \lambda x$，两边左乘 $\bar{x}^T$，得到 $\bar{x}^T S x = \lambda \bar{x}^T x$。

对于 $S \bar{x} = \bar{\lambda} \bar{x}$，两边右乘 $x$，得到 $\bar{x}^T S x = \bar{\lambda} \bar{x}^T x$。

对比可知 $\lambda \bar{x}^T x = \bar{\lambda} \bar{x}^T x$，当且仅当 $\bar{x}^T x \neq 0$ 时，$\lambda = \bar{\lambda}$，即 $\lambda$ 为实数。

如何证明 $\bar{x}^T x \neq 0$ 呢？

假设 $\bar{x} = a + bi$，则 $\bar{x}^T x = (a - bi)^T (a + bi) = a^T a + b^T b$，因为 $a$ 和 $b$ 不全为 0，所以 $a^T a + b^T b > 0$。

因此，实对称矩阵的特征值为实数。

Real Eigenvalues All the eigenvalues of a real symmetric matrix are real.

注意：假如 $S$ 是复矩阵，需要 $S = \bar{S}^T$ 才能保证特征值为实数。

假设有 $Sx = \lambda_1 x$ 和 $Sy = \lambda_2 y$，其中 $\lambda_1 \neq \lambda_2$。

对于 $Sy = \lambda_2 y$，左乘 $x^T$，得到 $x^T S y = \lambda_2 x^T y$。

又因为 $S = S^T$，所以 $x^T S y = (S x)^T y = (\lambda_1 x)^T y = \lambda_1 x^T y$。

所以可得 $\lambda_1 x^T y = \lambda_2 x^T y$。

所以 $(\lambda_1 - \lambda_2) x^T y = 0$。

所以 $x^T y = 0$。

Orthogonal Eigenvectors Eigenvectors of a real symmetric matrix (when they correspond to different eigenvalues) are always perpendicular.

注意：不是所有特征向量都正交，只有对应不同特征值的特征向量才正交。