線形代数 (Linear Algebra)

1. 線形代数の導入と基本概念 MOC

• 線形代数とは何か
  • 線形性の概念 (重ね合わせの原理)
  • ベクトル、行列、線形方程式系を中心とする数学分野
  • コンピュータサイエンスにおける線形代数の重要性 (CG, AI/ML, データサイエンス, 画像処理, 最適化など)
• 代数構造の基礎 (概要)
  • 群 (Group) の定義と例 (ベクトル空間の理解の準備)
  • 環 (Ring) の定義と例
  • 体 (Field) の定義と例 (実数体 R, 複素数体 C, 有限体 F_p)
    • スカラー (Scalar) の概念

2. ベクトル (Vectors) MOC

• ベクトルの基本
  • ベクトルの定義 (大きさと向きを持つ量、数の組)
  • 幾何ベクトルと代数ベクトル (数ベクトル)
  • n次元数ベクトル空間 (R^n, C^n)
  • 行ベクトルと列ベクトル
  • 零ベクトル (Zero Vector)
  • ベクトルの相等
• ベクトル演算
  • ベクトルの加法 (Vector Addition)
    • ベクトルの和の定義と性質 (交換法則、結合法則)
    • 図形的意味 (平行四辺形の法則、三角形の法則)
  • ベクトルのスカラー倍 (Scalar Multiplication)
    • スカラー倍の定義と性質 (分配法則など)
    • 図形的意味 (伸縮)
  • ベクトルの減法 (Vector Subtraction)
• ベクトルの線形結合 (Linear Combination)
  • 線形結合の定義と例
• ベクトルの大きさ (ノルム - Norm)
  • ユークリッドノルム (L2ノルム) (||x|| = sqrt(x1^2 + ... + xn^2))
  • L1ノルム (マンハッタン距離)
  • L∞ノルム (最大値ノルム)
  • ノルムの性質 (非負性、斉次性、三角不等式)
  • 単位ベクトル (Unit Vector) と正規化 (Normalization)
• ベクトル間の距離 (Distance between Vectors)
• Dot Product) MOC
  • 標準内積 (ユークリッド内積) の定義 (x・y = x1*y1 + ... + xn*yn)
  • 内積の性質 (対称性、線形性、正定値性)
  • ベクトル間の角度 (Angle between Vectors) (cos θ = (x・y) / (||x|| ||y||))
  • ベクトルの直交 (Orthogonal Vectors) (x・y = 0)
  • 正射影 (Orthogonal Projection)
  • コーシー・シュワルツの不等式 (Cauchy-Schwarz Inequality)
• Vector Product) MOC (主にR^3)
  • 外積の定義と計算法
  • 外積の性質 (反対称性、分配法則、スカラー倍)
  • 外積の幾何学的意味 (法線ベクトル、平行四辺形の面積)
  • スカラー三重積とベクトル三重積 (概要)
• ベクトルの応用
  • 物理学におけるベクトル (力、速度、加速度)
  • コンピュータグラフィックスにおけるベクトル (位置、方向、法線)
  • データサイエンスにおけるベクトル (特徴ベクトル)

3. 行列 (Matrices) MOC

• 行列の基本
  • 行列の定義 (数の長方形配列)
  • 行列のサイズ (m x n 行列)
  • 行列の成分 (要素) a_ij
  • 行ベクトルと列ベクトル (行列の構成要素として)
• 特別な行列
  • 零行列 (Zero Matrix)
  • 正方行列 (Square Matrix)
    • 対角成分 (Diagonal Elements) と非対角成分
    • 主対角線 (Main Diagonal)
  • 対角行列 (Diagonal Matrix)
  • 単位行列 (Identity Matrix - I)
  • スカラー行列 (Scalar Matrix)
  • 上三角行列 (Upper Triangular Matrix) と下三角行列 (Lower Triangular Matrix)
  • 対称行列 (Symmetric Matrix) (A^T = A)
  • 歪対称行列 (反対称行列 - Skew-symmetric Matrix) (A^T = -A)
  • 転置行列 (Transpose Matrix - A^T)
    • [[転置行列の性質 ((AB)^T = B^T A^Tなど)]]
  • (オプション) 複素行列 (エルミート行列、歪エルミート行列、ユニタリ行列)
  • (オプション) ブロック行列 (Block Matrix)
• 行列演算
  • 行列の加法と減法 (Matrix Addition and Subtraction)
    • 行列の和・差の定義と性質 (交換法則、結合法則)
  • 行列のスカラー倍 (Scalar Multiplication of a Matrix)
    • 行列のスカラー倍の定義と性質
  • 行列の乗法 (Matrix Multiplication)
    • [[行列積の定義 ((AB)_ij = Σk A_ik B_kj)]]
    • 行列積の条件 (内側の次元の一致)
    • 行列積の性質
      • [[結合法則 (AB)C = A(BC)]]
      • [[分配法則 A(B+C) = AB+AC, (A+B)C = AC+BC]]
      • [[非可換性 AB ≠ BA (一般に)]]
      • [[零因子の存在 (AB = O でも A≠O, B≠O となりうる)]]
      • [[単位行列の役割 AI = IA = A]]
    • 行列のべき乗 (Powers of a Matrix)
  • 行列とベクトルの積 (線形変換の表現)
• 行列式 (Determinant) MOC
  • 行列式の導入 (面積、体積との関連、線形方程式系の解の存在)
  • 2x2行列と3x3行列の行列式の計算 (サラスの方法)
  • 行列式の定義 (置換を用いた定義、余因子展開)
    • 置換 (Permutation) と符号 (Sign of Permutation)
    • 余因子 (Cofactor) と小行列式 (Minor)
    • 余因子展開 (Laplace Expansion) (特定の行または列に関する展開)
  • 行列式の性質
    • [[det(A^T) = det(A)]]
    • 列の線形性
    • 列の入れ替えで行列式の符号が変わる
    • 列を持つ行列の行列式は0
    • 列のスカラー倍は行列式のスカラー倍
    • 列のスカラー倍を加えても行列式は変わらない
    • [[det(AB) = det(A)det(B)]] (積の行列式)
    • 三角行列の行列式は対角成分の積
  • 行列式の幾何学的意味 (面積、体積、向き)
  • 行列式の応用 (正則性の判定、逆行列の計算など)
• 逆行列 (Inverse Matrix) MOC
  • [[逆行列の定義 (AA⁻¹ = A⁻¹A = I)]]
  • Non-singular Matrix)
    • 正則であるための同値条件 (行列式が0でない、など)
  • 逆行列の唯一性
  • 逆行列の計算方法
    • [[余因子行列 (Adjugate Matrix / Adjoint Matrix) を用いた公式 A⁻¹ = (1/det(A)) adj(A)]]
    • [[掃き出し法 (行基本変形) を用いた計算 [A | I] → [I | A⁻¹]]]
  • 逆行列の性質
    • [[(A⁻¹)⁻¹ = A]]
    • [[(AB)⁻¹ = B⁻¹A⁻¹]]
    • [[(A^T)⁻¹ = (A⁻¹)^T]]
• 行列の階数 (ランク - Rank) MOC
  • 列ベクトルの最大数)
  • 行ランクと列ランクは等しい
  • ランクと行列の正則性の関係
  • ランクの計算方法 (行基本変形による階段行列化)
• 跡 (tr(A) = Σ a_ii)

4. 線形方程式系 (Systems of Linear Equations) MOC

• 線形方程式系の表現
  • [[a1x1 + ... + anxn = b の形の連立一次方程式]]
  • [[行列を用いた表現 Ax = b]]
    • 係数行列 (Coefficient Matrix)
    • 拡大係数行列 (Augmented Matrix) [A | b]
• 解の存在と一意性
  • 解の種類 (一意解、無限多解、解なし)
  • [[斉次方程式系 (Ax = 0) と非斉次方程式系 (Ax = b)]]
  • 斉次方程式系の解空間 (自明な解、非自明な解)
  • ランクと解の存在条件 (Rouché-Capelliの定理)
• 線形方程式系の解法
  • 前進消去
    • 行基本変形 (Row Operations)
      • 行の入れ替え
      • 行のスカラー倍
      • ある行に他の行のスカラー倍を加える
    • 階段行列 (Row Echelon Form)
    • 後退代入 (Back Substitution)
  • ガウス・ジョルダンの消去法 (Gauss-Jordan Elimination)
    • 簡約階段行列 (Reduced Row Echelon Form)
  • [[逆行列を用いた解法 (x = A⁻¹b)]] (Aが正則な場合)
  • クラメルの公式 (Cramer’s Rule) (理論的には重要だが計算量は大きい)
• 自由度 (Degrees of Freedom) と解のパラメータ表示 (無限多解の場合)
• 線形方程式系の応用
  • 回路網解析
  • 化学反応式の係数決定
  • 最小二乗法 (後述)

5. ベクトル空間 (Vector Spaces) MOC

• ベクトル空間の公理
  • ベクトル空間の定義 (体F上のベクトル集合Vと加法・スカラー倍演算)
  • ベクトル空間の8つの公理 (加法の閉性、結合法則、零元の存在、逆元の存在、スカラー倍の閉性、分配法則など)
  • 実ベクトル空間と複素ベクトル空間
• ベクトル空間の例
  • [[R^n (n次元数ベクトル空間)]]
  • [[行列空間 M_mn(R)]]
  • [[多項式空間 P_n(R)]]
  • [[関数空間 C[a,b]]]
• 部分空間 (Subspace)
  • 部分空間の定義と判定条件 (零ベクトルの存在、加法とスカラー倍で閉じている)
  • 部分空間の例 (原点を通る直線や平面など)
  • 和空間 (Sum of Subspaces) と共通部分 (Intersection of Subspaces)
  • 直和 (Direct Sum) U ⊕ W
• 線形独立 (Linearly Independent) と線形従属 (Linearly Dependent)
  • [[線形独立の定義 (c1v1 + ... + ckvk = 0 ⇒ c1=...=ck=0)]]
  • 線形従属の定義 (あるベクトルが他のベクトルの線形結合で書ける)
  • 線形独立性の判定
• 基底 (Basis) と次元 (Dimension)
  • Generating Set)
    • [[Span{v1, ..., vk} (ベクトルによって生成される部分空間)]]
  • 基底の定義 (線形独立な生成系)
  • 標準基底 (Standard Basis) (R^nにおける e1, ..., en)
  • 次元の定義 (基底ベクトルの個数) dim(V)
  • 基底の取替え
  • 次元定理 (和空間の次元) dim(U+W) = dim(U) + dim(W) - dim(U∩W)
• 座標 (Coordinates)
  • 順序基底に関するベクトルの座標表現
• Kernel) MOC
  • [[行列Aの行空間 Row(A) とその基底]]
  • [[行列Aの列空間 Col(A) とその基底]]
  • [[行列Aの零空間 Nul(A) = {x | Ax = 0} とその基底]]
  • 階数・退化次数の定理) rank(A) + nullity(A) = n (Aはm x n行列)

6. 線形変換 (Linear Transformations) MOC

• 線形変換の定義と性質
  • [[T: V → W の定義 (T(u+v) = T(u)+T(v), T(cu) = cT(u))]]
  • 線形変換の例 (回転、射影、拡大縮小など)
  • 零変換と恒等変換
• 線形変換の表現行列 (Matrix Representation of a Linear Transformation)
  • 標準基底に関する表現行列
  • 任意の基底に関する表現行列
  • 基底の変換と表現行列の関係 B = P⁻¹AP
• Range) MOC
  • [[線形変換Tの核 Ker(T) = {v ∈ V | T(v) = 0}]]
  • [[線形変換Tの像 Im(T) = {w ∈ W | w = T(v) for some v ∈ V}]]
  • 核と像は部分空間であること
  • 次元定理 (線形変換版) dim(Ker(T)) + dim(Im(T)) = dim(V)
• 線形変換の種類
  • One-to-one) (Ker(T) = {0})
  • Onto) (Im(T) = W)
  • Isomorphism)
    • 同型なベクトル空間 (Isomorphic Vector Spaces)
• 線形変換の合成 (Composition of Linear Transformations)
  • 合成変換の表現行列は表現行列の積
• 逆変換 (Inverse Transformation) (全単射の場合)
  • 逆変換の表現行列は表現行列の逆行列
• (オプション) アフィン変換 (Affine Transformation)

7. 固有値と固有ベクトル (Eigenvalues and Eigenvectors) MOC

• 固有値と固有ベクトルの定義
  • [[Av = λv (Aは正方行列, vは非零ベクトル, λはスカラー)]]
  • 固有値 (Eigenvalue - λ)
  • 固有ベクトル (Eigenvector - v)
  • 幾何学的解釈 (変換によって方向が変わらないベクトル)
• 固有方程式 (Characteristic Equation)
  • [[det(A - λI) = 0 (特性多項式)]]
  • 固有値の求め方
• 固有空間 (Eigenspace)
  • [[固有値λに対応する固有ベクトル全体の集合 (零ベクトルを含む) E_λ = Nul(A - λI)]]
  • 固有空間は部分空間であること
  • 固有ベクトルの求め方
  • 固有値の重複度
    • 代数的重複度 (Algebraic Multiplicity) (特性多項式の根の重複度)
    • 幾何学的重複度 (Geometric Multiplicity) (固有空間の次元)
    • 幾何学的重複度 ≤ 代数的重複度
• 対角化 (Diagonalization) MOC
  • 対角化可能 (Diagonalizable)
    • [[行列Aが対角化可能であるための条件 (P⁻¹AP = D となる正則行列Pと対角行列Dが存在)]]
    • n x n行列が対角化可能 ⇔ n個の線形独立な固有ベクトルを持つ
    • 異なる固有値に対応する固有ベクトルは線形独立
    • すべての固有値の代数的重複度と幾何学的重複度が一致する場合
  • 対角化の手順
  • 対称行列の対角化 (常に可能、直交行列で対角化) (後述)
• 固有値と固有ベクトルの応用
  • [[行列のべき乗の計算 (A^k = PD^kP⁻¹)]]
  • 線形常微分方程式系の解法
  • 主成分分析 (PCA) (概要)
  • マルコフ連鎖 (概要)
  • グラフ理論 (隣接行列の固有値)
• (オプション) ケーリー・ハミルトンの定理 (Cayley-Hamilton Theorem) p(A) = O (p(λ)は特性多項式)
• (オプション) ジョルダン標準形 (Jordan Normal Form) (対角化可能でない行列の標準形 - 概要)

8. 内積空間と直交性 (Inner Product Spaces and Orthogonality) MOC

• 内積空間 (Inner Product Space)
  • 半双線形性、正定値性)
  • [[ユークリッド空間 R^n は標準内積を持つ内積空間]]
  • [[関数空間における内積の例 (∫f(x)g(x)dx)]]
  • [[内積から誘導されるノルム (||v|| = sqrt(<v,v>))]]
• 直交性 (Orthogonality)
  • 直交ベクトル (Orthogonal Vectors) (<u,v> = 0)
  • 直交集合 (Orthogonal Set) と正規直交集合 (Orthonormal Set)
    • 直交集合は線形独立 (非零ベクトルの場合)
  • 正規直交基底 (Orthonormal Basis)
    • [[正規直交基底に関する座標計算が容易 (c_i = <v, u_i>) ]]
• グラム・シュミットの直交化法 (Gram-Schmidt Orthogonalization Process)
  • 与えられた基底から正規直交基底を生成する手順
• 直交補空間 (Orthogonal Complement) W^⊥
  • [[dim(W) + dim(W^⊥) = dim(V)]]
  • [[(Row(A))^⊥ = Nul(A), (Col(A))^⊥ = Nul(A^T) (四大基本部分空間の関係)]]
• 直交射影 (Orthogonal Projection)
  • ベクトルを部分空間へ射影する
  • 射影定理 (Projection Theorem)
  • 最小二乗法 (Least Squares Method)
    • [[Ax = b が解を持たない場合の近似解 A^T A x̂ = A^T b (正規方程式)]]
    • データフィッティングへの応用
• 直交行列 (Orthogonal Matrix) (Q^T Q = Q Q^T = I または Q⁻¹ = Q^T)
  • 直交行列の列 (または行) ベクトルは正規直交基底をなす
  • 直交行列による変換は長さと角度を保つ (回転、鏡映)
  • 直交行列の行列式は ±1
• (オプション) エルミート空間とユニタリ行列 (複素ベクトル空間の場合)

9. (オプション) 行列の分解 (Matrix Decompositions) MOC

• 行列分解の目的 (問題の単純化、数値計算の安定性、データ解析)
• Factorization) (A = LU)
  • Lは下三角行列、Uは上三角行列
  • ガウスの消去法との関連
  • 線形方程式系の解法への応用
  • [[(オプション) ピボット選択付きLU分解 (PA = LU)]]
• Factorization) (A = QR)
  • Qは直交行列、Rは上三角行列
  • グラム・シュミットの直交化法との関連
  • 最小二乗問題の解法、固有値計算への応用
• 固有値分解 (Eigenvalue Decomposition - EVD) (A = PDP⁻¹, Aが対角化可能な場合) (再掲)
• 特異値分解 (Singular Value Decomposition - SVD) (A = UΣV^T)
  • U, Vは直交行列、Σは特異値を持つ対角行列
  • 任意の行列に対して存在する
  • 特異値 (Singular Values)
  • SVDの幾何学的解釈 (回転、スケーリング、回転)
  • SVDの応用
    • 主成分分析 (PCA)
    • 低ランク近似 (Low-Rank Approximation)
    • 推薦システム
    • 画像圧縮
    • 疑似逆行列 (Pseudoinverse)
• (オプション) コレスキー分解 (Cholesky Decomposition) (A = LL^T, Aが正定値対称行列の場合)
• (オプション) ジョルダン分解 (Jordan Decomposition) (再掲)

10. (オプション) 線形代数の応用例 MOC (各分野へのリンク)

• コンピュータグラフィックス
  • 3D変換 (平行移動、回転、スケーリング、せん断)
  • 同次座標 (Homogeneous Coordinates)
  • 射影変換 (Perspective Projection, Orthographic Projection)
  • ビューイングパイプライン
• 機械学習とデータサイエンス
  • 特徴ベクトルとデータ行列
  • 主成分分析 (PCA) と次元削減
  • 線形回帰と最小二乗法
  • サポートベクターマシン (SVM)
  • ニューラルネットワークにおける行列演算
  • 推薦システム (協調フィルタリングなど)
• 画像処理
  • 画像の行列表現
  • フィルタリングと畳み込み
  • 画像圧縮 (SVDなど)
• 最適化問題
  • 線形計画法 (Linear Programming) (概要)
• ネットワーク分析
  • 隣接行列と接続行列
  • GoogleのPageRankアルゴリズム (固有ベクトル)
• 暗号理論
  • ヒル暗号 (Hill Cipher) (古典的)
• 量子コンピューティング (量子ビットと量子ゲートの行列表現 - 概要)
• 制御理論 (状態空間表現 - 概要)