고유분해를 이용한 차원 축소 주성분 분석(PCA, Principal Component Analysis)은 고차원 데이터에서 주요 정보를 최대한 보존하면서 차원을 축소하는 대표적인 기법이다. 이 기법은 데이터 집합의 공분산 행렬의 고유분해(eigen-decomposition)를 통해 이루어진다. 공분산 행렬은 대칭행렬이므로 실수 고윳값과 정규직교 고유벡터를 가지며, 고윳값이 클수록 해당 고유벡터 방향으로 데이터의 분산이 크다는 사실을 이용하여, 분산이 큰 방향(주성분)을 선택함으로써 …

이차형식의 행렬 표현 이차형식(quadratic form)이란, 벡터공간 \( \mathbb{R}^n \)의 임의의 벡터 \(\mathbf{x} = (x_1, x_2, \dots, x_n)^T\)에 대해 실수 값을 반환하는 함수로, 보통 다음과 같이 정의된다. \[ Q(\mathbf{x}) = \sum_{i=1}^n \sum_{j=1}^n c_{ij}\, x_i x_j. \] 이와 같이 정의된 이차형식은 행렬 표기법을 사용하여, 적당한 \(n \times n\) 행렬 \(A\)를 이용해 \[ …

정규연산자 내적공간에서 정의된 선형연산자 \(\mathcal{T}\)가 정규(normal) 연산자라는 것은, 그 연산자와 수반연산자(\(\mathcal{T}^*\))가 서로 교환 가능함(가환)을 의미한다. 즉, 복소벡터공간에서 \[ \mathcal{T}\,\mathcal{T}^* = \mathcal{T}^*\,\mathcal{T} \] 를 만족하는 연산자 \(\mathcal{T}\)를 정규연산자라고 부른다. 이 개념은 복소 행렬론에서의 “정규행렬(\(A^\dagger A = A A^\dagger\))”에 해당하며, 유니터리, 에르미트, 스펙트럼 대각화 등 선형대수학의 핵심 주제들과 긴밀히 연관된다. 정의 1. …

선형범함수 스펙트럼 정리를 다루기 전에, 먼저 선형범함수(linear functional) 개념을 이해해야 한다. 이는 벡터공간(특히 내적공간)에서의 선형연산자의 스펙트럼을 분석할 때, 극점 성질이나 쌍대공간 등을 해석하는 중요한 도구로 작용한다. 구체적으로, 선형범함수는 “하나의 벡터를 스칼라로 대응시키는 선형사상”을 의미한다. 정의 1. (선형범함수) 벡터공간 \(V\)가 체 \(\mathbb{F}\) (예: \(\mathbb{R}\) 혹은 \(\mathbb{C}\)) 위에 정의되어 있다고 하자. 함수 …

복소벡터공간의 특징 복소벡터공간은 실수 대신 복소수를 스칼라로 사용하는 벡터공간으로, 여러 가지 측면에서 실벡터공간과 유사한 구조를 지니지만, 복소수의 켤레(conjugate) 연산이 개입하여 독특한 성질들이 추가된다. 특히 내적(Inner Product)의 정의가 실수 경우와 다르게 복소켤레를 포함하게 되며, 이로 인해 각도나 거리 개념도 달라진다. 또한 에르미트(Hermitian) 행렬이나 유니터리(Unitary) 변환 등 실수 세계에서는 나타나지 않는 중요한 …

대칭행렬의 고유벡터 성질 실수 행렬 \(A\)가 대칭행렬, 즉 \(A^T = A\)인 경우, \(A\)는 반드시 실수 고윳값을 가지며, 서로 다른 고윳값에 대응하는 고유벡터들은 서로 직교하는 성질을 가진다. 또한, 같은 고윳값에 대응하는 고유공간 내에서도 임의의 고유벡터들을 정규직교 기저로 구성할 수 있다. 이러한 성질은 실대칭행렬의 중요한 특징으로, 스펙트럴 정리의 기초가 된다. 정리 1. …

직교행렬(Orthogonal Matrix) 내적공간에서 벡터의 길이와 각도를 보존하는 선형변환은 정규직교 기저를 이용하여 표현할 수 있다. 이러한 선형변환을 나타내는 행렬 중, 특히 내적을 보존하는 행렬을 직교행렬이라 한다. 직교행렬은 기저 변환 시 내적과 노름, 거리 등의 기하학적 성질을 그대로 유지하는 중요한 역할을 한다. 정의 1. (직교행렬) 실수체 \(\mathbb{R}\) 위의 \(n\times n\) 행렬 \(Q\)가 …

알고리즘의 단계적 설명 그람–슈미트(Gram–Schmidt) 과정은 내적공간에서 주어진 일차독립 벡터 집합으로부터, 동일한 부분공간을 생성하면서 서로 직교하는 벡터 집합(또는 정규직교 기저)을 구성하는 알고리즘이다. 이 과정은 각 단계마다 이전에 구한 직교 벡터들에 대한 정사영(projection)을 빼어 새로운 벡터가 기존 벡터들과 직교하도록 만드는 방식으로 진행된다. 주어진 일차독립 벡터 집합을 \(B = \{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n\}\)이라 …

직교기저와 직교정규기저 내적공간에서 벡터들 사이에 내적이 0인 경우, 두 벡터는 서로 직교한다고 한다. 이러한 성질을 활용하여 내적공간의 기저를 구성하면, 각 기저 벡터들이 서로 직교하는 성질을 지니게 되어 계산이 단순해지고, 기하학적 해석이 용이해진다. 만약 각 기저 벡터의 노름이 1로 정규화되어 있다면, 이를 정규직교(orthonormal) 기저라고 하며, 이는 특히 선형변환의 행렬 표현이나 함수 …

노름의 정의 내적공간이나 더 일반적인 벡터공간에서, 벡터의 ‘길이’를 정의하기 위해 노름(norm)이라는 연산을 사용한다. 노름은 공간에 기하학적 구조(거리, 각도 등)를 부여하는 핵심적인 개념이다. 이 절에서는 노름의 공리적 정의와, 그로부터 유도되는 가장 중요한 성질인 삼각부등식을 살펴본다. 정의 1. (노름, Norm) 체 \(\mathbf{F}=\mathbb{R}\) (또는 \(\mathbb{C}\)) 위의 벡터공간 \(V\)에서 함수 \(\|\cdot\|: V \to \mathbb{R}\)가 …

내적공간의 정의 벡터공간에서 길이(length)와 각도(angle)에 대한 개념을 더 풍부하게 다루기 위해서는, 벡터들 사이에 내적(inner product)이라는 연산을 정의할 수 있어야 한다. 내적을 통해 벡터공간의 원소들이 서로 얼마나 “가깝거나 멀리” 위치하는지, 혹은 서로 “직교(orthogonal)하는지”를 수량화할 수 있다. 이 절에서는 내적이 만족해야 하는 기본 공리들을 살펴보고, 이를 바탕으로 한 내적공간의 정의를 제시한다. 정의 …

제 1 분해 정리 선형연산자의 불변부분공간(invariant subspace) 개념을 바탕으로, 복잡한 선형변환이나 행렬을 더 단순한 구성요소들로 쪼개어 표현하는 방식이 여러 분해 정리에 의해 가능하다. 제 1 분해 정리는 이러한 아이디어를 실현하는 대표적 결과로, 선형변환이 만드는 불변부분공간을 차례로 찾아가는 기법을 제시한다. 이를 통해 행렬(선형연산자)의 작용이 여러 부분 공간에서 어떻게 분리되어 해석될 수 …