LY4I

선형연산자로서의 미분연산 미분연산(differentiation)은 미분방정식을 해석하는 중요한 도구이며, 동시에 선형대수학의 관점에서 선형연산자로 간주될 수 있다. 즉, 적절한 함수공간을 벡터공간으로 보았을 때, 미분은 두 가지 중요한 성질을 만족한다. 함수의 합에 대한 선형성  (\(D(f+g) = D(f) + D(g)\)), 상수배에 대한 선형성  (\(D(cf) = c\,D(f)\)). 이런 관점에서, 미분연산자 \(D\)는 “입력으로 함수를 받고, 그 도함수를 …

특잇값 분해의 정의와 그 유용성 특잇값분해(Singular Value Decomposition; SVD)는 임의의 실수 행렬을 세 개의 행렬 곱으로 표현함으로써, 행렬에 담긴 다양한 정보를 구조적으로 파악할 수 있게 해 주는 강력한 기법이다. 특히, 차원 축소, 데이터 압축, 노이즈 제거 등 공학·데이터 과학에서 폭넓게 활용된다. 정의 1. (특잇값분해) 크기가 \(m \times n\)인 임의의 실수 …

최소제곱해의 존재와 유일성 선형회귀(Linear Regression)는 통계학과 공학 등에서 가장 널리 쓰이는 추정 기법 중 하나로, 주어진 데이터 \(\{(x_i, y_i)\}\)가 “선형” 형태의 관계를 갖는다고 가정하고, 그 오차 제곱합을 최소화하는 선형 모델 \(\displaystyle y \approx \beta_1\,x + \beta_0\)를 찾는 방법이다. 선형회귀나 공학 분야에서 자주 다루는 과제 중 하나는, 연립일차방정식 \(A\mathbf{x} = \mathbf{b}\)에서 …

고유분해를 이용한 차원 축소 주성분 분석(PCA, Principal Component Analysis)은 고차원 데이터에서 주요 정보를 최대한 보존하면서 차원을 축소하는 대표적인 기법이다. 이 기법은 데이터 집합의 공분산 행렬의 고유분해(eigen-decomposition)를 통해 이루어진다. 공분산 행렬은 대칭행렬이므로 실수 고윳값과 정규직교 고유벡터를 가지며, 고윳값이 클수록 해당 고유벡터 방향으로 데이터의 분산이 크다는 사실을 이용하여, 분산이 큰 방향(주성분)을 선택함으로써 …

이차형식의 행렬 표현 이차형식(quadratic form)이란, 벡터공간 \( \mathbb{R}^n \)의 임의의 벡터 \(\mathbf{x} = (x_1, x_2, \dots, x_n)^T\)에 대해 실수 값을 반환하는 함수로, 보통 다음과 같이 정의된다. \[ Q(\mathbf{x}) = \sum_{i=1}^n \sum_{j=1}^n c_{ij}\, x_i x_j. \] 이와 같이 정의된 이차형식은 행렬 표기법을 사용하여, 적당한 \(n \times n\) 행렬 \(A\)를 이용해 \[ …

정규연산자 내적공간에서 정의된 선형연산자 \(\mathcal{T}\)가 정규(normal) 연산자라는 것은, 그 연산자와 수반연산자(\(\mathcal{T}^*\))가 서로 교환 가능함(가환)을 의미한다. 즉, 복소벡터공간에서 \[ \mathcal{T}\,\mathcal{T}^* = \mathcal{T}^*\,\mathcal{T} \] 를 만족하는 연산자 \(\mathcal{T}\)를 정규연산자라고 부른다. 이 개념은 복소 행렬론에서의 “정규행렬(\(A^\dagger A = A A^\dagger\))”에 해당하며, 유니터리, 에르미트, 스펙트럼 대각화 등 선형대수학의 핵심 주제들과 긴밀히 연관된다. 정의 1. …

선형범함수 스펙트럼 정리를 다루기 전에, 먼저 선형범함수(linear functional) 개념을 이해해야 한다. 이는 벡터공간(특히 내적공간)에서의 선형연산자의 스펙트럼을 분석할 때, 극점 성질이나 쌍대공간 등을 해석하는 중요한 도구로 작용한다. 구체적으로, 선형범함수는 “하나의 벡터를 스칼라로 대응시키는 선형사상”을 의미한다. 정의 1. (선형범함수) 벡터공간 \(V\)가 체 \(\mathbb{F}\) (예: \(\mathbb{R}\) 혹은 \(\mathbb{C}\)) 위에 정의되어 있다고 하자. 함수 …

복소벡터공간의 특징 복소벡터공간은 실수 대신 복소수를 스칼라로 사용하는 벡터공간으로, 여러 가지 측면에서 실벡터공간과 유사한 구조를 지니지만, 복소수의 켤레(conjugate) 연산이 개입하여 독특한 성질들이 추가된다. 특히 내적(Inner Product)의 정의가 실수 경우와 다르게 복소켤레를 포함하게 되며, 이로 인해 각도나 거리 개념도 달라진다. 또한 에르미트(Hermitian) 행렬이나 유니터리(Unitary) 변환 등 실수 세계에서는 나타나지 않는 중요한 …

대칭행렬의 고유벡터 성질 실수 행렬 \(A\)가 대칭행렬, 즉 \(A^T = A\)인 경우, \(A\)는 반드시 실수 고윳값을 가지며, 서로 다른 고윳값에 대응하는 고유벡터들은 서로 직교하는 성질을 가진다. 또한, 같은 고윳값에 대응하는 고유공간 내에서도 임의의 고유벡터들을 정규직교 기저로 구성할 수 있다. 이러한 성질은 실대칭행렬의 중요한 특징으로, 스펙트럴 정리의 기초가 된다. 정리 1. …

직교행렬(Orthogonal Matrix) 내적공간에서 벡터의 길이와 각도를 보존하는 선형변환은 정규직교 기저를 이용하여 표현할 수 있다. 이러한 선형변환을 나타내는 행렬 중, 특히 내적을 보존하는 행렬을 직교행렬이라 한다. 직교행렬은 기저 변환 시 내적과 노름, 거리 등의 기하학적 성질을 그대로 유지하는 중요한 역할을 한다. 정의 1. (직교행렬) 실수체 \(\mathbb{R}\) 위의 \(n\times n\) 행렬 \(Q\)가 …

알고리즘의 단계적 설명 그람–슈미트(Gram–Schmidt) 과정은 내적공간에서 주어진 일차독립 벡터 집합으로부터, 동일한 부분공간을 생성하면서 서로 직교하는 벡터 집합(또는 정규직교 기저)을 구성하는 알고리즘이다. 이 과정은 각 단계마다 이전에 구한 직교 벡터들에 대한 정사영(projection)을 빼어 새로운 벡터가 기존 벡터들과 직교하도록 만드는 방식으로 진행된다. 주어진 일차독립 벡터 집합을 \(B = \{\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n\}\)이라 …

직교기저와 직교정규기저 내적공간에서 벡터들 사이에 내적이 0인 경우, 두 벡터는 서로 직교한다고 한다. 이러한 성질을 활용하여 내적공간의 기저를 구성하면, 각 기저 벡터들이 서로 직교하는 성질을 지니게 되어 계산이 단순해지고, 기하학적 해석이 용이해진다. 만약 각 기저 벡터의 노름이 1로 정규화되어 있다면, 이를 정규직교(orthonormal) 기저라고 하며, 이는 특히 선형변환의 행렬 표현이나 함수 …