마르코프 체인의 기본 개념 마르코프 체인(Markov Chain)은 확률론적 관점에서 “현재 상태가 주어졌을 때, 미래 상태가 과거의 이력과 무관하게 현재 상태에만 의존한다”는 ‘마르코프성’을 가정하는 확률적 과정이다. 즉, 상태가 불연속적인 시점에 따라 순차적으로 변해가며, 각 시점의 상태가 단 하나의 이전 상태에만 의존한다는 기억 없음(memoryless) 성질을 갖는다. 보다 구체적으로, 유한 상태공간 \(\{1,\,2,\,\dots,\,n\}\)이 있고, …

LU-분해의 개념 LU-분해(LU decomposition)는 행렬 분해 기법 중 하나로, 정사각행렬 \(A\)를 두 행렬 \(L\)과 \(U\)의 곱으로 나타내는 것이다. 여기서 \(L\)은 하삼각(lower triangular) 행렬이고, \(U\)는 상삼각(upper triangular) 행렬이다. 예를 들어, 임의의 \(n\times n\) 행렬 \(A\)에 대하여 \[ A = L\,U \] 와 같이 분해할 수 있다면, 이를 LU-분해라고 부른다. 정의 1. …

“선형대수학 맛보기”는 제가 선형대수학을 공부하면서 정리한 글입니다. 단순한 개념 요약이 아니라, 핵심 내용을 체계적으로 정리하고 이해하는 데 초점을 맞추어 정성 들여 작성했습니다. 총 48편의 글로 이루어져 있으며, 선형대수학의 기초 개념부터 응용까지 다양한 내용을 다룹니다. 행렬과 연립일차방정식, 벡터공간과 선형변환, 고윳값과 고유벡터, 분해 정리, 내적과 직교대각화, 그리고 선형대수학의 실용적인 활용까지 폭넓은 주제를 …

선형연산자로서의 미분연산 미분연산(differentiation)은 미분방정식을 해석하는 중요한 도구이며, 동시에 선형대수학의 관점에서 선형연산자로 간주될 수 있다. 즉, 적절한 함수공간을 벡터공간으로 보았을 때, 미분은 두 가지 중요한 성질을 만족한다. 함수의 합에 대한 선형성  (\(D(f+g) = D(f) + D(g)\)), 상수배에 대한 선형성  (\(D(cf) = c\,D(f)\)). 이런 관점에서, 미분연산자 \(D\)는 “입력으로 함수를 받고, 그 도함수를 …

특잇값 분해의 정의와 그 유용성 특잇값분해(Singular Value Decomposition; SVD)는 임의의 실수 행렬을 세 개의 행렬 곱으로 표현함으로써, 행렬에 담긴 다양한 정보를 구조적으로 파악할 수 있게 해 주는 강력한 기법이다. 특히, 차원 축소, 데이터 압축, 노이즈 제거 등 공학·데이터 과학에서 폭넓게 활용된다. 정의 1. (특잇값분해) 크기가 \(m \times n\)인 임의의 실수 …

최소제곱해의 존재와 유일성 선형회귀(Linear Regression)는 통계학과 공학 등에서 가장 널리 쓰이는 추정 기법 중 하나로, 주어진 데이터 \(\{(x_i, y_i)\}\)가 “선형” 형태의 관계를 갖는다고 가정하고, 그 오차 제곱합을 최소화하는 선형 모델 \(\displaystyle y \approx \beta_1\,x + \beta_0\)를 찾는 방법이다. 선형회귀나 공학 분야에서 자주 다루는 과제 중 하나는, 연립일차방정식 \(A\mathbf{x} = \mathbf{b}\)에서 …

고유분해를 이용한 차원 축소 주성분 분석(PCA, Principal Component Analysis)은 고차원 데이터에서 주요 정보를 최대한 보존하면서 차원을 축소하는 대표적인 기법이다. 이 기법은 데이터 집합의 공분산 행렬의 고유분해(eigen-decomposition)를 통해 이루어진다. 공분산 행렬은 대칭행렬이므로 실수 고윳값과 정규직교 고유벡터를 가지며, 고윳값이 클수록 해당 고유벡터 방향으로 데이터의 분산이 크다는 사실을 이용하여, 분산이 큰 방향(주성분)을 선택함으로써 …

이차형식의 행렬 표현 이차형식(quadratic form)이란, 벡터공간 \( \mathbb{R}^n \)의 임의의 벡터 \(\mathbf{x} = (x_1, x_2, \dots, x_n)^T\)에 대해 실수 값을 반환하는 함수로, 보통 다음과 같이 정의된다. \[ Q(\mathbf{x}) = \sum_{i=1}^n \sum_{j=1}^n c_{ij}\, x_i x_j. \] 이와 같이 정의된 이차형식은 행렬 표기법을 사용하여, 적당한 \(n \times n\) 행렬 \(A\)를 이용해 \[ …

정규연산자 내적공간에서 정의된 선형연산자 \(\mathcal{T}\)가 정규(normal) 연산자라는 것은, 그 연산자와 수반연산자(\(\mathcal{T}^*\))가 서로 교환 가능함(가환)을 의미한다. 즉, 복소벡터공간에서 \[ \mathcal{T}\,\mathcal{T}^* = \mathcal{T}^*\,\mathcal{T} \] 를 만족하는 연산자 \(\mathcal{T}\)를 정규연산자라고 부른다. 이 개념은 복소 행렬론에서의 “정규행렬(\(A^\dagger A = A A^\dagger\))”에 해당하며, 유니터리, 에르미트, 스펙트럼 대각화 등 선형대수학의 핵심 주제들과 긴밀히 연관된다. 정의 1. …

선형범함수 스펙트럼 정리를 다루기 전에, 먼저 선형범함수(linear functional) 개념을 이해해야 한다. 이는 벡터공간(특히 내적공간)에서의 선형연산자의 스펙트럼을 분석할 때, 극점 성질이나 쌍대공간 등을 해석하는 중요한 도구로 작용한다. 구체적으로, 선형범함수는 “하나의 벡터를 스칼라로 대응시키는 선형사상”을 의미한다. 정의 1. (선형범함수) 벡터공간 \(V\)가 체 \(\mathbb{F}\) (예: \(\mathbb{R}\) 혹은 \(\mathbb{C}\)) 위에 정의되어 있다고 하자. 함수 …

복소벡터공간의 특징 복소벡터공간은 실수 대신 복소수를 스칼라로 사용하는 벡터공간으로, 여러 가지 측면에서 실벡터공간과 유사한 구조를 지니지만, 복소수의 켤레(conjugate) 연산이 개입하여 독특한 성질들이 추가된다. 특히 내적(Inner Product)의 정의가 실수 경우와 다르게 복소켤레를 포함하게 되며, 이로 인해 각도나 거리 개념도 달라진다. 또한 에르미트(Hermitian) 행렬이나 유니터리(Unitary) 변환 등 실수 세계에서는 나타나지 않는 중요한 …

대칭행렬의 고유벡터 성질 실수 행렬 \(A\)가 대칭행렬, 즉 \(A^T = A\)인 경우, \(A\)는 반드시 실수 고윳값을 가지며, 서로 다른 고윳값에 대응하는 고유벡터들은 서로 직교하는 성질을 가진다. 또한, 같은 고윳값에 대응하는 고유공간 내에서도 임의의 고유벡터들을 정규직교 기저로 구성할 수 있다. 이러한 성질은 실대칭행렬의 중요한 특징으로, 스펙트럴 정리의 기초가 된다. 정리 1. …