February 2025

마르코프 체인의 기본 개념 마르코프 체인(Markov Chain)은 확률론적 관점에서 “현재 상태가 주어졌을 때, 미래 상태가 과거의 이력과 무관하게 현재 상태에만 의존한다”는 ‘마르코프성’을 가정하는 확률적 과정이다. 즉, 상태가 불연속적인 시점에 따라 순차적으로 변해가며, 각 시점의 상태가 단 하나의 이전 상태에만 의존한다는 기억 없음(memoryless) 성질을 갖는다. 보다 구체적으로, 유한 상태공간 $\{1,2,\dots ,n\}$이 있고, …

LU-분해의 개념 LU-분해(LU decomposition)는 행렬 분해 기법 중 하나로, 정사각행렬 $A$를 두 행렬 $L$과 $U$의 곱으로 나타내는 것이다. 여기서 $L$은 하삼각(lower triangular) 행렬이고, $U$는 상삼각(upper triangular) 행렬이다. 예를 들어, 임의의 $n\times n$ 행렬 $A$에 대하여 $$A=LU$$ 와 같이 분해할 수 있다면, 이를 LU-분해라고 부른다. 정의 1. …

“선형대수학 맛보기”는 제가 선형대수학을 공부하면서 정리한 글입니다. 단순한 개념 요약이 아니라, 핵심 내용을 체계적으로 정리하고 이해하는 데 초점을 맞추어 정성 들여 작성했습니다. 총 48편의 글로 이루어져 있으며, 선형대수학의 기초 개념부터 응용까지 다양한 내용을 다룹니다. 행렬과 연립일차방정식, 벡터공간과 선형변환, 고윳값과 고유벡터, 분해 정리, 내적과 직교대각화, 그리고 선형대수학의 실용적인 활용까지 폭넓은 주제를 …

선형연산자로서의 미분연산 미분연산(differentiation)은 미분방정식을 해석하는 중요한 도구이며, 동시에 선형대수학의 관점에서 선형연산자로 간주될 수 있다. 즉, 적절한 함수공간을 벡터공간으로 보았을 때, 미분은 두 가지 중요한 성질을 만족한다. 함수의 합에 대한 선형성  ($D(f+g)=D(f)+D(g)$), 상수배에 대한 선형성  ($D(cf)=cD(f)$). 이런 관점에서, 미분연산자 $D$는 “입력으로 함수를 받고, 그 도함수를 …

특잇값 분해의 정의와 그 유용성 특잇값분해(Singular Value Decomposition; SVD)는 임의의 실수 행렬을 세 개의 행렬 곱으로 표현함으로써, 행렬에 담긴 다양한 정보를 구조적으로 파악할 수 있게 해 주는 강력한 기법이다. 특히, 차원 축소, 데이터 압축, 노이즈 제거 등 공학·데이터 과학에서 폭넓게 활용된다. 정의 1. (특잇값분해) 크기가 $m\times n$인 임의의 실수 …

최소제곱해의 존재와 유일성 선형회귀(Linear Regression)는 통계학과 공학 등에서 가장 널리 쓰이는 추정 기법 중 하나로, 주어진 데이터 $\{(x_i,y_i)\}$가 “선형” 형태의 관계를 갖는다고 가정하고, 그 오차 제곱합을 최소화하는 선형 모델 ${\displaystyle y\approx {\beta }_{1}x+{\beta }_0}$를 찾는 방법이다. 선형회귀나 공학 분야에서 자주 다루는 과제 중 하나는, 연립일차방정식 $A\mathbf{x}=\mathbf{b}$에서 …

고유분해를 이용한 차원 축소 주성분 분석(PCA, Principal Component Analysis)은 고차원 데이터에서 주요 정보를 최대한 보존하면서 차원을 축소하는 대표적인 기법이다. 이 기법은 데이터 집합의 공분산 행렬의 고유분해(eigen-decomposition)를 통해 이루어진다. 공분산 행렬은 대칭행렬이므로 실수 고윳값과 정규직교 고유벡터를 가지며, 고윳값이 클수록 해당 고유벡터 방향으로 데이터의 분산이 크다는 사실을 이용하여, 분산이 큰 방향(주성분)을 선택함으로써 …

이차형식의 행렬 표현 이차형식(quadratic form)이란, 벡터공간 ${\mathbb{R}}^n$의 임의의 벡터 $\mathbf{x}=(x_1,x_2,\dots ,x_n{)}^T$에 대해 실수 값을 반환하는 함수로, 보통 다음과 같이 정의된다. $$Q(\mathbf{x})=\sum _{i=1}^n\sum _{j=1}^n{c}_{ij}{x}_i{x}_j.$$ 이와 같이 정의된 이차형식은 행렬 표기법을 사용하여, 적당한 $n\times n$ 행렬 $A$를 이용해 \[ …