미분방정식을 푼다는 것은 종종 어떤 에너지 범함수 \(J(u)\)를 최소화하는 함수 \(u\)를 찾는 문제(변분 문제)로 환원된다. 미적분학에서 미분가능한 함수의 극소점을 찾을 때 \(f'(x)=0\)인 \(x\)를 찾듯이, 변분법에서도 \(J'(u)=0\)인 오일러-라그랑주 방정식을 사용한다.
\(f\)가 미분 가능한 실함수일 때 \(f'(x)=0\)이라고 해서 반드시 \(f\)가 \(x\)에서 반드시 극값을 갖는 것은 아니다. 하지만 함수가 볼록(convex)하다면 이야기는 달라진다. 볼록함수에서 국소최솟값은 곧 전역최솟값이 된다. 이러한 이유로 볼록해석학(convex analysis)은 최적화 이론과 비선형 함수해석학의 기반이 된다.
이 글에서는 노름공간에서의 볼록함수를 정의하고, 볼록성이 연속성과 어떤 관계를 가지고 있는지 살펴본다. 이 글에서 \(X\)는 노름공간을 의미한다.
정의 1. (볼록집합과 볼록함수)
- 집합 \(K \subset X\)가 볼록집합(convex set)이라는 것은, 임의의 \(x,\, y \in K\)와 \(0 \leq \lambda \leq 1\)에 대하여 \[\lambda x + (1-\lambda)y \in K\] 가 성립함을 의미한다.
- \(K\)가 볼록집합일 때, 함수 \(f : K \rightarrow \mathbb{R}\)이 볼록함수(convex function)라는 것은, 임의의 \(x,\, y \in K\)와 \(0 \leq \lambda \leq 1\)에 대하여 \[f(\lambda x + (1-\lambda)y) \leq \lambda f(x) + (1-\lambda)f(y)\] 가 성립함을 의미한다.
기하학적으로 볼록함수는 함수의 그래프 위의 두 점을 잇는 선분(할선)이 경계점 외에는 항상 그래프보다 위쪽에 위치함을 의미한다.
유한차원 공간에서 정의된 볼록함수는 매우 좋은 성질을 가진다. 열린집합에서 정의된 볼록함수는 연속이며, 국소적으로 립시츠 연속이다.
정리 2. (유한차원에서의 연속성)
\(K\)가 \(\mathbb{R}^n\)의 열린 볼록 부분집합이고 \(f : K \rightarrow \mathbb{R}\)가 볼록함수라고 하자. 그러면 \(f\)는 \(K\)에서 연속이다.
하지만 무한차원 공간에서는 이것이 성립하지 않는다. 무한차원 공간에서는 불연속인 선형범함수(선형이므로 당연히 볼록이다)가 존재할 수 있기 때문이다. 따라서 무한차원 공간에서 볼록함수의 연속성을 보장하기 위해서는 추가 조건이 필요하다.
정리 3. (무한차원에서의 연속성 조건)
\(X\)가 노름공간이고 \(K \subset X\)가 열린 볼록집합이며 \(f : K \rightarrow \mathbb{R}\)가 볼록함수라고 하자. 만약 \(f\)가 \(K\)의 적당한, 비어있지 않은 열린 부분집합 \(U\) 위에서 위로 유계라면, \(f\)는 \(K\) 전체에서 연속이다.
증명
일반성을 잃지 않고 \(0 \in K\)이고 \(f(0) = 0\)이라 가정하자. 가정에 의해 \(0\)의 근방 \(B_\delta(0)\)에서 \(f(x) \leq M\)인 상수 \(M\)이 존재한다고 하자. \(\lVert x \rVert \leq \delta\)인 임의의 \(x \in X\)에 대해 \[f(x) \leq M\] 이다. 이제 하한을 추정해보자. \(x \neq 0\)일 때 \(y = - \frac{\lVert x \rVert}{\delta} x\)로 두면 충분히 작은 \(x\)에 대해 \(\lVert y \rVert = \frac{\lVert x \rVert^2}{\delta} \ll \delta\)이므로 \(y \in B_\delta(0)\)이다. 볼록성에 의해 \[f(0) = f\left( \frac{\delta}{\delta + \lVert x \rVert} x + \frac{\lVert x \rVert}{\delta + \lVert x \rVert} y \right) \leq \frac{\delta}{\delta + \lVert x \rVert} f(x) + \frac{\lVert x \rVert}{\delta + \lVert x \rVert} f(y)\] 이다. \(f(0)=0\)이므로 \[0 \leq \delta f(x) + \lVert x \rVert f(y)\] 즉, \[f(x) \geq - \frac{\lVert x \rVert}{\delta} f(y) \geq - \frac{\lVert x \rVert}{\delta} M .\] 따라서 \(|f(x)| \leq \frac{M}{\delta} \lVert x \rVert\)이므로 \(f\)는 \(0\)에서 연속이며, 볼록함수의 성질에 의해 한 점에서의 연속성은 정의구역 전체에서의 연속성을 함의한다(평행이동을 통해 증명 가능).
변분법에서 최솟값을 찾을 때, 함수가 반드시 연속일 필요는 없다. 최소화 수열(minimizing sequence) \(x_n \to x_0\)에 대하여 \(f(x_0) \leq \lim f(x_n)\)만 성립하면 최솟값의 존재를 보장할 수 있기 때문이다. 이 조건을 만족시키는 성질을 하반연속성이라고 부른다.
정의 4. (하반연속성)
함수 \(f : X \rightarrow \mathbb{R} \cup \{+\infty\}\)가 점 \(x_0\)에서 하반연속(lower semicontinuous, l.s.c.)이라는 것은 다음 조건이 성립함을 의미한다. \[f(x_0) \leq \liminf_{x \rightarrow x_0} f(x) .\]
하반연속성은 함수의 그래프 아래쪽 영역이 닫혀 있다는 기하학적 성질과 동치이다.
정의 5. (에피그래프)
함수 \(f : X \rightarrow \mathbb{R} \cup \{+\infty\}\)의 에피그래프(epigraph)는 다음과 같이 정의된다. \[\operatorname{epi}(f) = \{(x, \alpha) \in X \times \mathbb{R} \,\vert\, f(x) \leq \alpha\} .\]
정리 6. (하반연속성과 에피그래프)
함수 \(f\)가 \(X\) 전체에서 하반연속이기 위한 필요충분조건은 에피그래프 \(\operatorname{epi}(f)\)가 \(X \times \mathbb{R}\)에서 닫힌집합인 것이다.
이 정리는 볼록해석학에서 매우 중요하다. 볼록함수의 에피그래프는 볼록집합이다. 따라서 “볼록하고 하반연속인 함수”는 “닫힌 볼록 에피그래프를 가진 함수”와 같다. 이것은 이전 글에서 살펴본 한-바나흐 정리(기하학적 형태: 분리 정리)를 적용할 수 있게 해 준다.
최적화 이론의 가장 기본적인 정리는 다음과 같다.
정리 7. (일반화된 바이어슈트라스 정리)
\(K\)가 위상공간 \(X\)의 컴팩트 집합이고, \(f : K \rightarrow \mathbb{R}\)이 하반연속 함수라면, \(f\)는 \(K\)에서 최솟값을 가진다.
증명
\(\alpha = \inf_{x \in K} f(x)\)라고 하자. 집합 \(A_t = \{x \in K : f(x) \leq t\}\)를 정의하면, \(f\)가 하반연속이므로 \(A_t\)는 닫힌집합이다. \(K\)가 컴팩트이므로 \(A_t\)도 컴팩트이다. 만약 최솟값이 존재하지 않는다면(즉, \(A_\alpha = \varnothing\)이라면), 유한 교집합 성질(finite intersection property)을 이용해 모순을 이끌어 낼 수 있다. 직관적으로, 최소화 수열 \(x_n\)은 컴팩트성에 의해 수렴하는 부분수열 \(x_{n_k} \to x^*\)를 가지며, 하반연속성에 의해 \(f(x^*) \leq \liminf f(x_{n_k}) = \alpha\)가 되어 \(x^*\)가 최소점이 된다.
문제는 무한차원 반사적 바나흐 공간(reflexive Banach space)에서는 유계인 닫힌집합이 컴팩트가 아닐 수 있다는 점이다. 따라서 우리는 “노름 위상에서의 하반연속성”보다 더 강력하거나 다른 조건인 “약위상에서의 하반연속성”이 필요하다. 다음 글에서는 약하반연속성과 최솟값의 존재성을 살펴보자.