미분방정식을 푼다는 것은 종종 어떤 에너지 범함수 \(J(u)\)를 최소화하는 함수 \(u\)를 찾는 문제(변분 문제)로 환원된다. 미적분학에서 미분가능한 함수의 극소점을 찾을 때 \(f'(x)=0\)을 살피듯이, 변분법에서도 먼저 범함수의 임계점 조건 \(J'(u)=0\)을 본다. 구체적인 적분형 범함수의 경우 이 조건은 오일러-라그랑주 방정식으로 나타난다.
\(f\)가 미분 가능한 실함수일 때 \(f'(x)=0\)이라고 해서 반드시 \(f\)가 \(x\)에서 반드시 극값을 갖는 것은 아니다. 하지만 함수가 볼록(convex)하다면 이야기는 달라진다. 볼록함수에서 국소최솟값은 곧 전역최솟값이 된다. 이러한 이유로 볼록해석학(convex analysis)은 최적화 이론과 비선형 함수해석학의 기반이 된다.
이 글에서는 노름공간에서의 볼록함수를 정의하고, 볼록성이 연속성과 어떤 관계를 가지고 있는지 살펴본다. 이 글에서 \(X\)는 노름공간을 의미한다.
정의 1. (볼록집합과 볼록함수)
- 집합 \(K \subset X\)가 볼록집합(convex set)이라는 것은, 임의의 \(x,\, y \in K\)와 \(0 \leq \lambda \leq 1\)에 대하여 \[\lambda x + (1-\lambda)y \in K\] 가 성립함을 의미한다.
- \(K\)가 볼록집합일 때, 함수 \(f : K \rightarrow \mathbb{R}\)이 볼록함수(convex function)라는 것은, 임의의 \(x,\, y \in K\)와 \(0 \leq \lambda \leq 1\)에 대하여 \[f(\lambda x + (1-\lambda)y) \leq \lambda f(x) + (1-\lambda)f(y)\] 가 성립함을 의미한다.
기하학적으로 볼록함수는 함수의 그래프 위의 두 점을 잇는 선분(할선)이 경계점 외에는 항상 그래프보다 위쪽에 위치함을 의미한다.
유한차원 공간에서 정의된 볼록함수는 매우 좋은 성질을 가진다. 열린집합에서 정의된 볼록함수는 연속이며, 국소적으로 립시츠 연속이다.
정리 2. (유한차원에서의 연속성)
\(K\)가 \(\mathbb{R}^n\)의 열린 볼록 부분집합이고 \(f : K \rightarrow \mathbb{R}\)가 볼록함수라고 하자. 그러면 \(f\)는 \(K\)에서 연속이다.
하지만 무한차원 공간에서는 이것이 성립하지 않는다. 무한차원 공간에서는 불연속인 선형범함수(선형이므로 당연히 볼록이다)가 존재할 수 있기 때문이다. 따라서 무한차원 공간에서 볼록함수의 연속성을 보장하기 위해서는 추가 조건이 필요하다.
정리 3. (무한차원에서의 연속성 조건)
\(X\)가 노름공간이고 \(K \subset X\)가 열린 볼록집합이며 \(f : K \rightarrow \mathbb{R}\)가 볼록함수라고 하자. 또한 어떤 비어 있지 않은 열린집합 \(U \subset K\) 위에서 \(f\)가 위로 유계라고 하자. 그러면 \(f\)는 \(K\)에서 연속이다.
증명
임의의 \(x_0 \in K\)를 고정하자. 먼저 \(f\)가 \(x_0\)의 근방에서 위로 유계임을 보이자. 가정에 의해 \(u \in U\), \(r>0\), \(M \in \mathbb{R}\)가 존재하여 \[B_r(u) \subset U, \qquad f(v) \le M \quad (v \in B_r(u))\] 가 성립한다. \(K\)가 열린집합이므로 충분히 작은 \(\varepsilon>0\)를 택하면 \[w := x_0 + \varepsilon(x_0-u) \in K\] 이다. \(\lambda := \frac{1}{1+\varepsilon}\)라고 두면 \[x_0 = \lambda w + (1-\lambda)u\] 이다.
이제 \(\|x-x_0\| < (1-\lambda)r\)인 \(x \in K\)를 택하고 \[v := u + \frac{x-x_0}{1-\lambda}\] 라고 두자. 그러면 \(v \in B_r(u)\subset U\)이고 \[x = \lambda w + (1-\lambda)v\] 이므로 볼록성에 의해 \[f(x) \le \lambda f(w) + (1-\lambda)f(v) \le \lambda f(w) + (1-\lambda)M .\] 따라서 \(f\)는 \(x_0\)의 어떤 근방에서 위로 유계이다.
이제 일반적으로, \(f\)가 \(x_0\)의 근방에서 위로 유계이면 \(x_0\)에서 연속임을 보이자. 위에서 얻은 국소 위 유계성에 의해 어떤 \(\rho>0\), \(C\in\mathbb{R}\)가 존재하여 \[B_{4\rho}(x_0)\subset K, \qquad f(x)\le C \quad (x\in B_{4\rho}(x_0))\] 가 성립한다. 함수 \[g(h):=f(x_0+h)-f(x_0)\qquad (h\in B_{4\rho}(0))\] 를 정의하자. 그러면 \(g\)는 볼록함수이고 \(g(0)=0\)이며 \[g(h)\le L:=C-f(x_0)\qquad (h\in B_{4\rho}(0))\] 이다.
\(0<\|h\|<\rho\)라 하자. \(z:=\dfrac{2\rho}{\|h\|}h\), \(y:=-\dfrac{2\rho}{\|h\|}h\)로 두면 \[\|z\|=\|y\|=2\rho<4\rho\] 이므로 \(z,y\in B_{4\rho}(0)\)이다. 또한 \[h=\frac{\|h\|}{2\rho}z+\left(1-\frac{\|h\|}{2\rho}\right)0\] 이므로 볼록성에 의해 \[g(h)\le \frac{\|h\|}{2\rho}g(z)\le \frac{L}{2\rho}\|h\|.\] 한편 \[0=\frac{2\rho}{2\rho+\|h\|}h+\frac{\|h\|}{2\rho+\|h\|}y\] 이므로 다시 볼록성에 의해 \[0=g(0)\le \frac{2\rho}{2\rho+\|h\|}g(h)+\frac{\|h\|}{2\rho+\|h\|}g(y)\] 이다. 따라서 \[g(h)\ge -\frac{\|h\|}{2\rho}g(y)\ge -\frac{L}{2\rho}\|h\|.\] 결국 \[|g(h)|\le \frac{L}{2\rho}\|h\| \qquad (\|h\|<\rho)\] 이므로 \(g\), 즉 \(f\)는 \(x_0\)에서 연속이다.
\(x_0\in K\)가 임의였으므로 \(f\)는 \(K\) 전체에서 연속이다.
변분법에서 최솟값을 찾을 때, 함수가 반드시 연속일 필요는 없다. 최소화 수열(minimizing sequence) \(x_n \to x_0\)에 대하여 \(f(x_0) \leq \lim f(x_n)\)만 성립하면 최솟값의 존재를 보장할 수 있기 때문이다. 이 조건을 만족시키는 성질을 하반연속성이라고 부른다.
정의 4. (하반연속성)
함수 \(f : X \rightarrow \mathbb{R} \cup \{+\infty\}\)가 점 \(x_0\)에서 하반연속(lower semicontinuous, l.s.c.)이라는 것은 다음 조건이 성립함을 의미한다. \[f(x_0) \leq \liminf_{x \rightarrow x_0} f(x) .\]
하반연속성은 함수의 그래프 위쪽 영역, 즉 에피그래프가 닫혀 있다는 기하학적 성질과 동치이다.
정의 5. (에피그래프)
함수 \(f : X \rightarrow \mathbb{R} \cup \{+\infty\}\)의 에피그래프(epigraph)는 다음과 같이 정의된다. \[\operatorname{epi}(f) = \{(x, \alpha) \in X \times \mathbb{R} \,\vert\, f(x) \leq \alpha\} .\]
정리 6. (하반연속성과 에피그래프)
함수 \(f\)가 \(X\) 전체에서 하반연속이기 위한 필요충분조건은 에피그래프 \(\operatorname{epi}(f)\)가 \(X \times \mathbb{R}\)에서 닫힌집합인 것이다.
이 정리는 볼록해석학에서 매우 중요하다. 볼록함수의 에피그래프는 볼록집합이다. 따라서 “볼록하고 하반연속인 함수”는 “닫힌 볼록 에피그래프를 가진 함수”와 같다. 이것은 이전 글에서 살펴본 한-바나흐 정리(기하학적 형태: 분리 정리)를 적용할 수 있게 해 준다.
최적화 이론의 가장 기본적인 정리는 다음과 같다.
정리 7. (일반화된 바이어슈트라스 정리)
\(K\)가 위상공간 \(X\)의 컴팩트 집합이고, \(f : K \rightarrow \mathbb{R}\)이 하반연속 함수라면, \(f\)는 \(K\)에서 최솟값을 가진다.
증명
\(\alpha=\inf_{x\in K}f(x)\)라고 하자. 각 \(n\in\mathbb{N}\)에 대하여 \[F_n:=\{x\in K: f(x)\le \alpha+\tfrac{1}{n}\}\] 라고 두자. \(f\)가 하반연속이므로 각 \(F_n\)은 \(K\)에서 닫힌집합이다. 또한 \(K\)가 컴팩트이므로 각 \(F_n\)은 컴팩트이다.
\(\alpha\)가 하한이므로 모든 \(n\)에 대하여 \(F_n\neq\varnothing\)이다. 또 \[F_1 \supset F_2 \supset F_3 \supset \cdots\] 이므로 \(\{F_n\}\)는 유한 교집합 성질을 가진다. 따라서 \(K\)의 컴팩트성에 의해 \[\bigcap_{n=1}^\infty F_n \neq \varnothing\] 이다. \(x^* \in \bigcap_{n=1}^\infty F_n\)를 택하면 모든 \(n\)에 대하여 \[f(x^*) \le \alpha+\frac{1}{n}\] 이므로 \(f(x^*)\le \alpha\)이다. 그런데 \(\alpha=\inf_{x\in K}f(x)\)이므로 항상 \(\alpha\le f(x^*)\)이므로 \[f(x^*)=\alpha\] 를 얻는다. 따라서 \(f\)는 \(K\)에서 최솟값을 가진다.
문제는 무한차원 반사적 바나흐 공간(reflexive Banach space)에서는 유계인 닫힌집합이 컴팩트가 아닐 수 있다는 점이다. 따라서 우리는 “노름 위상에서의 하반연속성”보다 더 강력하거나 다른 조건인 “약위상에서의 하반연속성”이 필요하다. 다음 글에서는 약하반연속성과 최솟값의 존재성을 살펴보자.