샤우더의 부동점 정리는 강력하지만, 편미분방정식 등 실제 응용 문제를 해결할 때 한 가지 큰 난관에 부딪힌다. 바로 연산자 \(T\)에 의하여 자기 자신에 대응되는 닫힌 볼록집합 \(K\)를 찾아내는 과정이다. (즉, \(T(K) \subset K\)인 닫힌 볼록집합 \(K\).) 이 집합 \(K\)를 구성하는 것이 매우 까다로울 수 있다.
이러한 어려움을 극복하기 위해 등장한 것이 셰퍼의 부동점 정리(Schaefer's fixed point theorem)이다. 이 정리는 “불변 집합을 구성하는 문제”를 “해의 유계성을 증명하는 문제”로 바꾸어 준다. 즉, 해가 존재한다고 가정했을 때 그 해가 발산하지 않음(선험적 유계성, a priori estimate)만 보이면, 실제로 해가 존재한다는 것을 보장한다.
이 정리의 배경에는 위상수학과 관련된 개념인 르레이-샤우더 차수(Leray-Schauder degree)가 자리 잡고 있다. 이 글에서는 셰퍼의 정리와 그 이론적 토대인 차수 이론을 살펴본다.
정리 1. (셰퍼의 부동점 정리)
\(X\)가 바나흐 공간이고 \(T : X \rightarrow X\)가 연속인 컴팩트 연산자라고 하자. 그리고 \[E = \{x \in X \,\vert\, x = \lambda T(x) \text{ for some } 0 < \lambda < 1\} \] 라고 하자. 그러면 다음 두 가지 중 하나가 성립한다.
- 집합 \(E\)는 유계가 아니다. (즉, 해가 무한대로 발산한다.)
- \(T\)는 부동점을 가진다.
이 정리는 연속 변형법(continuation method) 또는 호모토피(Homotopy) 방법이라 불리는 문제 해결 방법의 일종이다.
방정식 \(x = \lambda T(x)\)의 해를 구하는 문제를 생각해보자. \(\lambda = 0\)일 때는, \(x = 0\)이라는 자명한 해가 있다. 이제 \(\lambda\)를 \(0\)에서 \(1\)로 연속적으로 변화시킨다. 만약 이 과정에서 해가 “도망가지 않고” 갇혀 있다면(즉 해의 범위가 유계라면), \(\lambda = 1\)일 때도 해가 존재해야 한다는 논리이다.
따름정리 2.
\(T\)가 컴팩트 연산자라고 하자. 만약 \(\lambda \in [0, 1]\)에 대해 방정식 \(x = \lambda T(x)\)의 모든 가능한 해들의 집합이 유계라면, \(T\)는 부동점을 가진다.
따라서 해의 존재성을 보이기 위해 방정식을 푸는 대신, “만약 해가 있다면 그 크기(노름)가 상수 \(M\)을 넘지 않는다”를 보이면 된다.
셰퍼의 정리는 위상적 차수(topological degree) 이론의 직접적인 결과이다. 유한차원에서 차수(degree)는 방정식 \(f(x) = y\)의 해의 개수(중복도와 방향을 고려하여)를 세는 정숫값 함수이다. 르레이와 샤우더는 이 개념을 무한차원 바나흐 공간의 컴팩트 연산자에 대해 확장했다.
정의 3. (르레이-샤우더 차수)
\(X\)가 바나흐 공간이고, \(\Omega \subset X\)가 유계 열린 집합이라고 하자. \(T : \overline{\Omega} \rightarrow X\)가 컴팩트 연산자이고, 경계 \(\partial \Omega\) 위에서 \(x \neq T(x)\)라고 하자. (즉, 경계에 해가 없다.) 이때, 정숫값을 가지는 함수 \(\deg(I-T,\, \Omega,\, 0)\)을 정의할 수 있으며, 이것을 \(0\)에 대한 \(I-T\)의 르레이-샤우더 차수라고 부른다.
이 차수는 다음과 같은 중요한 공리적 성질을 만족시킨다.
- 정규성(normalization): \(\deg(I, \Omega, 0) = 1.\) (단, \(0 \in \Omega.\))
- 해의 존재성(existence): 만약 \(\deg(I-T,\, \Omega,\, 0) \neq 0\)이면, 방정식 \(x = T(x)\)는 \(\Omega\) 내부에 적어도 하나의 해를 가진다.
- 호모토피 불변성(homotopy invariance): 이것이 가장 중요한 성질이다. \(h(t,\, x) : [0,\, 1] \times \overline{\Omega} \rightarrow X\)가 \(t\)와 \(x\)에 대해 연속이고 \(x\)에 대해 컴팩트 연산자라고 하자. 만약 모든 \(t \in [0,\, 1]\)에 대해 경계 \(\partial \Omega\)에서 \(x \neq h(t,\, x)\)이면, \[\deg(I - h(t,\, \cdot),\, \Omega, 0)\] 의 값은 \(t\)에 관계없이 일정하다.
이제 르레이-샤우더 차수를 이용하여 셰퍼의 부동점 정리를 증명하는 과정을 살펴보자.
집합 \(E = \{x \in X \mid x = \lambda T(x),\, 0 < \lambda < 1\}\)가 유계라고 가정하자. 그러면 충분히 큰 반지름 \(R\)을 잡아, 모든 해가 열린 공 \(B_R(0)\) 안에 속하도록 할 수 있다. 즉, 경계 \(\partial B_R(0)\) 위에서는 어떤 \(\lambda \in [0,\, 1]\)에 대해서도 \(x = \lambda T(x)\)를 만족하는 해가 없다.
이제 \(t \in [0,\, 1]\)에 대하여 호모토피 \(h(t,\, x) = t T(x)\)를 고려하자.
- \(t=0\)일 때: 연산자는 \(0\) (영 연산자)이다. \(I - 0 = I\)이고 \(0 \in B_R(0)\)이므로, 정규성에 의해 \[\deg(I, B_R(0), 0) = 1\] 이다.
- 호모토피 불변성: 가정에 의해 경계에서 해가 없으므로, 차수는 \(t\)에 대해 일정하다. 따라서 \(t=1\)일 때도 \[\deg(I - T, B_R(0), 0) = 1\] 이다.
- 해의 존재성: 차수가 \(0\)이 아니므로(\(1 \neq 0\)), \(B_R(0)\) 내부에 \(x - T(x) = 0\)인 해가 존재한다.
이로써 \(T\)의 부동점 \(x\)가 존재한다.
셰퍼의 부동점 정리를 활용하는 예로서 다음과 같은 비선형 적분 방정식을 살펴보자. \[u(x) = \int_0^1 K(x, y, u(y)) \, dy .\] 여기서 커널 \(K\)가 \(u\)에 대해 “지나치게 빨리 증가하지 않는다(sublinear growth)”라는 조건을 만족시킨다고 가정하자. 예를 들어 \(|K(x,\, y,\, u)| \leq C|u| + D\)와 같은 조건을 생각할 수 있다.
이 문제를 \(u = Tu\)로 두자. 그러면 아르첼라-아스콜리 정리 등을 사용하여 \(T\)가 컴팩트 연산자임을 확인할 수 있다. 이제 \(u = \lambda Tu\)를 만족시키는 해 \(u\)가 유계임을 보여야 한다. \[\begin{aligned} |u(x)| &= |\lambda| \left| \int_0^1 K(x, y, u(y)) \, dy \right| \\[6pt] &\leq 1 \cdot \int_0^1 (C|u(y)| + D) \, dy \\[6pt] &= C \int_0^1 |u(y)| \, dy + D . \end{aligned}\] 론월 부등식이나 최대값 원리 등을 사용하여 이 부등식을 풀면, \(C < 1\)일 때 \(\lVert u \rVert_\infty\)가 어떤 상수를 넘을 수 없음을 알 수 있다. 즉, 선험적 유계성 조건을 만족시킨다. 따라서 셰퍼의 정리에 의해 문제의 적분방정식의 해가 존재한다.