이전 글에서 살펴본 바나흐의 축소 사상 원리는 함수가 “거리를 줄인다”라는 강력한 조건 아래에서 해의 존재성과 유일성을 모두 보장했다. 그러나 실제 문제 상황에서는 함수가 단순히 연속이기만 하거나, 거리를 줄이지 않는 경우도 많다.
브라우어의 부동점 정리(Brouwer fixed point theorem)는 유한차원 공간에서 “공간의 형태(위상적 성질)”만으로 부동점의 존재를 보장하는 정리이다. 비록 해를 찾는 방법(알고리즘)이나 해의 유일성을 보장하지는 않지만, 해가 ‘반드시 존재한다’라는 사실을 증명하는 데 있어 가장 기본이 되는 도구이다.
이 글에서는 \(\mathbb{R}^n\) 공간에서 브라우어의 부동점 정리를 살펴보고, 이 정리의 증명 과정을 직관적으로 살펴보자.
정리 1. (브라우어의 부동점 정리)
\(K\)가 유클리드 공간 \(\mathbb{R}^n\)의 공집합이 아닌 부분집합이고, 컴팩트이며 볼록한 집합이라고 하자. 만약 \(f : K \rightarrow K\)가 연속함수이면, \(f\)는 \(K\) 내에서 적어도 하나의 부동점을 가진다. 즉, \(f(x^*) = x^*\)인 \(x^* \in K\)가 존재한다.
위 정리의 가정에서 ‘컴팩트’와 ‘볼록’은 필수이다.
- \(K\)가 유계가 아닌 경우는 성립하지 않을 수 있다. 예를 들어 \(f(x) = x+1\)이고 \(K=\mathbb{R}\)일 때, \(f\)는 부동점을 갖지 않는다.
- \(K\)가 닫힌 집합이 아닌 경우는 성립하지 않을 수 있다. 예를 들어 \(f(x) = x/2\)이고 \(K=(0,\, 1]\)일 때, 부동점 \(0\)이 구간 밖에 있다.
- \(K\)가 볼록집합이 아닌 경우는 성립하지 않을 수 있다. 예를 들어, 도넛 모양의 영역에서 회전 이동을 시키는 함수는 부동점을 갖지 않을 수 있다.
우선 \(1\)차원에서 브라우어의 부동점 정리의 증명을 살펴보자. \(n=1\)인 경우, \(K\)는 닫힌 구간 \([a,\, b]\)가 된다. 이 경우 브라우어의 부동점 정리는 미적분학의 사잇값 정리와 동치이다.
\(f : [a,\, b] \rightarrow [a,\, b]\)가 연속함수라고 하자. \(f(x) = x\)인 점을 찾고자 한다. 새로운 함수 \(g(x)\)를 다음과 같이 정의하자. \[g(x) = f(x) - x .\] \(g\)는 연속함수이다. \(f\)의 치역이 \([a,\, b]\)이므로 \(a \leq f(x) \leq b\)이다. 따라서 양 끝점에서의 함숫값을 살펴보면 \[g(a) = f(a) - a \geq a - a = 0\] 이고 \[g(b) = f(b) - b \leq b - b = 0\] 이다. 만약 \(g(a)=0\)이면 \(a\)가 부동점이고, \(g(b)=0\)이면 \(b\)가 부동점이다. 그렇지 않다면 \(g(a) > 0\)이고 \(g(b) < 0\)이므로, 사잇값 정리에 의하여 \(g(c) = 0\)인 \(c \in (a, b)\)가 존재한다. 즉 \(f(c) - c = 0\)이므로 \(f(c) = c\)이다.
\(n \geq 2\)인 경우의 증명은 훨씬 까다롭다. 사잇값 정리처럼 ‘부호가 바뀌는’ 단순한 논리를 사용할 수 없기 때문이다. 이 증명에는 위상수학의 리트랙션(retraction) 개념이나 호몰로지(homology) 이론이 사용된다. 여기서는 가장 널리 알려진 “귀류법을 통한 증명”의 아이디어를 소개한다.
정의 2. (리트랙션)
\(X\)가 위상공간이고 \(A\)가 \(X\)의 부분집합이라고 하자. 연속함수 \(r : X \rightarrow A\)가 모든 \(a \in A\)에 대해 \(r(a) = a\)를 만족시키면, \(r\)을 \(X\)에서 \(A\)로의 리트랙션(retraction)이라고 부른다.
직관적으로 리트랙션은 공간을 찢지 않고 구겨서 부분공간으로 압축하는 것이다. 중요한 사실은 “닫힌 공 \(B^n\)에서 그 경계면(구면) \(S^{n-1}\)로 가는 리트랙션이 존재하지 않는다”라는 성질이다.
이제 리트랙션의 개념과 귀류법을 사용하여 브라우어의 부동점 정리의 증명을 간략하게 살펴보자.
\(K\)를 \(\mathbb{R}^n\)의 닫힌 단위 공 \(B^n\)이라고 하자. \(f : B^n \rightarrow B^n\)이 연속이고 부동점이 없다고 가정하자. 즉, 모든 \(x\)에 대해 \(f(x) \neq x\)이다.
이제 \(f\)를 이용하여 \(B^n\)에서 경계 \(S^{n-1}\)로 가는 연속적인 철회 \(r\)을 구성하고자 한다. 임의의 \(x \in B^n\)에 대해, 점 \(f(x)\)에서 시작하여 \(x\)를 통과하는 반직선을 그린다. 이 반직선이 구의 경계면과 만나는 점을 \(r(x)\)라고 정의하자.
- \(f(x) \neq x\)이므로 반직선은 잘 정의된다.
- \(x\)가 경계면에 있다면 \(r(x) = x\)이다.
- \(f\)가 연속이므로 작도에 의해 \(r\)도 연속이다.
즉, \(r\)은 \(B^n\)에서 \(S^{n-1}\)로 가는 연속적인 리트랙션이다. 그러나 이러한 리트랙션은 존재할 수 없다. (이 사실의 엄밀한 증명은 호모토피 이론이나 호몰로지 이론에서 다룬다.) 따라서 모순이 발생하며, “부동점이 없다”라는 가정은 거짓이다. 그러므로 부동점이 존재한다.
브라우어 부동점 정리는 다음과 같은 재미있는 물리적 해석을 가진다.
- 커피잔의 비유: 커피를 숟가락으로 저은 후 잔잔해질 때까지 기다린다. 이때, 섞기 전의 위치와 정확히 같은 위치에 있는 커피 입자가 적어도 하나 존재한다. (단, 커피는 연속적으로 움직여야 한다.)
- 지도 속의 지도: 책상 위에 대한민국 지도를 펼쳐놓고, 그 위에 똑같은 지도의 축소 복사본을 아무렇게나 올려놓는다. 그러면 큰 지도와 작은 지도에서 정확히 같은 지점을 가리키는 점(예: 서울시청의 위치가 겹치는 점)이 반드시 하나 존재한다.
브라우어의 부동점 정리는 유한차원 공간에서만 성립한다. 무한차원 공간에서는 닫힌 단위 공이 컴팩트 집합이 아니기 때문이다. 예를 들어 힐베르트 공간의 단위 공은 컴팩트가 아니다.
보기 3. (무한차원에서의 반례)
\(\ell^2\) 공간의 닫힌 단위 공 \(B\)에서 정의된 단측이동연산자 \(S(x_1, x_2, \ldots) = (0, x_1, x_2, \ldots)\)를 생각하자. \[\lVert S(x) \rVert = \lVert x \rVert \leq 1\] 이므로 \(S\)는 \(B\)에서 \(B\)로 가는 연속함수이다. 하지만 \(S(x) = x\)를 만족시키려면 \(x_1=0,\) \(x_2=x_1=0,\) \(\ldots\)이 되어 \(x=0\)이어야 하는데, \(S(0) = (0,\, 0,\, \ldots) = 0\)이므로 \(0\)이 유일한 부동점이다.
하지만 함수를 조금 변형하여 \(T(x) = (1 - \lVert x \rVert)e_1 + S(x)\)와 같이 정의하면, \(T\)는 \(B\)에서 \(B\)로 가지만 부동점을 갖지 않게 만들 수 있다. (이것은 무한차원 단위 구면이 수축 가능(contractible)하다는 사실과 관련이 있다.)
따라서 무한차원 바나흐 공간에서 부동점 정리를 사용하려면, 단순히 “유계이고 닫힌 집합”이라는 조건 대신 “컴팩트 집합”이라는 더 강한 조건이 필요하다. 이것이 바로 다음 글에서 다룰 샤우더의 부동점 정리이다.