지금까지 우리는 선형연산자 \(T : X \rightarrow Y\)를 주로 다루었다. 선형연산자는 공간의 구조를 보존하는 가장 기본적인 도구이다. 그러나 자연계의 많은 현상은 비선형 방정식으로 기술된다. 비선형 함수해석학(nonlinear functional analysis)은 이러한 비선형 문제를 해결하기 위한 방법을 연구한다.
미분적분학에서 곡선을 접선으로 근사하듯이, 무한차원 공간에서도 비선형 함수 \(F : X \rightarrow Y\)를 국소적으로(locally) 선형연산자로 근사할 수 있다. 이때 등장하는 ‘선형 근사’가 바로 도함수의 역할을 한다. 이 글에서는 바나흐 공간에서 정의된 미분의 두 가지 주요 개념인 게토 미분과 프레셰 미분을 살펴본다.
이 글에서 \(X\)와 \(Y\)는 실바나흐 공간(real Banach space)을 나타내며, \(U\)는 \(X\)의 열린 부분집합이다.
정의 1. (게토 미분)
\(F : U \subset X \rightarrow Y\)가 주어진 함수라고 하자. \(x \in U\)와 임의의 \(h \in X\)에 대하여, 극한 \[\delta F(x; h) = \lim_{t \rightarrow 0} \frac{F(x + th) - F(x)}{t}\] 가 \(Y\)의 노름에 대해 존재할 때, “\(F\)는 \(x\)에서 \(h\) 방향으로 게토 미분가능(Gâteaux differentiable)하다”라고 말한다. 이때 극한값 \(\delta F(x; h)\)를 \(x\)에서의 게토 미분(Gâteaux differential)이라고 부른다.
게토 미분은 유한차원 미적분학에서의 방향 미분(directional derivative)을 일반화한 것이다. 주목할 점은 \(\delta F(x; h)\)가 \(h\)에 대하여 반드시 선형일 필요는 없다는 것이다. 하지만 많은 응용 문제에서 \(\delta F(x; h)\)는 \(h\)에 관한 유계선형연산자가 된다.
게토 미분보다 더 강력하고, 우리가 아는 ‘미분’의 개념(선형 근사)에 더 가까운 것이 프레셰 미분이다.
정의 2. (프레셰 미분)
\(x \in U\)라고 하자. 만약 유계선형연산자 \(A \in B(X, Y)\)가 존재하여 \[\lim_{\lVert h \rVert \rightarrow 0} \frac{\lVert F(x + h) - F(x) - Ah \rVert}{\lVert h \rVert} = 0\] 을 만족시키면, “\(F\)는 \(x\)에서 프레셰 미분가능(Fréchet differentiable)하다”라고 말한다. 이때 \(A\)를 \(x\)에서의 \(F\)의 프레셰 도함수(Fréchet derivative)라고 부르며 \(F'(x)\) 또는 \(DF(x)\)로 표기한다.
정의 2의 식은 \(h\)가 \(0\)으로 갈 때, 오차항 \(F(x+h) - F(x) - Ah\)가 \(\lVert h \rVert\)보다 더 빠르게 \(0\)으로 수렴함을 의미한다. 즉, \[F(x + h) = F(x) + F'(x)h + o(\lVert h \rVert)\] 이다. 여기서 \(F'(x)\)는 우리가 앞서 살펴본 연속선형연산자이다.
두 미분 개념 사이에는 다음과 같은 관계가 성립한다.
정리 3. (게토 미분과 프레셰 미분의 관계)
\(F\)가 \(x\)에서 프레셰 미분가능하면, \(F\)는 \(x\)에서 모든 방향으로 게토 미분가능하며, 그 값은 프레셰 도함수와 같다. 즉, 임의의 \(h \in X\)에 대하여 다음이 성립한다. \[\delta F(x; h) = F'(x)h .\] 특히, 프레셰 도함수가 존재하면 그것은 유일하다.
증명
\(F\)가 \(x\)에서 프레셰 미분가능하고 그 도함수가 \(A\)라고 하자. 고정된 \(h \in X\) (\(h \neq 0\))에 대하여 \(t \in \mathbb{R}\)을 \(0\)으로 보내자. \[\begin{aligned} \frac{\lVert F(x + th) - F(x) - tAh \rVert}{|t|} &= \frac{\lVert F(x + th) - F(x) - A(th) \rVert}{\lVert th \rVert} \lVert h \rVert \end{aligned}\] 위 식에서 \(t \to 0\)일 때 \(\lVert th \rVert \to 0\)이므로, 프레셰 미분의 정의에 의해 우변은 \(0\)으로 수렴한다. 따라서 \[\lim_{t \to 0} \frac{F(x + th) - F(x)}{t} = Ah\] 이다. 즉 \(\delta F(x; h) = Ah\)이다.
위 정리는 프레셰 도함수를 구하는 실질적인 방법을 제공한다. 즉, 먼저 게토 미분 \(\delta F(x; h)\)를 계산하여 후보를 구하고, 그 후보가 \(h\)에 대해 선형이고 연속인지, 그리고 정의 2의 극한 조건을 만족시키는지 확인하면 된다.
보기 4. (힐베르트 공간에서의 노름 제곱)
\(H\)가 실힐베르트공간이고 함수 \(f : H \rightarrow \mathbb{R}\)이 \(f(x) = \lVert x \rVert^2\)으로 정의되었다고 하자. \(f\)의 프레셰 도함수를 구하시오.
풀이
먼저 게토 미분을 계산한다. \(x, h \in H\)에 대하여 \[\begin{aligned} f(x + th) - f(x) &= \langle x + th, x + th \rangle - \langle x, x \rangle \\[6pt] &= \langle x, x \rangle + 2t\langle x, h \rangle + t^2\langle h, h \rangle - \langle x, x \rangle \\[6pt] &= 2t\langle x, h \rangle + t^2\lVert h \rVert^2 \end{aligned}\] 이다. 따라서 \[\delta f(x; h) = \lim_{t \to 0} (2\langle x, h \rangle + t\lVert h \rVert^2) = 2\langle x, h \rangle\] 이다. 이제 \(A_x(h) = 2\langle x, h \rangle\)라고 정의하자. \(A_x\)는 \(h\)에 대한 선형범함수이며, 코시-슈바르츠 부등식에 의해 유계이다. (즉 \(\lVert A_x \rVert = 2\lVert x \rVert\)이다.) 이제 프레셰 미분의 조건을 확인하자. \[\begin{aligned} \frac{|f(x + h) - f(x) - A_x(h)|}{\lVert h \rVert} &= \frac{|\lVert x + h \rVert^2 - \lVert x \rVert^2 - 2\langle x, h \rangle|}{\lVert h \rVert} \\[6pt] &= \frac{|\langle x, x \rangle + 2\langle x, h \rangle + \langle h, h \rangle - \langle x, x \rangle - 2\langle x, h \rangle|}{\lVert h \rVert} \\[6pt] &= \frac{\lVert h \rVert^2}{\lVert h \rVert} = \lVert h \rVert . \end{aligned}\] 이 값은 \(\lVert h \rVert \to 0\)일 때 \(0\)으로 수렴한다. 따라서 \(f\)는 프레셰 미분가능하며, \(f'(x)\)는 \(h \mapsto 2\langle x, h \rangle\)인 선형범함수이다. Riesz 표현 정리에 의해 이 함수를 \(2x\)와 동일시할 수 있다.
유한차원에서와 마찬가지로, 바나흐 공간에서의 미분에 대해서도 연쇄 법칙(Chain Rule)이 성립한다.
정리 5. (연쇄 법칙)
\(X, Y, Z\)가 바나흐 공간이고, \(F : X \rightarrow Y\), \(G : Y \rightarrow Z\)라고 하자. 만약 \(F\)가 \(x \in X\)에서 프레셰 미분가능하고, \(G\)가 \(y = F(x)\)에서 프레셰 미분가능하다면, 합성함수 \(H = G \circ F\)는 \(x\)에서 프레셰 미분가능하며, 그 도함수는 다음과 같다. \[H'(x) = G'(F(x)) \circ F'(x) .\] 즉, \(H'(x) \in B(X, Z)\)는 두 유계선형연산자 \(G'(y) \in B(Y, Z)\)와 \(F'(x) \in B(X, Y)\)의 곱(합성)이다.
이 외에도 고계도함수, 테일러 정리 등 유한차원 미적분학의 여러 개념이 바나흐 공간에서의 미분과 관련된 개념으로 자연스럽게 확장된다. 다음 글에서는 고계도함수와 테일러 정리를 살펴보자.