내적공간에서는 두 벡터의 직교성을 정의할 수 있다. 이 개념을 확장하여 주어진 벡터에 직교하는 벡터의 집합을 생각하거나, 벡터의 집합이 주어졌을 때 그 집합의 모든 벡터와 직교하는 벡터의 집합을 생각할 수 있다.
정의 1. (집합의 직교여공간)
\(X\)를 내적공간이라 하고 \(A\)를 \(X\)의 부분집합이라 하자. \(A\)의 직교여공간 \(A^\perp\)은 다음과 같은 집합이다.
\[A^{\perp} = \{x \in X \,\vert\, \langle x,\,a \rangle = 0 \text{ for all } a \in A\}.\]
따라서 집합 \(A^{\perp}\)는 \(A\)의 모든 벡터에 직교하는 \(X\)의 벡터들로 이루어져 있다. 특히 \(A = \varnothing\)이면 \(A^{\perp} = X\)이다. 여기서 \(A^{\perp}\)는 \(A\)의 여집합 \(A^C\)와는 다른 집합이라는 점에 유의하자.
\(x\in A^\perp\)이기 위한 필요충분조건은 “모든 \(a\in A\)에 대하여 \(\langle x,\,a \rangle = 0\)”이므로, \(A^\perp\)를 구성할 때는 이와 같은 직교 조건을 사용해야 한다.
보기 2. (직교여공간의 구성)
\(X = \mathbb{R}^3\)이고 \(A = \{(a_1,\,a_2,\,0) \,\vert\, a_1,\,a_2 \in \mathbb{R}\}\)이면, \(A^{\perp} = \{(0,\,0,\,x_3) \,\vert\, x_3 \in \mathbb{R}\}\)이다.
풀이
직교여공간의 정의에 의하여, 주어진 벡터 \(x = (x_1,\,x_2,\,x_3)\)가 \(A^{\perp}\)에 속하기 위한 필요충분조건은 임의의 \(a = (a_1,\,a_2,\,0)\)에 대해 \[\langle x,\,a \rangle = x_1a_1 + x_2a_2 = 0\] 인 것이다. \(a_1 = x_1\), \(a_2 = x_2\)를 대입하면, \(x \in A^{\perp}\)이려면 \(x_1 = x_2 = 0\)이어야 함을 알 수 있다. 또한, \(x_1 = x_2 = 0\)이면 \(x \in A^{\perp}\)임을 알 수 있다.
위 보기는 단순하지만, 직교여공간의 개념을 이해하는 데 유용하다. 위 보기를 일반화하여 다음과 같은 보기를 얻는다.
보기 3. (유한차원 공간에서 직교여공간의 구성)
\(X\)를 \(k\)-차원 내적공간이라고 하고, \(\{e_1,\,\ldots,\,e_k\}\)를 \(X\)의 직교정규기저라고 하자. 만약 \(A = \operatorname{Sp}\{e_1,\,\ldots,\,e_p\}\)이고 \(1 \leq p < k\)이면, \(A^{\perp} = \operatorname{Sp}\{e_{p+1},\,\ldots,\,e_k\}\)이다.
위 보기의 결과를 사용하면 유한차원 내적공간의 부분집합 \(A\)의 직교여공간 \(A^{\perp}\)를 쉽게 구할 수 있다. 이제 일반적인 내적공간으로 넘어가서 직교여공간의 주요 성질을 살펴보자.
정리 4. (직교여공간의 성질)
\(X\)가 내적공간이고 \(A \subset X\)라 하자. 그러면 다음이 성립한다.
- \(0 \in A^{\perp}\).
- 만약 \(0 \in A\)이면 \(A \cap A^{\perp} = \{0\}\)이다. 만약 \(0 \notin A\)이면 \(A \cap A^{\perp} = \varnothing\)이다.
- \(\{0\}^{\perp} = X\)이고 \(X^{\perp} = \{0\}\)이다.
- 만약 적당한 \(a \in X\)와 양의 실수 \(r > 0\)에 대하여 \(A\)가 열린공 \(B(a,\,r)\)을 포함하면, \(A^{\perp} = \{0\}\)이다. 특히, \(A\)가 공집합이 아닌 열린집합이면 \(A^{\perp} = \{0\}\)이다.
- 만약 \(B \subset A\)이면 \(A^{\perp} \subset B^{\perp}\)이다.
- \(A^{\perp}\)는 \(X\)의 닫힌 부분공간이다.
- \(A \subset (A^{\perp})^{\perp} .\)
증명
- 모든 \(a \in A\)에 대해 \(\langle 0,\,a \rangle = 0\)이므로, \(0 \in A^{\perp}\)이다.
- \(x \in A \cap A^{\perp}\)라고 가정하자. 그러면 \(\langle x,\,x \rangle = 0\)이므로 \(x = 0\)이다.
- \(A = \{0\}\)이라고 하자. 그러면 임의의 \(x \in X\)와 임의의 \(a \in A\)에 대해 \(\langle x,\,a \rangle = \langle x,\,0 \rangle = 0\)이므로, \(x \in A^{\perp}\)이고, 따라서 \(A^{\perp} = X\)이다.
\(A = X\)이고 \(x \in A^{\perp}\)이면, 임의의 \(a \in X\)에 대해 \(\langle x,\,a \rangle = 0\)이다. 특히, \(a = x\)로 두면 \(\langle x,\,x \rangle = 0\)이므로 \(x = 0\)이다. 따라서 \(A^{\perp} = \{0\}\)이다. - \(x \in A^{\perp}\)가 영벡터가 아니라고 가정하고, \(y = \|x\|^{-1}x \neq 0\)이라 하자. \(a \in A\)이면 정의에 의해 \(\langle y,\,a \rangle = 0\)이다. 또한, \(a + \frac{1}{2}ry \in A\)이므로 \[0 = \left\langle y,\,a + \frac{1}{2}ry \right\rangle = \langle y,\,a \rangle + \frac{1}{2}r\langle y,\,y \rangle\] 이다. 이것은 \(\langle y,\,y \rangle = 0\)을 의미하므로 \(y = 0\)이다. 이것은 모순이므로, \(A^{\perp}\)에는 영벡터가 아닌 원소가 없다.
- \(x \in A^{\perp}\)이고 \(b \in B\)라고 하자. \(B \subset A\)이므로 \(b \in A\)이고, 따라서 \(\langle x,\,b \rangle = 0\)이다. 이것이 임의의 \(b \in B\)에 대해 성립하므로, \(x \in B^{\perp}\)이다. 따라서 \(A^{\perp} \subset B^{\perp}\)이다.
- \(y,\,z \in A^{\perp}\), \(\alpha,\,\beta \in \mathbb{F}\), \(a \in A\)라고 하자. 그러면 \[\langle \alpha y + \beta z,\,a \rangle = \alpha\langle y,\,a \rangle + \beta\langle z,\,a \rangle = 0\] 이므로 \(\alpha y + \beta z \in A^{\perp}\)이고, 따라서 \(A^{\perp}\)는 부분벡터공간이다. 다음으로, \(\{x_n\}\)을 \(A^{\perp}\)에서 \(X\)의 원소 \(x\)로 수렴하는 수열이라 하자. 임의의 \(a \in A\)에 대해 \[\begin{aligned} 0 &= \lim_{n \to \infty}\langle x - x_n,\,a \rangle \\[6pt] &= \langle x,\,a \rangle - \lim_{n \to \infty}\langle x_n,\,a \rangle \\[6pt] &= \langle x,\,a \rangle - \lim_{n \to \infty} 0 = \langle x,\,a \rangle \end{aligned}\] 이다. 따라서 \(x \in A^{\perp}\)이고, \(A^{\perp}\)는 닫힌 집합이다.
- \(a \in A\)라 하자. 그러면 모든 \(x \in A^{\perp}\)에 대해, \(\langle a,\,x \rangle = \overline{\langle x,\,a \rangle} = 0\)이므로, \(a \in (A^{\perp})^{\perp}\)이다. 따라서 \(A \subset (A^{\perp})^{\perp}\)이다.
위 정리의 (e)에 의하면, 집합 \(A\)가 커질수록 \(A\)의 직교여공간은 작아진다. 이는 (c)의 결과와 일치한다.
이제 부분벡터공간의 직교여공간을 구할 때 유용한 특성을 소개한다.
정리 5. (부분벡터공간의 직교여공간)
\(Y\)를 내적공간 \(X\)의 부분벡터공간이라고 하자. 그러면 \(x\in X\)이기 위한 필요충분조건은 임의의 \(y\in Y\)에 대하여 \(\lVert x-y \rVert \ge \lVert x \rVert\)인 것이다.
증명
(⇒) 임의의 \(x \in X\), \(y \in Y\), \(\alpha \in \mathbb{F}\)에 대해 성립한다 \[\|x - \alpha y\|^2 = \langle x - \alpha y,\,x - \alpha y \rangle = \|x\|^2 - \overline{\alpha}\langle x,\,y \rangle - \alpha\langle y,\,x \rangle + |\alpha|^2\|y\|^2 .\tag{1}\] \(x \in Y^{\perp}\)이고 \(y \in Y\)라고 가정하자. 그러면 \(\langle x,\,y \rangle = \langle y,\,x \rangle = 0\)이므로, (1)에 \(\alpha = 1\)을 대입하면 다음 결과를 얻는다. \[\|x - y\|^2 = \|x\|^2 + \|y\|^2 \geq \|x\|^2.\] (⇐) 이제 모든 \(y \in Y\)에 대해 \(\|x - y\|^2 \geq \|x\|^2\)라고 가정하자. \(Y\)가 부분벡터공간이므로, 임의의 \(y \in Y\)와 \(\alpha \in \mathbb{F}\)에 대해 \(\alpha y \in Y\)이다. 따라서 (1)에 의해 \[0 \leq -\overline{\alpha}\langle y,\,x \rangle - \alpha\langle y,\,x \rangle + |\alpha|^2\|y\|^2\] 이다. 만약 \(\langle y,\,x \rangle \neq 0\)이면 \[\beta = \frac{|\langle x,\,y \rangle|}{\langle y,\,x \rangle}\] 라고 두고, \(\alpha = t\beta ,\) \(t \in \mathbb{R} ,\) \(t > 0\)이라고 하자. 그러면, \[-t|\langle x,\,y \rangle| - t|\langle x,\,y \rangle| + t^2\|y\|^2 \geq 0\] 이므로 \[|\langle x,\,y \rangle| \leq \frac{1}{2}t\|y\|^2\] 이다. 이 부등식은 모든 \(t > 0\)에 대해 성립한다. 따라서 \[|\langle x,\,y \rangle| \leq \lim_{t \to 0^+} \frac{1}{2}t\|y\|^2 = 0\] 이므로 \(|\langle x,\,y \rangle| = 0\)이고, \(x \in Y^{\perp}\)이다.
위의 결과는 다음에 소개할 볼록집합의 개념과 결합하여 힐베르트 공간에서 \(A\)와 \(A^{\perp}\)에 대한 풍부한 정보를 제공한다. 먼저 볼록집합의 정의를 도입한다.
정의 6. (볼록 집합)
\(A\)가 벡터공간 \(X\)의 부분집합이라고 하자. 만약 임의의 \(x,\,y \in A\)와 임의의 \(\lambda \in [0,\,1]\)에 대해 \(\lambda x + (1 - \lambda)y \in A\)이면, “\(A\)가 볼록하다(convex)”라고 말한다.
기하학적으로 설명하면, \(A\)가 볼록하다는 것은 \(A\)에 있는 임의의 두 점 \(x,\,y\)에 대해, \(x\)와 \(y\)를 잇는 선분이 \(A\)에 있음을 의미한다. 특히, 모든 부분벡터공간은 볼록집합이다.
정리 7. (닫힌 볼록집합에서의 최근접점)
\(A\)가 힐베르트 공간 \(\mathcal{H}\)의 볼록부분집합이고 공집합이 아니라고 하자. 또한 \(p \in \mathcal{H}\)라 하자. 그러면 다음을 만족하는 \(q \in A\)가 유일하게 존재한다. \[\|p - q\| = \inf\{\|p - a\| \,\vert\, a \in A\}.\]
증명
\(\gamma = \inf\{\|p - a\| \,\vert\, a \in A\}\)라 하자. 우변의 집합이 공집합이 아니고 아래로 유계이므로 \(\gamma\)는 잘 정의된다.
먼저 \(q\)의 존재성을 증명하자. \(\gamma\)의 정의에 의해, 각 \(n \in \mathbb{N}\)에 대해 다음을 만족하는 \(q_n \in A\)가 존재한다.
\[\gamma^2 \leq \|p - q_n\|^2 < \gamma^2 + \frac{1}{n} .\tag{2}\]
수열 \(\{q_n\}\)이 코시 수열임을 보이자. \(p - q_n\)과 \(p - q_m\)에 평행사변형 법칙을 적용하면 다음을 얻는다.
\[\begin{aligned}
\|(p - q_n) + (p - q_m)\|^2 & + \|(p - q_n) - (p - q_m)\|^2 \\[6pt]&= 2\|p - q_n\|^2 + 2\|p - q_m\|^2 .
\end{aligned}\]
따라서
\[\|2p - (q_n + q_m)\|^2 + \|q_n - q_m\|^2 < 4\gamma^2 + 2 \left( \frac{1}{n} + \frac{1}{m} \right)\]
이다.
\(q_m,\,q_n \in A\)이고 \(A\)가 볼록하므로, \(\frac{1}{2}(q_m + q_n) \in A\)이고, 따라서
\[\|2p - (q_n + q_m)\|^2 = 4\|p - \frac{1}{2}(q_m + q_n)\|^2 \geq 4\gamma^2\]
이다. 그러므로
\[\|q_n - q_m\|^2 < 4\gamma^2 + 2 \left( \frac{1}{n} + \frac{1}{m} \right) - 4\gamma^2 = 2 \left( \frac{1}{n} + \frac{1}{m} \right).\]
따라서 수열 \(\{q_n\}\)은 코시 수열이다. \(\mathcal{H}\)가 완비거리공간이므로 \(\left\{ q_n \right\}\)은 어떤 점 \(q \in \mathcal{H}\)로 수렴해야 한다. \(A\)가 닫혀있으므로, \(q \in A\)이다. 또한 (2)에 의해
\[\gamma^2 \leq \lim_{n \to \infty} \|p - q_n\|^2 = \|p - q\|^2 \leq \lim_{n \to \infty}(\gamma^2 + n^{-1}) = \gamma^2\]
이다. 따라서 \(\|p - q\| = \gamma\)이다. 이로써 \(q\)가 존재함을 보였다.
이제 \(q\)의 유일성을 증명하자. \(w \in A\)이고 \(\|p - w\| = \gamma\)라 가정하자. \(A\)가 볼록하므로 \[\frac{1}{2}(q + w) \in A\]이고 따라서 \[\|p - \frac{1}{2}(q + w)\| \geq \gamma\]이다. \(p - w\)와 \(p - q\)에 평행사변형 법칙을 적용하면 \[\begin{aligned} \|(p - w) + (p - q)\|^2 &+ \|(p - w) - (p - q)\|^2 \\[6pt] &= 2\|p - w\|^2 + 2\|p - q\|^2 \end{aligned}\] 이다. 따라서 \[\|q - w\|^2 = 2\gamma^2 + 2\gamma^2 - 4\|p - \frac{1}{2}(q + w)\|^2 \leq 4\gamma^2 - 4\gamma^2 = 0\]이다. 그러므로 \(w = q\)이다.
위 정리는 힐베르트 공간 \(\mathcal{H}\)의 닫힌 볼록부분집합 \(A\)가 공집합이 아닐 때, \(\mathcal{H}\)의 점 \(p\)에서 \(A\)로의 최근접점이 유일하게 존재함을 보여준다. 유한차원 공간에서는 집합 \(A\)가 볼록하지 않더라도 유사한 방식으로 점 \(q\)의 존재성을 증명할 수 있다. (유계이고 닫힌집합의 컴팩트성을 사용하여 필요한 수열을 얻을 수 있다.) 그러나 이 경우 점 \(q\)는 유일하지 않을 수 있다. (예를 들어, \(A\)를 평면의 원이라 하고 \(p\)를 그 중심이라 하면, \(q\)는 \(A\) 위의 어떤 점이든 될 수 있다.) 무한차원에서는 유계인 닫힌집합이 컴팩트가 아닐 수 있으므로, 존재성의 증명이 더 까다로우며, 특히 \(A\)가 볼록하지 않으면 \(q\)가 존재하지 않을 수 있다.
정리 8. (힐베르트 공간에서의 직교분해)
\(Y\)가 힐베르트 공간 \(\mathcal{H}\)의 닫힌 부분벡터공간이고, \(x \in \mathcal{H}\)라고 하자. 그러면 \(x = y + z\)를 만족시키는 \(y \in Y\)와 \(z \in Y^{\perp}\)가 각각 유일하게 존재한다. 또한, \(\|x\|^2 = \|y\|^2 + \|z\|^2\)이다.
증명
\(Y\)는 비어있지 않고, 닫혀 있으며, 볼록집합이므로, \(y \in Y\)가 존재하여, 임의의 \(u \in Y\)에 대해 \[\|x - y\| \leq \|x - u\|\]를 만족시킨다. \(z = x - y\)라고 하자. 그러면, \(y + u \in Y\)이므로, 임의의 \(u \in Y\)에 대하여 \[\|z - u\| = \|x - (y + u)\| \geq \|x - y\| = \|z\|\] 이다. 따라서 \(z \in Y^{\perp}\)이다. 이것으로 \(y,\,z\)의 존재성을 보였다.
이제 유일성을 증명하자. \(x = y_1 + z_1 = y_2 + z_2\)이고, \(y_1,\,y_2 \in Y\), \(z_1,\,z_2 \in Y^{\perp}\)라 가정하자. 그러면 \(y_1 - y_2 = z_2 - z_1\)이다. 그런데 \(y_1 - y_2 \in Y\)이고 \(z_2 - z_1 \in Y^{\perp}\)이므로, \(y_1 - y_2 \in Y \cap Y^{\perp} = \{0\}\)이다. 그러므로 \(y_1 = y_2\)이고 \(z_1 = z_2\)이다.
마지막으로, 다음이 성립한다. \[\begin{aligned} \|x\|^2 &= \|y + z\|^2 \\[6pt] &= \langle y + z,\,y + z \rangle \\[6pt] &= \|y\|^2 + \langle y,\,z \rangle + \langle z,\,y \rangle + \|z\|^2 \\[6pt] &= \|y\|^2 + \|z\|^2 . \end{aligned}\] 여기서 마지막 등식은 \(z \in Y^{\perp}\)일 때 \(\langle y,\,z \rangle = \langle z,\,y \rangle = 0\)이라는 사실을 사용했다.
\(Y\)가 힐베르트 공간 \(\mathcal{H}\)의 닫힌 부분벡터공간이고 \(x \in \mathcal{H}\)일 때, 등식 \[x = y + z\] 를 만족시키는 \(y \in Y ,\) \(z \in Y^{\perp}\))가 유일하게 존재한다. 위와 같은 등식을 \(Y\)에 대한 \(x\)의 직교분해(orthogonal decomposition)라고 부른다.
부분공간 \(Y\)의 직교여공간 \(Y^{\perp}\)을 살펴보았으니, \(Y^{\perp}\)의 직교여공간이 무엇인가에 대한 의문이 이어진다. 이 공간을 \(Y^{\perp\perp} = (Y^{\perp})^{\perp}\)로 나타내자 보기 2와 보기 3의 결과로부터, \[Y = \{u = (u_1,\,u_2,\,0) \,\vert\, u_1,\,u_2 \in \mathbb{R}\}\] 일 때 \[Y^{\perp} = \{x = (0,\,0,\,x_3) \,\vert\, x_3 \in \mathbb{R}\}\] 이고 \(Y^{\perp\perp} = Y\)임을 알 수 있다. 이 등식은 일반적으로 성립한다.
따름정리 9. (닫힌 부분공간의 이중직교여공간)
\(Y\)가 힐베르트 공간 \(\mathcal{H}\)의 닫힌 부분벡터공간이면 \(Y^{\perp\perp} = Y\)이다.
증명
정리 4의 (g)에 의해 \(Y \subset Y^{\perp\perp}\)이다.
이제 \(x \in Y^{\perp\perp}\)라고 가정하자. 그러면 직교분해 정리에 의해, \(x = y + z\)인 \(y \in Y\), \(z \in Y^{\perp}\)가 각각 유일하게 존재한다. \(y \in Y\)이고 \(x \in Y^{\perp\perp}\)이므로, \(\langle x,\,z \rangle = 0 = \langle y,\,z \rangle\)이다. 따라서 \[0= \langle x,\,z \rangle = \langle y,\,z \rangle + \langle z,\,z \rangle = \|z\|^2 \] 이다. 따라서 \(z = 0\)이고 \(x = y \in Y\)이다. 그러므로 \(Y^{\perp\perp} \subset Y\)이다.
정리 4의 (f)에 의하여 \(Y^{\perp\perp}\)가 닫힌 집합이므로, 위의 결과는 닫혀있지 않은 부분공간에 대해서는 성립하지 않을 수 있다. 그러나 다음 결과가 성립한다.
따름정리 10. (일반적인 부분공간의 이중직교여공간)
\(Y\)가 힐베르트 공간 \(\mathcal{H}\)의 부분벡터공간이면 \(Y^{\perp\perp} = \overline{Y}\)이다.
증명
\(Y \subset \overline{Y}\)이므로, 정리 4의 (e)에 의해 \(\overline{Y}^{\perp} \subset Y^{\perp}\)이고, 따라서 \(Y^{\perp\perp} \subset \overline{Y}^{\perp\perp}\)이다. 그러나 \(\overline{Y}\)는 닫혀있으므로 \(\overline{Y}^{\perp\perp} = \overline{Y}\)이고, 따라서 \(Y^{\perp\perp} \subset \overline{Y}\)이다. 다음으로 정리 4의 (g)에 의하여 \(Y \subset Y^{\perp\perp}\)이다. 그런데 \(Y^{\perp\perp}\)가 닫혀있으므로 \(\overline{Y} \subset Y^{\perp\perp}\)이다. 따라서 \(Y^{\perp\perp} = \overline{Y}\)이다.