이 글에서는 복소힐베르트 공간에서 정의된 자기수반 컴팩트 연산자의 스펙트럼을 살펴보자. 자기수반 컴팩트 연산자의 경우 일반적인 컴팩트 연산자보다 스펙트럼에 관련된 더 좋은 결론을 끌어낼 수 있다. 왜냐하면 자기수반이라는 조건이 추가되었을 때 그 연산자에 대한 불변공간을 다룰 수 있기 때문이다.
정의 1. (불변부분공간)
\(X\)가 벡터공간이고 \(S \in L(X)\)라고 하자. 부분벡터공간 \(W \subset X\)가 \(S\)에 대해 불변(invariant)이라는 것은 \(S(W) \subset W\)임을 의미한다.
보조정리 2. (자기수반연산자의 직교여공간의 불변성)
\(K\)가 힐베르트공간이고 \(S \in B(K)\)가 자기수반연산자라고 하자. \(M\)이 \(S\)에 대하여 불변인 \(K\)의 닫힌 부분벡터공간이면 \(M^\perp\) 또한 \(S\)에 대하여 불변이다.
증명
임의의 \(u \in M\)과 \(v \in M^\perp\)에 대해 \[\langle Sv,\,u \rangle = \langle v,\,Su \rangle = 0\]이 성립한다. 왜냐하면, \(S\)가 자기수반연산자이고 \(Su \in M\)이기 때문이다. 따라서 \(Sv \in M^\perp\)이고, \(S(M^\perp) \subset M^\perp\)이므로, 바라는 결론을 얻는다.
이 보조정리는 자기수반연산자를 “분해”하고, 다양한 부분벡터공간 \(M \subset H\)에서의 작용과 직교여공간 \(M^\perp\)에서의 작용을 살펴볼 수 있게 해준다. 일반적인 연산자 \(S \in B(H)\)의 경우, \(S\)가 \(M\)에 대하여 불변일지라도 \(M^\perp\)에 대해서는 불변이 아닐 수 있다.
\(T\)를 분해하는 데 주로 사용되는 부분공간은 \(\operatorname{Ker} T\)와 \(\overline{\operatorname{Im} T}\)이다. (\(0 \in \operatorname{Ker} T\)이고 \(\operatorname{Im} T \subset \overline{\operatorname{Im} T}\)이므로, 이 두 공간이 모두 \(T\)에 대해 불변임은 분명하다.) \(T\)가 자기수반연산자이므로 \[\overline{\operatorname{Im} T} = (\operatorname{Ker} T)^\perp \tag{1}\] 이다. 지금부터 \(P\)는 \(H\)에서 \(\overline{\operatorname{Im} T}\)로의 직교사영을 나타내는 것으로 약속한다. 그러면 (1)에 의해 \(I - P\)는 \(\operatorname{Ker} T\)로의 직교사영이다. 또한, 공간 \(\overline{\operatorname{Im} T}\)는 가분인 힐베르트 공간이다. 앞으로 \(T\)의 고유벡터로 구성된 \(\overline{\operatorname{Im} T}\)의 정규직교기저를 구성할 수 있음을 살펴볼 것이다. (이것은 \(H\)가 가분인지 여부에 관계없이 성립한다.) 정의역을 공간 \(\operatorname{Ker} T\)로 제한한 \(T\)의 제한함수는 명료하게 결정되므로, \(T\)의 고유벡터로 이루어진 \(\overline{\operatorname{Im} T}\)의 정규직교기저는 \(H\)에서 \(T\)의 작용에 대한 완전한 표현을 제공한다.
\(T\)가 자기수반연산자가 아닌 경우, 방정식 (1)이 반드시 성립하지는 않는다. \(\mathbb{C}^2\)에서 행렬 \[\begin{pmatrix} 0 & 1 \\ 0 & 0 \end{pmatrix} \tag{2}\] 로 표현되는 연산자를 그 반례로 들 수 있다.
일반적인 컴팩트연산자는 비자명 고윳값을 갖지 않을 수 있음을 앞서 살펴보았다. 이는 영이 아닌 자기수반 컴팩트연산자에서는 발생할 수 없다.
정리 3. (비자명 고윳값의 존재)
\(\|T\|\)와 \(-\|T\|\) 중 적어도 하나는 \(T\)의 고윳값이다.
증명
\(T\)가 영 연산자이면 결과가 자명하므로, \(T\)가 영이 아니라고 가정하자. 그러면 \(\|T\|\) 또는 \(-\|T\|\) 중 적어도 하나가 \(\sigma(T)\)에 속하므로, 점은 \(\sigma_p(T)\)에 속해야 한다.
지금까지 밝힌 \(T\)의 스펙트럼에 관한 사실을 요약하면 다음과 같다.
정리 4. (스펙트럼의 구조)
\(T\)의 비자명 고윳값의 집합은 공집합이 아니며, 유한하거나 \(0\)으로 수렴하는 수열로 이루어져 있다. 또한 각 비자명 고윳값은 실수이며 유한한 중복도를 가진다. 서로 다른 고윳값에 대응하는 고유벡터들은 서로 직교한다.
증명
앞에서 모두 증명한 내용이므로, 마지막 결과만 증명하면 된다. \(\lambda_1 ,\) \(\lambda_2 \in \mathbb{R}\)이 대응하는 고유벡터 \(e_1 ,\) \(e_2\)를 가진 서로 다른 고윳값이라고 가정하자. \(T\)가 자기수반연산자이므로 \[\lambda_1\langle e_1,\,e_2 \rangle = \langle Te_1,\,e_2 \rangle = \langle e_1,\,Te_2 \rangle = \lambda_2\langle e_1,\,e_2 \rangle\] 이고, \(\lambda_1 \neq \lambda_2\)이므로 \(\langle e_1,\,e_2 \rangle = 0\)이다.
정리 4에 따라 이제 \(T\)의 고윳값을 \(|\lambda_n|\)의 값이 감소하고 각 고윳값 \(\lambda_n\)이 그 중복도만큼 반복하여 나타나는 유한 리스트 \(\lambda_1,\,\ldots,\,\lambda_J\) 또는 가산무한 리스트 \(\lambda_1,\,\lambda_2,\,\ldots\) 형태로 정렬할 수 있다. 더욱이, 각 \(n\)에 대하여 그람-슈미트 알고리즘을 사용하여 정확히 \(m_{\lambda_n}\)개의 고유벡터로 구성된 각 공간 \(\operatorname{Ker}(T - \lambda_n I)\)의 정규직교기저를 구성할 수 있다. 따라서 고윳값과 같은 순서로 고유벡터를 나열하면 \(e_1,\,\ldots,\,e_J\) 또는 \(e_1,\,e_2,\,\ldots\) 형태의 대응하는 고유벡터 리스트를 얻는다. 이때 같은 고윳값에 대응되는 서로 다른 두 고유벡터는 직교하며, 정리 4에 의해 서로 다른 고윳값에 대응되는 고유벡터는 직교한다. 따라서 이와 같은 방법으로 구성한 리스트는 정규직교집합이다.
현재로서는 비자명 고윳값이 몇 개인지 알지 못한다. 유한한 경우와 무한한 경우를 모두 다루기 위해, 지금은 그 개수를 \(J\)로 표기하기로 하자. 여기서 \(J\)는 유한한 정수이거나 “\(J = \infty\)”일 수 있다. 이와 같은 기호를 사용하여, 앞서 구성한 기저벡터의 리스트를 \(\{\lambda_n\}_{n=1}^J\) 또는 \(\{e_n\}_{n=1}^J\) 형태로 표기하자. 실제로 \(J\)가 \(r(T)\)와 같다는 사실, 즉 \(T\)의 랭크와 같음을 보일 것이다. 또한 \(\{e_n\}_{n=1}^J\)가 힐베르트 공간 \(\overline{\operatorname{Im} T}\)의 정규직교기저임을 보일 것이다.
정리 5. (자기수반 컴팩트연산자의 스펙트럼 분해)
\(T\)의 비자명 고윳값의 수는 \(r(T)\)와 같다. (단, 고윳값은 중복도에 따라 반복하여 센다.) 앞에서 구성한 고유벡터의 집합 \(\{e_n\}_{n=1}^{r(T)}\)은 \(\overline{\operatorname{Im} T}\)의 정규직교기저이며, 연산자 \(T\)는 다음과 같은 표현을 가진다. \[Tx = \sum_{n=1}^{r(T)} \lambda_n\langle x,\,e_n \rangle e_n \tag{3}\] 여기서 \(\{\lambda_n\}_{n=1}^{r(T)}\)는 \(T\)의 비자명 고윳값의 집합이다.
증명
집합 \(M\)을 다음과 같이 정의하자. \[M = \operatorname{Sp}\{e_n\}_{n=1}^J .\] 그러면 \(\{e_n\}_{n=1}^J\)는 \(M\)의 정규직교기저이다. \(M = \overline{\operatorname{Im} T}\)임을 보일 것이며, 따라서 \(J = r(T)\)임을 보일 것이다. (여기서 \(r(T)\)는 유한일 수도 있고, 무한일 수도 있다.) \(r(T) < \infty\)이면 \(\operatorname{Im} T\)가 닫혀 있으므로 \(\operatorname{Im} T = \overline{\operatorname{Im} T}\)이다.
임의의 \(u \in M\)에 대해 \[u = \sum_{n=1}^J \alpha_n e_n\] 이다. 여기서 \(\alpha_n = \langle u,\,e_n \rangle ,\) \(n = 1,\,\ldots,\,J\)이다. 따라서, \(J = \infty\)이면 \[u = \lim_{k \to \infty} \sum_{n=1}^k \alpha_n \lambda_n^{-1} Te_n = \lim_{k \to \infty} T\left(\sum_{n=1}^k \alpha_n \lambda_n^{-1} e_n\right) \in \overline{\operatorname{Im} T}\] 이므로 \(M \subset \overline{\operatorname{Im} T}\)이다. \(J\)가 유한일 때도 비슷한 방법으로 같은 결과를 얻는다. 이로부터 \(\operatorname{Ker} T = (\overline{\operatorname{Im} T})^\perp \subset M^\perp\)를 얻는다.
이제 \(M^\perp \subset \operatorname{Ker} T\)임을 보이자. 이것은 \(M^\perp = \operatorname{Ker} T\)를 의미하고, 따라서 \(M = (M^\perp)^\perp = \overline{\operatorname{Im} T}\)를 얻는다.
\(J = \infty\)이고 \(u \in M\)이면 \[Tu = T\left(\lim_{k \to \infty} \sum_{n=1}^k \alpha_n e_n\right) = \lim_{k \to \infty} \sum_{n=1}^k \alpha_n Te_n = \lim_{k \to \infty} \sum_{n=1}^k \lambda_n \alpha_n e_n = \sum_{n=1}^{\infty} \lambda_n \alpha_n e_n \in M\] 이다. \(J\)가 유한인 경우에도 비슷한 방법으로 같은 결과를 얻는다. 따라서 \(M\)은 \(T\)에 대해 불변이다. 보조정리 2에 의해 \(N = M^\perp\) 또한 \(T\)에 대해 불변이다.
\(T\)의 정의역을 \(N\)으로 제한한 함수를 \(T_N\)이라고 하자. 그러면 \(T_N\)이 힐베르트공간 \(N\)에서의 자기수반 컴팩트연산자이다. 이제 \(T_N\)이 \(N\)에서 영 연산자가 아니라고 가정하자. 그러면 정리 3에 의해 \(T_N\)은 비자명 고윳값을 가진다. 예를 들어 대응하는 영이 아닌 고유벡터 \(e \in N\)을 가진 \(\tilde{\lambda}\)를 고윳값으로서 가진다. 따라서 \(Te = T_N e = \tilde{\lambda}e\)이다. 그러나 이것은 \(\tilde{\lambda}\)가 \(T\)의 비자명 고윳값임을 의미하므로, 적당한 \(n\)에 대하여 \(\tilde{\lambda} = \lambda_n\)이고, \(e\)는 \(\lambda_n\)에 대응하는 고유벡터들에 의해 생성된 부분공간에 속해야 한다. 그러나 이 부분공간은 \(M\) 안에 있으므로 \(e \in M\)이어야 하는데, \(e \neq 0\)이므로 이것은 \(e \in N = M^\perp\)에 모순된다. 따라서 \(T_N\)은 영 연산자일 수밖에 없다. 즉, 모든 \(v \in N\)에 대해 \(Tv = T_N v = 0\)이거나, \(M^\perp = N \subset \operatorname{Ker} T\)이다. 그러므로 \(M = \overline{\operatorname{Im} T}\)라는 사실이 증명되었다.
마지막으로 임의의 \(x \in H\)에 대해 \((I - P)x \in M^\perp\)이므로, 임의의 \(n\)에 대하여 \[\langle x,\,e_n \rangle = \langle Px + (I - P)x,\,e_n \rangle = \langle Px,\,e_n \rangle\tag{4}\] 이 성립한다. 왜냐하면 \(e_n \in M\)이기 때문이다. 따라서 \[Tx = T(Px + (I - P)x) = TPx = \sum_{n=1}^J \lambda_n\langle Px,\,e_n \rangle e_n = \sum_{n=1}^J \lambda_n\langle x,\,e_n \rangle e_n\] 이다.
자기수반연산자 \(T\)를 전개한 표현 (3)은 행렬이 해당 행렬의 고유벡터로 구성된 기저를 선택함으로써 대각화될 수 있다는 유한차원 선형대수학의 잘 알려진 결과의 무한차원 버전이다.
고유벡터의 정규직교집합 \(\{e_n\}_{n=1}^{r(T)}\)은 공간 \(\overline{\operatorname{Im} T}\)의 정규직교기저이지만, \(\overline{\operatorname{Im} T} = H\)인 경우가 아니라면 전체 공간 \(H\)의 기저는 아니다. (1)에 의해, 이것은 \(\operatorname{Ker} T = \{0\}\)일 때, 즉 \(T\)가 일대일대응일 때 성립하므로, 다음과 같은 결과를 얻는다.
따름정리 6. (핵이 자명할 때의 기저)
\(\operatorname{Ker} T = \{0\}\)이면 고유벡터 집합 \(\{e_n\}_{n=1}^{r(T)}\)는 \(H\)의 정규직교기저이다. 특히 \(H\)가 무한차원이고 \(\operatorname{Ker} T = \{0\}\)이면 \(T\)는 무수히 많은 서로 다른 고윳값을 가진다.
\(H\)가 가분이면 \(\operatorname{Ker} T = \{0\}\)이 아니어도 \(T\)의 고유벡터로 구성된 \(H\)의 기저를 얻을 수 있다.
따름정리 7. (가분 힐베르트 공간에서의 고유벡터 기저)
\(H\)가 가분이라고 가정하자. 그러면 \(T\)의 고유벡터로만 구성된 \(H\)의 정규직교기저가 존재한다. 이 기저는 \(\{e_n\}_{n=1}^{r(T)} \cup \{z_m\}_{m=1}^{n(T)}\) 형태를 가진다. 여기서 \(\{e_n\}_{n=1}^{r(T)}\)는 \(\overline{\operatorname{Im} T}\)의 정규직교기저이고 \(\{z_m\}_{m=1}^{n(T)}\)는 \(\operatorname{Ker} T\)의 정규직교기저이다.
증명
\(H\)가 가분공간이므로 \(\operatorname{Ker} T\)는 가분힐베르트공간이다. 따라서 \(\operatorname{Ker} T\)의 정규직교기저가 존재한다. 그 정규직교기저를 \(\{z_m\}_{m=1}^{n(T)}\) 형태로 나타내자. (여기서 \(n(T)\)는 유한일 수도 있고 무한일 수도 있다.) 각 \(m\)에 대해 \(Tz_m = 0\)이므로, \(z_m\)은 고윳값 \(\lambda = 0\)에 대응하는 \(T\)의 고유벡터이다.
합집합 \(E = \{e_n\}_{n=1}^{r(T)} \cup \{z_m\}_{m=1}^{n(T)}\)는 \(H\)에서의 가산정규직교집합이다. 실제로 이 집합은 \(H\)의 기저이다. 이것을 증명하자. \[\begin{aligned} x &= Px + (I - P)x \\[6pt] &= \sum_{n=1}^{r(T)} \langle Px,\,e_n \rangle e_n + \sum_{m=1}^{n(T)} \langle (I - P)x,\,z_m \rangle z_m \\[6pt] &= \sum_{n=1}^{r(T)} \langle x,\,e_n \rangle e_n + \sum_{m=1}^{n(T)} \langle x,\,z_m \rangle z_m \end{aligned}\] 이다. 여기서 등식 (4)와 유사하게, 각 \(m\)에 대해 등식\[\langle (I - P)x,\,z_m \rangle = \langle x,\,z_m \rangle\]을 사용하였다. 따라서 \(E\)는 \(H\)의 정규직교기저이다.
이전 글에서 일반 컴팩트연산자 \(T\)에 대한 방정식의 해의 존재성에 대해 논의했다. \(T\)가 자기수반연산자일 때, (3)에서의 \(T\)의 표현을 사용하여 해를 표현하는 방법을 찾을 수 있다.
정리 8. (자기수반 컴팩트연산자가 포함된 방정식의 해 표현)
\(\{\lambda_n\}_{n=1}^{r(T)}\)와 \(\{e_n\}_{n=1}^{r(T)}\)를 앞에서 구성한 \(T\)의 비자명 고윳값과 대응하는 고유벡터의 정규직교집합이라고 하자. 그러면 임의의 \(\lambda \neq 0\)에 대해, 방정식 \[(T - \lambda I)x = p \tag{5}\] 에 대해 다음 중 하나가 성립한다.
- \(\lambda\)가 고윳값이 아니면, 방정식 (5)는 유일한 해를 가지며, 이 해는 다음과 같은 형태를 가진다. \[x = \sum_{n=1}^{r(T)} \frac{\langle p,\,e_n \rangle}{\lambda_n - \lambda}e_n - \frac{1}{\lambda}(I - P)p .\tag{6}\]
- \(\lambda\)가 고윳값이면, \(\lambda_n = \lambda\)인 정수 \(n\)의 집합을 \(E\)라 하자. 그러면 방정식 (5)는 다음 조건이 성립할 때만 해를 가진다. \[\langle p,\,e_n \rangle = 0, \quad n \in E . \tag{7}\] 조건 (7)이 성립하면, (5)의 해집합은 다음과 같은 형태를 가진다. \[x = \sum_{\substack{n=1\\n\notin E}}^{r(T)} \frac{\langle p,\,e_n \rangle}{\lambda_n - \lambda}e_n - \frac{1}{\lambda}(I - P)p + z . \tag{8}\] 여기서 \(z = \sum_{n \in E} \alpha_n e_n\)은 \(\operatorname{Ker}(T - \lambda I)\)의 임의의 원소이다.
증명
방정식 (5)의 해가 주어진 조건 아래에서 존재한다는 것은 프레드홀름 이분법 정리에서 증명하였다. 해가 주어진 형태를 가짐을 보이면 충분하다. \(\{e_n\}_{n=1}^{r(T)}\)가 \(\overline{\operatorname{Im} T} = (\operatorname{Ker} T)^\perp\)의 정규직교기저이므로 (4)에 의하여 \[x = \sum_{n=1}^{r(T)} \langle x,\,e_n \rangle e_n + (I - P)x, \quad p = \sum_{n=1}^{r(T)} \langle p,\,e_n \rangle e_n + (I - P)p\] 이고, 따라서 (5)에 의하여 \[(T - \lambda I)x = \sum_{n=1}^{r(T)} \langle x,\,e_n \rangle(\lambda_n - \lambda)e_n - \lambda(I - P)x = \sum_{n=1}^{r(T)} \langle p,\,e_n \rangle e_n + (I - P)p\] 이다. 양변에 각각 \(e_k,\) \(1 \leq k \leq r(T)\)와의 내적을 취하고, \(\lambda\)가 고윳값이 아니라고 가정하면 \[\langle x,\,e_k \rangle(\lambda_k - \lambda) = \langle p,\,e_k \rangle\] 그리고 \[\langle x,\,e_k \rangle = \frac{\langle p,\,e_k \rangle}{\lambda_k - \lambda} \tag{9}\] 를 얻는다. 또한, 위 등식의 양변에 \(\operatorname{Ker} T\)로의 직교사영을 취하면 \[-\lambda(I - P)x = (I - P)p\] 이다. 이제 이 두 결과로부터 해 (6)을 얻는다. 이로써 (a)가 증명된다.
(b)의 증명도 유사하다. \(k \in E\)일 때, 조건 (7)은 (9)의 첫 번째 식이 임의의 계수 \(\langle x,\,e_k \rangle = \alpha_k\)에 의해 만족됨을 보장한다. (그리고 분모의 \(\lambda_n - \lambda\) 항에 의하여 발생되는 문제를 피할 수 있다.) 대응되는 항 \(\alpha_k e_k\)는 (8)의 해에서 \(\operatorname{Ker}(T - \lambda I)\) 내의 임의의 원소를 표현하는 데에 사용된다.