우리는 도형의 모양을 다양한 기준으로 분류한다. 도형이 눈에 어떻게 보이는지에 따라 둥근지 모났는지, 큰지 작은지, 길쭉한지 납작한지 등의 기준으로 분류한다. 이러한 기준으로 볼 때, 원과 삼각형은 다른 도형이고, 야구공과 주사위도 다른 모양의 물건이다. 이렇게 도형을 구별할 때 우리가 은연중에 기대는 것은 길이와 각의 크기이다. 변의 길이를 재고 각을 따져서 “이건 정사각형, 저건 직사각형” 하고 나눈다.
그런데 모양을 보는 전혀 다른 눈도 있다. 이 눈으로 보면 커피잔과 도넛이 ‘같은’ 물건이 된다. 둘 다 구멍이 하나뿐이라는 이유에서다. 길이나 각의 크기는 다 잊어버리고, 자르거나 붙이지만 않은 채 얼마든지 늘이고 구부려 서로 옮겨 갈 수 있으면 같다고 보는 것이다. 이 관점에서 “변하지 않고 끝까지 남는 모양의 성질은 무엇인가”라는 질문을 끈질기게 밀어붙인 것이 위상수학(topology)이다. 이 글에서는 그 여정을 따라가 본다. 18세기 오일러가 풀어낸 다리 건너기 문제에서 출발해, 고무판의 기하학이라는 발상과 길이 개념을 지운 공간의 정의를 지나, 푸앵카레가 구멍을 대수로 번역하고 그 질문이 한 세기 만에 풀린 과정을 살펴보자.
쾨니히스베르크의 다리: 위상수학의 씨앗
18세기 프로이센의 도시 쾨니히스베르크에는 프레겔강이 가로지르며 만든 두 개의 섬이 있었고, 이 섬들과 강가의 두 땅을 잇는 일곱 개의 다리가 놓여 있었다. 시민들 사이에는 오래된 수수께끼 하나가 떠돌았다. 일곱 개의 다리를 모두 정확히 한 번씩만 건너는 산책 경로가 가능한가? 누구도 성공하지 못했지만, 정말 불가능한지 증명한 사람도 없었다.
1736년, 레온하르트 오일러(Leonhard Euler)가 이 문제를 손에 쥐었다. 그가 본 핵심은 이것이었다. 다리의 길이도, 섬의 모양도, 땅덩어리들 사이의 거리도 이 문제와는 아무 상관이 없다. 오직 ‘무엇이 무엇과 다리로 이어져 있는가’라는 연결 관계만이 답을 좌우한다. 그래서 오일러는 그림을 과감하게 변형하였다. 네 개의 땅덩어리를 점으로, 일곱 개의 다리를 그 점들을 잇는 선으로 바꾼 것이다. 오늘날 우리가 그래프(graph)라 부르는 구조이다.
이렇게 바꿔 놓고 보면 답이 깔끔하게 나온다. 각 점에 모인 선의 개수를 그 점의 차수(degree)라고 부르자. 모든 선을 정확히 한 번씩 지나는 경로, 즉 한붓그리기가 가능하려면 홀수 차수를 가진 점이 \(0\)개이거나 정확히 \(2\)개여야 한다. 산책 도중 어떤 점에 들어갔으면 반드시 나와야 하니, 그 점에 모인 선은 짝을 이뤄야 하기 때문이다. 그런데 쾨니히스베르크의 네 점은 차수가 각각 \(3,\) \(3,\) \(3,\) \(5\)로 모두 홀수였다. 차수가 홀수인 점이 넷이니 한붓그리기 조건을 만족시키지 못한다. 그러니 그런 산책길은 처음부터 존재하지 않았던 것이다.
오일러는 이런 종류의 문제를 ‘위치의 기하학’(라틴어로 geometria situs)이라 불렀다. 길이나 넓이를 재는 보통의 기하학과 달리, 위치와 연결만 따지는 기하학이라는 뜻이었다.1쾨니히스베르크는 지금 러시아의 칼리닌그라드다. 일곱 개의 다리 중 둘은 제2차 세계대전 때 파괴되었고, 지금 남은 다리들로는 차수가 바뀌어 사정이 또 달라졌다. 길이와 모양을 버리고 연결 관계만 남긴 이 한 걸음이, 훗날 위상수학으로 자라날 씨앗이었다.
늘여도 변하지 않는 것: 오일러 지표
오일러는 다리 문제 말고도 위상수학에 또 하나의 큰 선물을 남겼다. 바로 다면체에 관한 공식이다. 한 볼록다면체의 꼭짓점의 수를 \(V\), 모서리의 수를 \(E\), 면의 수를 \(F\)라고 하면, 이 셋 사이에는 늘 다음 관계가 성립한다. \[ V - E + F = 2 \] 정육면체로 확인해 보자. 꼭짓점이 8개, 모서리가 12개, 면이 6개이니 \(8-12+6=2\)다. 정사면체는 \(4-6+4=2\), 정십이면체도 \(20-30+12=2\)이다. 다면체의 모양이 다르지만 \(V-E+F\)의 값은 항상 \(2\)이다.
정말 놀라운 건 다면체의 모양을 바꾸어도 이 값은 변하지 않는다는 점이다. 정육면체를 풍선처럼 부풀려 둥근 공 모양으로 만들어도 꼭짓점, 모서리, 면의 가짓수를 어떻게 세든 이 교대합은 여전히 \(2\)다. 그러니 \(2\)라는 값은 사실 정육면체라는 특정 도형의 성질이 아니라, 그것을 부풀려 얻은 구(球)라는 모양의 성질인 셈이다. 이 값을 오일러 지표(Euler characteristic)라 부르고 \(\chi\)라고 나타낸다.2데카르트가 오일러보다 100년쯤 앞서 비슷한 관계를 알아냈었다는 기록이 그의 유고에서 발견되었다. 그래서 이 정리를 데카르트–오일러 정리라고 부르기도 한다.
구멍이 있는 곡면으로 넘어가면 이야기가 더 흥미로워진다. 구멍이 \(g\)개인 곡면을 종수(genus)가 \(g\)인 곡면이라고 부르는데, 이때 \[ \chi = V - E + F = 2 - 2g \] 가 성립한다. 구는 구멍이 없으니 \(g=0\)이라 \(\chi=2\)이고, 도넛 모양인 원환면(torus)은 구멍이 하나라 \(g=1\)이고 \(\chi=0\)이며, 구멍이 둘인 곡면은 \(\chi=-2\)이다. 결국 오일러 지표는 그 곡면에 구멍이 몇 개인지를 헤아리는 도구인 것이다.
그리고 이 값은 위상불변량(topological invariant)이다. 한 도형을 연속적으로 변형(자르거나 구멍내지 않고, 구부리거나 늘이는 변형)하여 다른 도형을 만들 수 있을 때, 두 도형은 반드시 같은 \(\chi\)의 값을 가진다. 뒤집어 말하면, \(\chi\)가 다른 두 도형이 있을 때 한 도형을 연속적으로 변형시키는 방법으로는 절대 다른 도형을 만들 수 없다. 도넛(\(\chi=0\))과 구(\(\chi=2\))는 아무리 주물러도 서로가 될 수 없다는 사실이 이 과정을 통해 증명된다. 모양을 구별하는 데 ‘변하지 않는 양’을 쓴다는 발상, 이것이 위상수학을 떠받치는 기둥이 된다.
고무판 위의 기하학
이 분야에 ‘topology’라는 이름을 처음 붙인 사람은 1847년 독일의 요한 리스팅(Johann Listing)이다. 그리스어로 장소를 뜻하는 topos와 학문을 뜻하는 logos를 합친 말로, 우리말로는 위상수학이라 옮긴다.
위상수학의 기본 관점은 도형을 무한히 유연한 고무판처럼 다루는 것이다. 자르거나, 붙이거나, 새로 구멍을 뚫지만 않으면, 얼마든지 늘이고 줄이고 구부려도 좋다. 이런 변형으로 서로 옮겨 갈 수 있는 두 도형을 ‘같다’고 본다. 그래서 위상수학을 두고 ‘고무판 위의 기하학’이라 부르기도 한다.
이 ‘같음’을 엄밀하게 적으면 이렇다. 두 공간 \(X\)와 \(Y\) 사이에 양방향으로 연속인 일대일 대응 \(f:X\to Y\)가 존재하면, 즉 \(f\)와 그 역함수 \(f^{-1}\)이 모두 연속이면, “\(X\)와 \(Y\)는 위상동형(homeomorphic)이다”라고 표현한다. 위상동형은 위상수학에서의 ‘같다’에 해당한다. 합동이 기하학에서 두 도형의 같음을 나타내고, 동형이 대수 구조에서 두 공간의 같음을 나타내듯이, 위상동형은 모양의 본질만 두고 따지는 같음이다.
앞서 말한 커피잔과 도넛이 바로 이 위상동형의 대표적인 예다. 손잡이 가운데의 구멍과 도넛 가운데의 구멍이 같은 역할을 하므로, 둘 중 하나를 연속적으로 변형시켜 다른 것을 만들 수 있다. 반면 공의 표면은 구멍이 없어서 도넛과 위상동형이 아니다. 이렇게 늘이고 구부려도 변하지 않는 성질, 곧 몇 조각으로 떨어져 있는지(연결성), 구멍이 몇 개인지 같은 것만이 위상수학의 관심사다. 길이, 각의 크기, 넓이는 위상수학의 세계에서 의미를 잃는다. 사실 이런 시각은 리만이 곡면을 다루며(리만 곡면, Riemann surface) 이미 싹을 틔워 두었고, 위상수학은 그 발상을 끝까지 밀고 나간 결과라 할 수 있다.
거리를 지우다: 점집합 위상수학
고무판 비유는 직관적이긴 하지만 엄밀하지는 않다. ‘연속적으로 변형한다’라는 것이 정확히 무엇인지, 애초에 ‘연속함수’란 무엇인지부터 못 박아야 한다. 미적분에서 우리는 거리 개념을 사용하여 연속함수를 정의했다. 이른바 \(\varepsilon\)-\(\delta\) 논법으로, 두 점이 가까우면 함숫값도 가깝다는 것을 거리로 잰다. 그런데 위상수학은 모양에서 거리를 아예 지워 버리려는 학문이다. 거리를 쓰지 않고 연속을 정의할 방법이 있어야 한다.
이 방법을 제시한 사람이 펠릭스 하우스도르프(Felix Hausdorff)이다. 그는 1854년에 태어난 리만의 발상과 칸토어의 집합론을 이어받아, 1914년 『집합론 기초』에서 거리라는 개념을 한 번도 쓰지 않고 공간을 정의해 냈다. 그 방법은 바로 ‘열린집합(open set)’이었다. 그가 말하는 위상공간(topological space)의 정의는 다음과 같다. 집합 \(X\)와 그 부분집합들의 모임 \(\tau\)가 주어졌다고 하자. 만약 \(\tau\)가 다음 세 조건을 만족시키면 이를 \(X\) 위의 위상(topology)이라고 부르고, \(\tau\)에 속한 집합을 열린집합이라 부른다.
- 공집합 \(\varnothing\)과 전체집합 \(X\)는 열린집합이다.
- 열린집합을 개수에 상관없이 임의로 많이 합집합해도 여전히 열린집합이다.
- 열린집합을 유한 개 교집합해도 여전히 열린집합이다.
이것이 전부이다. 거리는 한 번도 등장하지 않는다. 그저 ‘어떤 집합들을 열려 있다고 부를지’만 정해 주면 그것으로 하나의 공간이 선다. 그리고 연속함수는 이 열린집합만으로 다시 정의된다. 함수 \(f:X\to Y\)가 연속이라는 것은, \(Y\)의 모든 열린집합 \(U\)에 대해 그 원상(preimage) \(f^{-1}(U)\)가 \(X\)에서 열린집합인 것을 뜻한다. 거리 공간에서 이 정의를 적용해 보면 옛 \(\varepsilon\)-\(\delta\) 정의와 정확히 일치한다. 다만 이 새 정의는 거리가 아예 없는 곳에서도 멀쩡히 작동한다는 점에서 훨씬 너르다.
거리를 지운 이 틀 위에서, 앞서 직관적으로만 말하던 위상적 성질들이 비로소 또렷한 정의를 얻는다. 연결성(connectedness)은 공간을 서로소인 두 개의 비어 있지 않은 열린집합으로 쪼갤 수 없다는 성질이다. 컴팩트성(compactness)은 공간을 덮는 어떤 열린집합들의 모임을 가져와도 그중 유한 개만 골라 여전히 전체를 덮을 수 있다는 성질이다.3유클리드 공간에서는 ‘닫혀 있고 유계인 것’과 컴팩트인 것이 같다는 하이네–보렐 정리가 성립한다. 컴팩트성은 이 친숙한 성질을 거리가 없는 곳까지 옮겨 놓은 일반화된 개념이다. 하우스도르프 성질(Hausdorff property)은 서로 다른 두 점을 각각 감싸면서 서로 만나지 않는 두 열린집합이 늘 존재한다는 성질로, 정의를 만든 하우스도르프의 이름이 붙었다. 이 셋은 모두 위상동형으로 보존되는 위상불변량이다. 예컨대 원 \(S^1\)은 컴팩트 집합이지만 직선 \(\mathbb{R}\)은 그렇지 않으므로, 둘은 결코 위상동형이 될 수 없다.
구멍을 세는 대수: 푸앵카레와 대수적 위상수학
오일러 지표는 강력하지만 한계가 있다. 숫자 하나로 도형을 뭉뚱그리다 보니 서로 다른 도형이 같은 값을 갖는 일이 흔하고, 고차원에서는 구멍을 눈으로 세는 것 자체가 불가능하다. 여기서 판을 바꾼 사람이 앙리 푸앵카레(Henri Poincaré)이다. 그는 1895년 「위치 해석학(Analysis Situs)」에서, 공간에 대수적 구조인 군(group)을 붙여 위상 문제를 대수 문제로 변환하는 길을 열었다. 바로 대수적 위상수학(algebraic topology)의 시작이다.
그가 만든 첫 번째 도구가 기본군(fundamental group)이다. 공간의 한 점 \(x_0\)에서 출발해 다시 \(x_0\)로 돌아오는 모든 닫힌 경로, 곧 고리(loop)를 생각하자. 두 고리를 자르지 않고 연속적으로 변형해 서로 포갤 수 있으면(이를 호모토피, homotopy라고 부른다), 두 고리를 같은 것으로 본다. 고리를 이어 붙이는 것을 연산으로 삼으면, 이 고리들의 모임이 하나의 군을 이룬다. 이것이 기본군 \(\pi_1(X,x_0)\)다.
구체적인 예를 통해 이 도구가 얼마나 강력한지 살펴보자. 평면처럼 구멍이 없는 공간에서는 어떤 고리든 한 점으로 오므릴 수 있어, 기본군이 원소가 하나뿐인 자명군이 된다. 이런 공간을 단순연결(simply connected)이라고 부른다. 반면 원 \(S^1\)에서는 고리를 아무리 변형해도 고리가 가운데 구멍을 몇 바퀴 감았는지(감음수, winding number)가 보존되어 남는다. 그래서 \(\pi_1(S^1)\cong\mathbb{Z}\), 즉 정수 덧셈군이 된다. 도넛에서는 서로 독립인 두 방향의 고리가 있어 \(\pi_1\cong\mathbb{Z}\times\mathbb{Z}\)이다. 이제 두 공간의 기본군이 서로 동형이 아니면 두 공간은 위상동형일 수 없다고 단언할 수 있다. 평면과 원은 기본군이 다르므로(자명군과 \(\mathbb{Z}\)) 위상동형이 아니다. 그림을 들여다보지 않고 오직 대수적인 방법만으로 모양을 구분하는 것이다.
푸앵카레는 차원별로 구멍을 세는 또 다른 도구인 호몰로지(homology)도 함께 마련했다. 각 차원의 구멍 개수를 베티 수(Betti number) \(b_k\)로 나타내는데, \(b_0\)은 공간이 몇 조각으로 떨어져 있는지(연결 성분의 수)를, \(b_1\)은 고리 모양 구멍의 수를, \(b_2\)는 속이 빈 공동의 수를 센다. 그리고 여기서 앞 절과 이어지는 아름다운 식이 나온다. 오일러 지표는 사실 이 베티 수들의 교대합으로 다시 쓸 수 있다. \[ \chi = b_0 - b_1 + b_2 - \cdots = \sum_{k\ge 0}(-1)^k\,b_k \] 다면체에서 꼭짓점, 모서리, 면을 세어 얻었던 \(\chi=V-E+F\)가, 알고 보니 구멍을 세는 위상불변량과 정확히 같은 값이었던 셈이다. 이를 오일러–푸앵카레 정리라고 부른다. 겉보기에 동떨어진 결과처럼 보이지만, 사실은 같은 원리로부터 나온 결과이다.
한 가지 덧붙이면, 공간에 군을 대응시키는 이 작업은 단순한 비유가 아니다. 공간 사이의 연속함수에는 군 사이의 준동형사상이 대응되어, 공간들의 세계와 군들의 세계 사이에 구조를 보존하는 다리가 놓인다. 범주론의 언어로는 이러한 대응을 함자(functor)라고 부른다. 위상수학은 이 함자를 타고 대수학과 한 몸이 된다.
푸앵카레 추측: 100년의 질문
2차원 곡면의 세계는 의외로 단조롭다. 방향을 줄 수 있는 닫힌 곡면은 종수 \(g\) 하나만으로 완전히 분류된다. 구, 도넛, 구멍이 둘인 곡면, 구멍이 셋인 곡면 등이다. 이렇게 구멍의 개수만 알면 그 곡면의 위상이 무엇인지 결정된다. 그렇다면 한 차원을 더 올려 3차원 다양체에서도 이렇게 깔끔할까? 푸앵카레는 자신이 만든 기본군이 위상을 얼마나 잘 나타내는지 연구하다가, 1904년에 유명한 질문을 던졌다. 경계가 없는 닫힌 3차원 다양체가 단순연결이면, 즉 그 안의 모든 고리가 한 점으로 오므라들면, 그것은 반드시 3차원 구 \(S^3\)와 위상동형인가?
이것이 푸앵카레 추측(Poincaré conjecture)이다. 푸앵카레 자신은 처음에 더 약한 형태를 참이라 여겼다가, 기본군은 자명하지만 구는 아닌 반례(푸앵카레 호몰로지 구)를 스스로 찾아내고는 진술을 위와 같이 다듬었다. 그런데 이 추측은 묘하게도 고차원에서 해결되었다. 스티븐 스메일(Stephen Smale)이 1961년에 \(n\ge 5\)인 경우를, 마이클 프리드먼(Michael Freedman)이 1982년에 \(n=4\)인 경우를 증명했고, 두 사람 모두 그 공로로 필즈상을 받았다. 정작 처음 물었던 3차원이 가장 고난도의 문제로 남았다.
이 문제를 푼 사람이 러시아의 그리고리 페렐만(Grigori Perelman)이다. 그는 2002년부터 2003년까지, 리처드 해밀턴(Richard Hamilton)이 고안한 ‘리치 흐름(Ricci flow)’을 발전시켜 3차원 푸앵카레 추측을 증명하였고, 나아가 서스턴(Thurston)의 기하화 추측까지 증명했다. 리치 흐름은 곡면을 마치 열이 퍼지듯 매끄럽게 흘려보내 울퉁불퉁한 모양을 단순하게 펴주는 기법으로, 그 뿌리는 리만 기하학의 곡률에 닿아 있다. 위상수학의 한 세기짜리 난제가, 거리와 곡률을 다루는 기하학의 손을 빌려 풀린 셈이다.4클레이 수학연구소가 2000년에 100만 달러의 상금을 걸고 내놓은 일곱 개의 밀레니엄 문제 중, 지금까지 풀린 것은 푸앵카레 추측 하나뿐이다. 페렐만은 그 공로로 주어진 2006년 필즈상도, 밀레니엄 상금도 모두 거절하고 학계에서 조용히 물러났다.
여정을 마치며
지금까지 우리는 쾨니히스베르크의 다리에서 연결 상태만을 고려하는 새로운 관점이 싹트는 것을 보았고, 오일러 지표가 늘여도 변하지 않는 양을 보여 주며, 고무판의 비유가 위상동형이라는 ‘같음’을 낳는 것을 보았다. 또한 하우스도르프가 거리 없이 공간을 다시 정의하였고, 푸앵카레가 구멍을 대수로 번역하였으며, 푸앵카레가 던진 질문이 한 세기를 건너 풀리는 것을 보았다.
이 여정에서 가장 인상적인 대목은, 위상수학이 발전한 역사의 핵심이 바로 무언가를 ‘버리는’ 일이었다는 점이다. 거리, 각의 크기, 넓이 등 우리가 도형에서 중요하다고 믿어 온 것들을 과감히 지웠다. 그러자 그 아래 숨어 있던 더 본질적인 뼈대, 곧 ‘어떻게 연결되어 있는가’, ‘구멍이 몇 개인가’ 같은 성질이 비로소 모습을 드러냈다. 무언가를 더 보탠 데에서가 아니라 덜어 낸 데에서 깊이가 나온 것이다. 기하학이 평행선 공준 하나를 내려놓으며 새로운 세계로 갈라졌듯, 위상수학은 거리라는 짐을 내려놓으며 ‘모양의 본질’에 한 발 다가섰다.
우리가 매일 무심히 보는 형태들 아래에 어떤 변하지 않는 뼈대가 숨어 있는지, 커피잔과 도넛이 정말 ‘같은’ 것인지, 이 오래된 물음에 마음이 끌린다면, 위상수학의 세계로 한 발 더 들어가 보는 건 어떨까.
🍭