기하학의 역사: 유클리드 공준에서 일반상대성이론까지

우리는 누구나 공간에 대한 직관을 가지고 있다. 두 점을 잇는 가장 짧은 경로는 선분이고, 나란한 두 직선은 아무리 늘여도 만나지 않으며, 삼각형 세 각을 더하면 \(180^\circ\)가 된다. 이런 것들은 너무 당연해서 의심할 거리조차 안 된다. 증명해야 할 명제라기보다 그냥 공간이 원래 그렇게 생겼다고 느껴질 정도이다.

그런데 이 ‘당연한’ 것들 중 하나를 끈질기게 물고 늘어진 끝에, 수학의 한 시대가 저물고 새 시대가 열렸다. 그 의심이 무르익는 데에 2천 년이 걸렸고, 결국 인간이 발 딛고 사는 공간에 대한 이해 자체를 뒤집어 놓았으며, 그 결과는 우주의 중력을 기술하는 언어가 되었다. 이 글에서는 그 여정을 따라가 본다. 고대 그리스의 유클리드에서 출발하여 비유클리드 기하학의 발견을 지나 리만의 일반적인 기하학, 그리고 그것이 아인슈타인의 손에서 물리 이론으로 탈바꿈하는 과정까지 살펴보자.

유클리드 기하학: 공리적 방법의 탄생

기하학(geometry)이라는 말은 그리스어로 땅을 뜻하는 ‘geo’와 잰다는 뜻의 ‘metron’이 합쳐진 것이다. 이름 그대로 원래는 땅을 재는 실용적인 기술이었다. 이집트인들은 나일강이 범람해 경계가 쓸려 나가면 토지를 다시 측량하고 넓이를 계산했다. 그런데 그리스인들은 이 측량 기술을 전혀 다른 것으로 바꿔 놓는다. 땅을 재는 기술이 아니라, 순수하게 논리만으로 전개되는 추론 체계로 만든 것이다.

이 작업을 집대성한 사람이 기원전 300년경 알렉산드리아에서 활동한 유클리드(Euclid)다. 그가 남긴 『원론』(Elements)은 단순한 기하학 교과서가 아니라 인류가 만든 가장 영향력 있는 지적 산물 중 하나로 꼽힌다. 『원론』이 혁신적이었던 건 다루는 내용보다도 그것을 전개하는 방식이었다. 유클리드는 몇 개의 정의(definition), 공준(postulate), 공통 관념(common notion)에서 시작해 오직 논리적 추론만으로 수백 개의 명제를 꿰어 나간다.¹ 오늘날 우리가 사용하는 논리학의 공리계가 바로 이 방식을 일반화한 것인 셈이다.

유클리드의 다섯 가지 공준은 다음과 같다.

임의의 두 점을 잇는 선분을 그을 수 있다.
임의의 선분을 양쪽으로 얼마든지 연장할 수 있다.
임의의 점을 중심으로, 임의의 반지름을 가진 원을 그릴 수 있다.
모든 직각은 서로 같다.
(평행선 공준) 한 직선이 두 직선과 만날 때, 같은 쪽에 생기는 두 내각 \(\alpha,\beta\)의 합이 두 직각보다 작으면(즉 \(\alpha+\beta<\pi\)), 그 두 직선을 그쪽으로 계속 늘이면 언젠가 만난다.

앞의 네 공준은 짧고 깔끔해서 보자마자 고개를 끄덕이게 된다. 그런데 다섯 번째 공준은 느낌이 다르다. 문장이 길고 복잡한 데다, 직선을 무한히 늘였을 때 벌어질 일을 말하고 있어서 종이에 그려 확인할 수도 없다. 이 다섯 번째 공준은 보통 다음과 같이 더 간단한 형태로 바꿔 쓴다. “한 직선과 그 위에 있지 않은 한 점이 주어지면, 그 점을 지나면서 주어진 직선과 평행한 직선이 단 하나 존재한다.” 이와 같이 바꿔 쓴 공리를 플레이페어 공리(Playfair’s axiom)라고 부른다.

평행선 공준이라는 가시

유클리드의 다섯 번째 공준은 2천 년 동안 수학자들의 속을 긁었다. 나머지 네 공준만큼 자명해 보이지 않았기 때문이다. 그래서 많은 사람이 이건 사실 독립적인 공준이 아니라 앞의 네 공준을 사용하여 ‘증명할 수 있는 정리’일 것이라고 믿었다. 정말 그렇다면 평행선 공준은 가정 목록에서 빼서 정리 쪽으로 옮겨 버리면 그만이었다.

이 믿음을 실제 증명으로 바꿔 보려는 시도가 끊이지 않았다. 고대의 프로클로스, 중세 이슬람권의 이븐 알하이삼과 오마르 하이얌, 나시르 알딘 알투시 같은 이들이 줄줄이 도전했다. 18세기 이탈리아의 사케리(Saccheri)는 특히 영리한 길을 택했다. 평행선 공준이 ‘거짓’이라고 가정한 다음, 거기서 모순이 튀어나오기를 기대하며 논증을 밀어붙인 것이다. 평행선 공준을 귀류법으로 증명하겠다는 전략이었다. 그런데 모순은 끝내 나오지 않고, 기묘하지만 논리적으로는 멀쩡한 정리들만 한참 쏟아져 나왔다. 사케리는 결과가 너무 직관에 어긋난다는 이유로 ‘이게 바로 모순’이라고 스스로를 설득해 버렸지만, 그가 실제로 손에 쥔 건 모순이 아니었다.

돌아보면 이 모든 시도가 실패한 데에는 그럴 만한 이유가 있었다. 평행선 공준은 애초에 앞의 네 공준을 사용하여 증명할 수 없는 것이었다. 다른 공준들과 독립적인 가정이었기 때문이다. 집합론의 공리에서 선택 공리나 연속체 가설이 ZF와 독립이었던 것과 정확히 같은 상황이다. ‘참인데 증명이 어려운’ 명제가 아니라, 받아들여도 되고 거부해도 되는 갈림길이었던 셈이다. 그리고 거부하는 쪽으로 발을 들이는 순간, 그 너머에 아무도 본 적 없는 세계가 펼쳐져 있었다.

비유클리드 기하학의 발견

19세기 초, 여러 수학자가 거의 동시에 같은 결론에 다다랐다. 평행선 공준을 부정해도 모순 없이 전개되는 기하학을 만들 수 있다는 것이었다. 위대한 수학자 가우스(Gauss)는 이 사실을 일찌감치 들여다보고 있었지만, 학계가 일으킬 소란이 두려워 발표하지 않고 묻어 두었다. 결국 발표의 영예는 서로 존재조차 모른 채 따로 연구하던 두 사람, 러시아의 로바쳅스키(Lobachevsky, 1829년)와 헝가리의 보여이(Bolyai, 1832년)에게 돌아갔다.

이들이 세운 기하학은 평행선 공준을 바꾸어 다음과 같이 진술한다. “한 점을 지나면서 주어진 직선과 끝내 만나지 않는 직선이 무한히 많이 존재한다.” 평행선 공준을 이와 같이 바꾼 기하학을 쌍곡기하학(hyperbolic geometry)이라고 부른다. 이 가정을 받아들이는 순간 익숙한 결론들이 줄줄이 깨진다. 삼각형 세 각의 합은 늘 \(180^\circ\)에 못 미치고, 더 놀랍게도 그 모자란 양[이것을 각결손(angular defect)이라고 부른다]이 삼각형의 넓이에 정확히 비례한다. 삼각형의 넓이를 \(A\)라 하면, 곡률이 \(K\)로 일정한 공간에서 \[ \pi-(\alpha+\beta+\gamma)=|K|\,A \] 가 성립한다. 그러니 쌍곡평면에서는 삼각형을 키울수록 각의 합이 \(180^\circ\)에서 점점 더 멀어진다. 또 하나, 모양은 같고 크기만 다른 닮은 삼각형이 아예 존재하지 않는다. 세 각이 정해지면 위 식에 의해 넓이까지 못 박혀 버리기 때문이다. 직관에는 분명 거슬리지만, 이 기하학은 그 자체로 한 군데도 어긋남이 없다.

그렇다면 자연스럽게 의문이 든다. 이 낯선 기하학이 언젠가 숨겨 둔 모순을 드러내지는 않을까? 여기에 답을 준 것이 벨트라미(Beltrami, 1868년), 그리고 뒤를 이은 클라인과 푸앵카레였다. 이들은 쌍곡기하학을 우리에게 익숙한 유클리드 공간 안에 ‘모델’로 직접 만들어 보였다. 예컨대 푸앵카레 원판 모델에서는 단위원의 내부를 공간 전체로 삼고, 경계원에 직각으로 부딪히는 원호를 ‘직선’으로 해석한다. 이때 거리를 재는 규칙, 곧 계량을 평평한 \(dx^2+dy^2\)이 아니라 \[ ds^2=\frac{4\,(dx^2+dy^2)}{(1-x^2-y^2)^2} \] 로 정한다. 점이 경계로 갈수록(\(x^2+y^2\to 1\)) 분모가 \(0\)에 가까워지므로, 같은 좌표 변화라도 경계에 다가갈수록 실제 거리는 무한히 늘어난다. 유한해 보이는 원판 안에 무한한 쌍곡평면이 통째로 담기는 것이다. 이 계량 위에서 쌍곡기하학의 공준이 모두 성립한다. 덕분에 다음과 같은 결론을 끌어낼 수 있다: “유클리드 기하학에 모순이 없다면, 쌍곡기하학에도 모순이 없다.” 이것이 상대적 무모순성(relative consistency)이다. 괴델과 코언이 모델을 사용하여 선택 공리가 ZF와 충돌하지 않음을 보였던 것과 똑같은 방식의 논증이다.

평행선 공준을 부정하는 길이 하나 더 있다. 평행선이 무한히 많다고 하는 대신, 아예 하나도 없다고 가정하는 것이다. 이러한 기하학을 타원기하학(elliptic geometry)이라 부른다. 구면 위의 기하학이 타원기하학의 대표적인 예이다. 구면에서 ‘직선’ 역할을 하는 것은 대원(great circle), 즉 구를 정확히 반으로 가르는 원이다. 지구본의 경선이나 적도를 떠올리면 된다. 두 대원은 반드시 두 점에서 만나므로 서로 다른 평행한 직선이 존재할 수 없다. 그리고 이번에는 삼각형 세 각의 합이 늘 \(180^\circ\)를 넘는다. 반지름이 \(R\)인 구 위의 삼각형이라면 그 초과량과 넓이 \(A\) 사이에 \[ \alpha+\beta+\gamma-\pi=\frac{A}{R^2} \] 라는 깔끔한 관계가 성립한다(지라르 정리). 곡률이 \(K=+1/R^2\)로 양수인 것을 생각하면, 쌍곡기하학에서 본 식과 부호만 뒤집힌 같은 꼴이다. 둘 다 \(K\,A=(\alpha+\beta+\gamma)-\pi\)라는 하나의 공식의 특수한 경우인 셈이다.

리만 기하학: 휘어진 공간의 일반론

유클리드 기하학, 쌍곡기하학, 타원기하학, 이렇게 서로 다른 기하학을 두고 보면 자연스럽게 한 가지가 궁금해진다. 이것들을 하나의 더 큰 틀 안에 묶을 수는 없을까? 여기에 답한 사람이 독일의 베른하르트 리만(Bernhard Riemann)이다. 1854년, 그는 괴팅겐 대학에서 가우스가 지켜보는 앞에서 「기하학의 기초에 놓인 가설들에 대하여」라는 강연을 했다. 이 한 번의 강연이 ‘기하학’이라는 말의 뜻 자체를 다시 써 버렸다.

리만의 핵심은 다양체(manifold)라는 개념이다. 다양체란 아주 좁게 들여다보면 평평한 유클리드 공간처럼 보이지만, 전체로 보면 얼마든지 휘어 있을 수 있는 공간이다. 지구 표면이 딱 그렇다. 우리가 서 있는 몇 미터 범위에서 땅은 평평하지만, 멀리서 보면 둥근 모양이다. 리만은 이 발상을 2차원 곡면에 가두지 않고 임의의 차원으로 끌어올렸다.

더 결정적인 건, 리만이 ‘기하학’을 미리 정해진 무언가가 아니라 계량(metric)이 정하는 것으로 봤다는 점이다. 계량이란 공간의 각 점에서 아주 짧은 거리를 어떻게 재는지 알려 주는 규칙이다. 평평한 평면이라면 두 점 사이의 거리는 피타고라스 정리 그대로다. 즉 미소 거리의 제곱이 \[ ds^2=dx^2+dy^2 \] 이다. 리만은 이 규칙을 일반화해서, 자리마다 계수가 달라지는 더 일반적인 거리 규칙을 허용했다. \(n\)차원에서는 \[ ds^2=\sum_{i,j=1}^{n} g_{ij}(x)\,dx^i\,dx^j \] 처럼 쓰는데, 여기서 점마다 값이 바뀌는 계수들의 모임 \(g_{ij}\)를 계량 텐서(metric tensor)라고 부른다. 위에서 본 평면은 \(g_{11}=g_{22}=1,\) \(g_{12}=g_{21}=0\)인 가장 단순한 경우이고, 푸앵카레 원판은 이 \(g_{ij}\)에 \(\tfrac{4}{(1-x^2-y^2)^2}\)라는 인수가 통째로 붙은 경우다. 계량 하나만 주어지면 그 공간의 거리, 각도, 그리고 얼마나 휘었는지까지 알 수 있다.

공간이 휜 정도를 나타내는 양이 곡률(curvature)이다. 리만의 틀에서 곡률은 점마다 다를 수 있다. 그리고 앞서 본 세 기하학은 곡률이 일정한 특수한 경우로 깔끔하게 정리된다. 유클리드 기하학은 곡률이 \(K=0\)인 평평한 공간, 타원기하학은 \(K>0\), 쌍곡기하학은 \(K<0\)인 공간이다. 조금 전 삼각형의 각결손 공식에 등장했던 \(K\)가 바로 이 곡률이다.

여기서 가우스가 한발 앞서 증명해 둔 정리 하나가 빛을 발한다. 가우스의 ‘빼어난 정리’(Theorema Egregium)에 따르면, 곡면의 곡률은 그 곡면이 더 큰 공간 안에 어떤 모양으로 박혀 있는지와 상관없이, 오직 곡면 안에서 거리를 재는 것만으로 결정된다. 한마디로 곡률은 내재적(intrinsic)이다. 곡면 위에 사는 2차원 생물이 바깥세상을 전혀 보지 못해도, 삼각형 각의 합이나 원둘레를 재 보는 것만으로 자기가 사는 공간이 휘었는지 아닌지 알아낼 수 있다는 뜻이다. 이게 왜 중요한가 하면, ‘휘어 있다’고 말하기 위해 그 공간을 담는 또 다른 바깥 공간이 굳이 필요하지 않기 때문이다. 우리가 사는 공간이 4차원이든 그보다 높든, 바깥에서 들여다보지 않고도 그 휘어짐을 따질 수 있게 된 것이다.

리만이 이러한 이론을 만들 때, 그러한 이론이 앞으로 물리학에서 활용될 것을 염두에 둔 것은 아니었다. 리만의 기하학은 그저 기하학을 끝까지 일반화해 보려는 수학적 호기심의 산물이었다. 그런데 60년쯤 뒤, 이 추상적인 도구가 우주를 기술하는 바로 그 언어가 된다.

기하학이 된 중력: 일반상대성이론

1905년, 아인슈타인의 특수상대성이론은 시간과 공간을 ‘시공간(spacetime)’이라는 4차원의 무대에서 통합하였다. 다만 이 시공간은 아직 평평했고, 중력을 담지 못했다. 아인슈타인은 이후 약 10년을 중력을 이 틀 안에서 설명하려고 애썼다.

출발점은 등가 원리(equivalence principle)였다. 자유낙하하는 엘리베이터 안에 있으면 중력을 느낄 수 없는데, 이 상태는 중력이 없는 우주 공간에 가만히 떠 있는 것과 국소적으로 구별이 안 된다. 이 관찰에서 아인슈타인은 과감한 결론으로 건너뛴다. 중력은 공간 속에서 잡아당기는 힘이 아니라, 시공간 자체가 휘어 있는 모습이라는 것이다. 질량과 에너지가 주변 시공간을 휘게 하고, 물체는 그 휜 시공간에서 ‘가장 곧은 길’인 측지선(geodesic)을 따라 흐른다. 우리는 그 휘어진 경로를 보고 ‘중력이 끌어당긴다’고 해석하는 것뿐이다.

이 구상을 식으로 옮기려면 휘어진 공간을 다루는 수학이 있어야 했다. 그리고 그 수학은 이미 마련돼 있었다. 리만이 터를 닦고, 리치쿠르바스트로와 레비치비타가 텐서 미적분학으로 발전시킨 바로 그 도구였다. 아인슈타인은 수학자 친구 마르셀 그로스만의 도움을 받아 이 도구를 손에 넣었고, 그 결실이 1915년의 아인슈타인 장방정식이다. \[ G_{\mu\nu}\equiv R_{\mu\nu}-\tfrac{1}{2}R\,g_{\mu\nu}=\frac{8\pi G}{c^4}\,T_{\mu\nu} \] 이 식에서 왼쪽은 시공간의 곡률을 담은 양이다. 즉 계량 \(g_{\mu\nu}\)에서 만들어지는 리치 텐서 \(R_{\mu\nu}\)와 스칼라 곡률 \(R\)을 조합한 아인슈타인 텐서 \(G_{\mu\nu}\)다. 오른쪽 \(T_{\mu\nu}\)는 그 자리에 있는 물질과 에너지의 분포를 나타내는 에너지 운동량 텐서다. 그러니까 이 방정식은 ‘(곡률) = (상수) × (에너지)’라는 한 줄로, 기하학과 물질을 직접 같다고 놓고 있는 셈이다.² 물리학자 휠러는 이 방정식을 다음과 같이 한 문장으로 압축했다. “물질은 시공간에게 어떻게 휘어질지를 알려주고, 시공간은 물질에게 어떻게 움직일지를 알려준다.”

한 가지 엄밀하게 짚고 넘어갈 것이 있다. 시공간의 기하학은 정확히 말하면 리만 기하학이 아니라, 그것을 살짝 비튼 유사 리만 기하학(pseudo-Riemannian geometry), 다른 이름으로 로런츠 기하학이다. 차이는 시간 방향에 음의 부호가 붙는다는 데에 있다. 평평한 경우(민코프스키 시공간)의 계량을 적어 보면 \[ ds^2=-c^2\,dt^2+dx^2+dy^2+dz^2 \] 처럼 시간 항만 부호가 반대다. 그래서 시공간에서는 ‘거리의 제곱’이 음수가 될 수 있고, 바로 이 부호 차이가 시간과 공간을 갈라 준다. 그래도 다양체 위에 계량을 얹고 곡률을 논한다는 골격은 통째로 리만 기하학에서 온 것이다.

아인슈타인의 이론이 내놓은 예측들이 하나씩 확인됐다. 태양 곁을 스치는 별빛이 휘는 현상(1919년 일식 관측), 수성 궤도가 아주 조금씩 도는 세차, 중력에 의해 시간이 느려지는 효과, 그리고 두 천체가 충돌하며 시공간에 일으키는 잔물결인 중력파의 검출(2015년)까지. 순전히 수학적 호기심에서 태어난 리만 기하학이, 자연이 중력을 빚는 바로 그 문법으로 드러난 것이다. 수학과 물리학의 세계가 이렇게 맞아 떨어지는 것은 아무리 봐도 신기한 일이고, 두고두고 곱씹어 볼 만하다.

현대 기하학의 모습

비유클리드 기하학과 리만의 일반화를 지나며, 기하학은 ‘공간 속 도형을 다루는 학문’이라는 좁은 울타리를 벗어나 여러 갈래로 무성하게 뻗어 나갔다.

미분기하학(differential geometry)은 리만 기하학에서 파생된 분야로서, 다양체와 곡률, 그 위의 미분 구조를 다룬다. 일반상대성이론은 물론 게이지 이론까지, 현대 물리학의 뼈대 언어다.
위상수학(topology)은 푸앵카레가 기초를 닦은 분야로, 늘이고 구부려도 변하지 않는 성질, 즉 연결되어 있는지, 구멍이 몇 개인지 같은 것들을 따진다. 거리와 각은 잊고 모양의 본질만 남긴 ‘고무판 위의 기하학’이라 부르기도 한다.
클라인의 에를랑겐 프로그램(Erlangen program, 1872년)은 여러 기하학을 한 관점으로 묶는 길을 제시했다. 각각의 기하학을 ‘어떤 변환들의 모임(군) 아래서 변하지 않는 성질을 연구하는 학문’으로 보자는 것이다. 이로써 기하학은 대수학의 군론과 깊이 맞물렸다.
대수기하학(algebraic geometry)은 다항식으로 정의되는 기하학적 대상을 연구하며, 정수론과도 단단히 얽혀 있다. 페르마의 마지막 정리를 증명할 때도 이 분야의 도구들이 사용되었다.

이 흐름은 지금도 진행 중이다. 위상수학의 오랜 난제였던 푸앵카레 추측이 2003년 페렐만에 의해 풀렸는데, 그가 쓴 ‘리치 흐름’이라는 기법부터가 리만 기하학에서 자라난 곡률과 해석학의 산물이다. 100여 년 전 평행선 하나를 의심하며 시작된 줄기가, 여전히 수학의 최전선에서 새 정리들을 길어 올리고 있는 셈이다.

여정을 마치며

지금까지 우리는 유클리드의 공준에서 출발해, 평행선 공준을 둘러싼 2천 년의 고민, 비유클리드 기하학의 발견, 리만의 기하학, 그리고 그것이 일반상대성이론에서 활용되는 과정을 따라왔다. 이 여정에서 가장 인상적인 대목은, 가장 큰 도약이 새로운 사실을 보태는 데서 시작한 것이 아니라 ‘당연한 것을 의심하는 데’에서 나왔다는 점이다. 아무도 건드리지 않던 평행선 공준을 손에서 내려놓는 순간, 하나뿐이던 기하학이 무수히 많은 세계로 갈라졌다.

더불어 순수한 수학적 탐구가 어떻게 현실과 맞닿는지도 보았다. 리만이 응용을 염두에 두지 않고 펼친 휘어진 공간의 이론이, 반세기 뒤 우주의 중력을 기술하는 언어가 됐다. 기하학은 수학의 여러 분야를 떠받치는 기초이면서, 동시에 그 자체로 깊이를 지닌 살아 있는 연구 대상이다. 우리가 발 딛고 선 이 공간이 정말 평평한지, 아니면 어딘가 미묘하게 휘어 있는지, 이 오래된 물음에 마음이 끌린다면, 기하학의 세계로 한 발 더 들어가 보는 건 어떨까.

🍭