\[ \newcommand{\complexI}{\mathbf{i}} \newcommand{\imaginaryI}{\mathbf{i}} \newcommand{\cis}{\operatorname{cis}} \newcommand{\vecu}{\mathbf{u}} \newcommand{\vecv}{\mathbf{v}} \newcommand{\vecw}{\mathbf{w}} \newcommand{\vecx}{\mathbf{x}} \newcommand{\vecy}{\mathbf{y}} \newcommand{\vecz}{\mathbf{z}} \]

페르마의 마지막 정리: 여백은 너무 좁았다

by Ariel Daley
41 views

직각삼각형의 세 변 사이에는 피타고라스 정리가 성립한다. 즉 \(\angle C\)가 직각인 삼각형 \(\mathrm{ABC}\)에 대하여 \(a^2+b^2=c^2\)이 성립한다. 특히 직각삼각형 중에는 \(3^2+4^2=5^2\)이나 \(5^2+12^2=13^2\)처럼 세 변이 모두 자연수인 직각삼각형도 있다. 이러한 등식을 만족시키는 자연수 세 쌍 \((a,b,c)\)를 피타고라스 세 쌍(Pythagorean triple)이라 부른다. 피타고라스 세 쌍이 무수히 많다는 사실이 알려져 있다.1홀수 \(m>1\)에 대해 \(\left(m,\ \tfrac{m^2-1}{2},\ \tfrac{m^2+1}{2}\right)\)은 언제나 피타고라스 세 쌍이다. \(m=3\)을 넣으면 \((3,4,5)\)가, \(m=5\)를 넣으면 \((5,12,13)\)이 나온다. \(m\)이 무한히 많으니 세 쌍도 무한히 많다.

이제 자연스럽게 새로운 질문을 하게 된다. 등식 \(a^2+b^2=c^2\)에서 제곱 대신 세제곱이면 어떨까? 네제곱이면 어떨까? 즉 \(x^3+y^3=z^3\)을 만족시키는 자연수가 있을까? 더 일반적으로, \(2\)보다 큰 자연수 \(n\)에 대해 \(x^n+y^n=z^n\)을 만족시키는 자연수 \(x,y,z\)가 존재할까? 누구나 떠올릴 법한 이 질문에 대한 답은 의외로 간단하다. “하나도 없다.” 그런데 이 짧은 답을 밝히는 데에 358년이 걸렸고, 그 과정에서 수학의 거대한 분야가 발전했다. 이 글에서는 그 여정을 따라가 본다. 17세기 페르마가 읽던 책의 여백에 적힌 한 줄의 메모에서 출발해, 무한강하법과 대수적 정수론을 지나, 마침내 전혀 다른 세계에서 건너온 도구를 사용하여 문제가 해결되는 과정까지 살펴보자.

여백에 남긴 메모

이야기는 17세기 프랑스의 피에르 드 페르마(Pierre de Fermat)에서 시작한다. 그는 직업이 법률가였고 수학은 취미로 했다. 그런데 그 ‘취미’의 수준이 당대 누구에게도 뒤지지 않아서, 후대 사람들은 그를 ‘아마추어들의 왕’이라 부르기도 했다. 정수론, 확률론, 해석기하학, 미적분의 초기 아이디어까지 그의 손이 닿지 않은 데가 드물다.

1637년경, 페르마는 고대 그리스 수학자 디오판토스(Diophantus)의 『산술』(Arithmetica)을 읽고 있었다. 마침 피타고라스 세 쌍을 다루는 대목 옆 여백에, 그는 라틴어로 메모를 남긴다. 세제곱수를 두 세제곱수의 합으로, 네제곱수를 두 네제곱수의 합으로 쪼개는 일은 불가능하며, 일반적으로 \(2\)보다 큰 거듭제곱에 대해 그런 분해는 존재하지 않는다는 것이었다. 그리고 그 유명한 문장이 뒤따른다. “나는 이에 대한 경이로운 증명을 발견했으나, 이 여백이 너무 좁아 옮겨 적을 수가 없다.” 이 메모가 350년 넘게 수학자들을 골탕먹이게 될 줄은 본인도 몰랐을 것이다.2이 메모는 페르마 본인이 출판한 것이 아니다. 그가 세상을 떠난 뒤 아들 사뮈엘이 아버지가 책 여백에 남겨 둔 주석들을 모아 1670년에 펴내면서 세상에 알려졌다. 페르마는 다른 명제들도 ‘증명했다’고만 적고 증명은 남기지 않는 일이 잦았는데, 그 대부분은 후대에 옳다고 확인되었다. 하필 이 하나가 가장 끈질긴 난제가 된 것이다.

명제 자체는 간단하게 설명할 수 있다. \(n\)이 \(2\)보다 큰 자연수일 때, \[ x^n+y^n=z^n \] 을 만족시키는 양의 정수 \(x,y,z\)는 존재하지 않는다. 이것이 페르마의 마지막 정리(Fermat’s Last Theorem)이다. ‘마지막’이라는 이름이 붙은 건, 그가 남긴 미해결 주장 가운데 가장 나중까지 풀리지 않았기 때문이다. \(n=2\)일 때는 피타고라스 세 쌍이 무한히 많은데, 지수를 하나만 올려 \(n=3\)이 되는 순간 해가 단 하나도 없어진다는 것이다.

그렇다면 페르마는 정말 증명을 가지고 있었을까? 오늘날 거의 모든 수학자는 ‘아니다’ 쪽으로 본다.3뒤에서 보겠지만, 실제 증명에 동원된 도구는 페르마 시대로부터 수백 년 뒤에야 만들어진 것들이다. 페르마가 그 길을 알았을 리는 없다. 그가 \(n=3\)이나 \(n=5\) 정도에서 통하는 어떤 논증을 모든 \(n\)에 통한다고 잠시 착각했다가, 곧 빈틈을 발견하고 메모를 지우지 않은 채 넘어갔으리라는 게 중론이다. 17세기에는 존재하지도 않던 수학을 써야 풀리는 문제였으니 말이다. 하지만 그 ‘틀린(혹은 없는) 증명’이 남긴 여백 한 칸이, 결과적으로 수학사에서 가장 생산적인 질문 하나를 던진 셈이 되었다.

무한히 내려가는 사다리

페르마의 마지막 정리를 증명하기 위해 모든 \(n\)을 한꺼번에 다룰 필요는 없다. 약간의 변형을 통해 증명해야 할 \(n\)의 범위가 줄어든다. \(2\)보다 큰 자연수는 \(4\)의 배수이거나, 아니면 어떤 홀수인 소수를 약수로 가진다. 그리고 만약 \(n=mk\)로 쪼개진다면, 등식 \(x^n+y^n=z^n\)은 \[ (x^m)^k+(y^m)^k=(z^m)^k \] 으로 다시 쓸 수 있다. 그러니 지수가 \(k\)인 경우에 해가 없다는 것만 보이면, 그 배수인 \(n=mk\)에 대해서도 해가 없다. 결론적으로, \(n=4\)인 경우와 모든 홀수 소수 \(p\)인 경우, 이 둘만 처리하면 정리 전체가 증명된다.4그래서 보통 페르마의 마지막 정리는 “지수가 \(4\) 또는 홀수 소수일 때”에 집중한다. 모든 합성수 지수는 이 두 경우로 환원되기 때문이다.

재미있는 건, 페르마가 실제로 증명을 남긴 단 하나의 경우가 바로 \(n=4\)였다는 점이다. 그는 이를 위해 자기 손으로 다듬은 무한강하법(infinite descent)이라는 기법을 썼다. 아이디어의 골격은 이렇다. 먼저 해가 하나라도 존재한다고 가정한다. 그러면 양의 정수로 이루어진 해들 가운데 어떤 값(이를테면 \(z\))이 가장 작은 해를 하나 고를 수 있다. 그런데 그 해를 가지고 약간의 계산을 거치면, \(z\)가 그보다 더 작은 새로운 해를 만들어 낼 수 있다. 이건 ‘가장 작은 해’를 골랐다는 전제와 정면으로 충돌한다. 더 작은 게 있을 리 없는데 더 작은 게 튀어나왔으니 말이다.

이 모순의 정체를 다르게 표현하면 이렇다. 해가 하나 있으면 반드시 더 작은 해가 따라 나오고, 그 작은 해에서 또 더 작은 해가, 그렇게 끝없이 내려가는 사다리가 생긴다. 그러나 양의 정수는 \(1\) 아래로 무한히 내려갈 수 없다. 내려가는 사다리가 영원히 이어질 수 없으니, 애초에 첫 칸, 곧 해가 존재하지 않았다는 결론이 나온다. 페르마는 이 방식으로 \(x^4+y^4=z^2\)에 양의 정수 해가 없음을 보였는데, 이것은 \(z^2\) 자리에 \(z^4=(z^2)^2\)을 넣을 수 있으므로 \(n=4\)인 경우보다 오히려 더 강한 결과다. 자기 꼬리를 갉아먹으며 스스로 사라지는 이 논법은, 이후 정수론에서 두고두고 쓰이는 무기가 된다.

남은 것은 홀수 소수 \(p\)였고, 여기서부터 수학자들의 진짜 고생이 시작된다. 오일러(Euler)가 1770년경 \(n=3\)인 경우를 해결하였고5오일러의 증명에는 사실 빈틈이 있었다. \(\mathbb{Z}[\sqrt{-3}]\) 같은 확장된 수 체계에서 유일 인수분해가 성립한다고 은연중에 가정했는데, 이 가정이 항상 옳지는 않다. 다행히 \(n=3\)의 경우는 나중에 빈틈을 메워 살려 낼 수 있었다. 하지만 이 ‘유일 인수분해라는 함정’은 곧 더 큰 사고로 이어진다., 프랑스의 소피 제르맹(Sophie Germain)은 특정 성질을 가진 소수들에 대해 증명하는 성과를 거두었다.6제르맹은 여성이 학계에 발붙이기 어렵던 시대에 ‘르블랑 씨(M. LeBlanc)’라는 남성 가명으로 가우스와 편지를 주고받으며 연구했다. 훗날 가우스는 편지의 주인이 여성임을 알고 깊이 탄복했다고 한다. \(p\)와 \(2p+1\)이 모두 소수인 \(p\)를 오늘날 ‘소피 제르맹 소수’라고 부른다. 이어 디리클레(Dirichlet)와 르장드르(Legendre)가 \(n=5\)인 경우를 증명하였고, 라메(Lamé)가 \(n=7\)인 경우를 증명하였다. 그러나 이렇게 하나씩 밝히는 방식으로는 무한히 많은 소수를 영영 따라잡을 수 없었다. 판을 통째로 바꿀 발상이 필요했다.

유일 인수분해라는 함정

1847년, 라메는 파리 학술원에서 페르마의 마지막 정리를 ‘완전히’ 증명했다고 선언한다. 그의 발상은 영리했다. \(\zeta\)를 \(1\)의 원시 \(p\)제곱근, 즉 \(\zeta^p=1\)이면서 그보다 낮은 거듭제곱은 \(1\)이 안 되는 복소수라 하자. 그러면 정수 범위에서는 더 쪼갤 수 없던 좌변이, \(\zeta\)를 끌어들인 확장된 수의 세계에서는 다음과 같이 일차식들의 곱으로 깔끔하게 분해된다. \[ x^p+y^p=(x+y)(x+\zeta y)(x+\zeta^2 y)\cdots(x+\zeta^{p-1}y) \] 이렇게 분해해 두면, 각 인수가 서로 ‘서로소’이고 곱이 \(z^p\)이라는 사실로부터 인수 하나하나가 \(p\)제곱이어야 한다고 논증할 수 있고, 거기서 다시 무한강하로 모순을 끌어낼 수 있을 것처럼 보였다. 객석에 있던 리우빌(Liouville)이 곧바로 손을 들지 않았다면, 학술원은 그날 박수를 칠 뻔했다.

리우빌이 찌른 곳은 단 한 군데였다. “각 인수가 \(p\)제곱이다”라는 단계는 분해의 유일성, 곧 유일 인수분해(unique factorization) 성질에 기반하는데, \(\zeta\)를 더한 그 수 체계에서 유일 인수분해가 성립한다는 보장이 어디 있느냐는 것이었다. 우리에게 익숙한 정수에서는 소인수분해가 순서를 빼면 단 한 가지로 정해진다. 그러나 수의 세계를 넓히면 이 당연한 성질이 깨지는 일이 생긴다. 가장 자주 드는 예가 \(\mathbb{Z}[\sqrt{-5}]\), 즉 \(a+b\sqrt{-5}\) 꼴의 수들이다. 여기서는 \[ 6=2\times 3=(1+\sqrt{-5})(1-\sqrt{-5}) \] 처럼 \(6\)이 본질적으로 다른 두 가지 방식으로 분해되고, 등장한 네 인수는 모두 더 쪼갤 수 없으면서 서로 짝이 되지도 않는다. 분해의 형태가 ‘한 가지’가 아닌 것이다. 라메의 증명은 이 함정을 그대로 밟고 있었다.

이 문제를 정면으로 돌파한 사람이 독일의 에른스트 쿠머(Kummer)이다. 그는 깨져 버린 유일 인수분해를 더 높은 단계에서 되살리는 길을 찾았다. 보통의 ‘수’만으로는 분해가 한 가지로 정해지지 않으니, 거기에 ‘이상수(ideal number)’라고 부르는 새로운 대상을 도입해 수의 세계를 보강한 것이다. 그러면 이 확장된 세계에서는 다시 분해의 유일성이 회복된다. 이 발상은 훗날 데데킨트의 손에서 ‘아이디얼(ideal)’ 이론으로 다듬어지며, 대수적 정수론(algebraic number theory)이라는 거대한 분야의 기반이 된다. 페르마의 문제를 풀려던 시도가, 문제 자체보다 훨씬 넓은 수학의 분야를 새로 연 셈이다.

쿠머는 이 도구를 사용하여 ‘정규소수(regular prime)’라고 부르는 소수들에 대해 페르마의 마지막 정리를 한꺼번에 증명했다.7어떤 소수 \(p\)가 \(\mathbb{Q}(\zeta_p)\)라는 수 체계의 ‘유수(class number)’를 나누지 않을 때 그 \(p\)를 정규소수라 부른다. 유수는 유일 인수분해가 얼마나 깨졌는지를 재는 양으로, 이 값이 \(1\)이면 유일 인수분해가 그대로 성립한다. \(100\) 이하에서 정규가 아닌 소수는 \(37, 59, 67\) 셋뿐이다. 이는 개별 소수에 대하여 하나씩 증명하던 이전 방식과는 차원이 다른 진전이었다. 그러나 정규가 아닌 소수, 곧 ‘비정규소수’가 무한히 많은지조차 당시엔 가늠하기 어려웠고, 비정규소수들은 쿠머의 증명 밖에 있었다. 19세기에 수학자들이 동원할 수 있는 무기로는, 여기까지가 한계였다.

전혀 다른 세계에서 만난 이론

20세기에 들어 문제는 뜻밖의 방향에서 풀리기 시작한다. 등식 \(x^n+y^n=z^n\)을 직접 노려보는 대신, 겉보기에는 아무 상관도 없어 보이는 두 분야가 이어졌다. 그 두 분야가 타원곡선과 모듈러 형식이다.

타원곡선(elliptic curve)은 이름과 달리 타원이 아니라, \[ y^2=x^3+ax+b \] 꼴의 방정식으로 표현되고 특이점을 갖지 않는 곡선이다.8‘타원’이라는 이름이 붙은 건 타원의 둘레를 재는 적분(타원적분)을 연구하다 이 곡선이 등장했기 때문이다. 정작 모양은 타원과 전혀 다르다. 수학에서는 이런 식의 작명이 종종 있다. 단순한 곡선처럼 보이지만, 이 곡선 위의 점들 사이에는 덧셈에 해당하는 연산을 정의할 수 있어서, 점들이 하나의 ‘군(group)’ 구조를 이룬다. 이 풍부한 구조 덕분에 타원곡선은 현대 정수론의 한복판에 놓인 대상이 되었다. 그리고 타원곡선을 다룰 때 핵심이 되는 정보가 하나 있다. 적절한 조건을 만족시키는 소수 \(p\)에 대하여, 이 곡선 위의 점을 \(p\)로 나눈 나머지 세계에서 몇 개나 셀 수 있는지를 따져 \[ a_p=p+1-\#E(\mathbb{F}_p) \] 라는 정수를 모으는 것이다. 여기서 \(\#E(\mathbb{F}_p)\)는 그 나머지 세계에서 곡선 위 점의 개수이다. 소수마다 하나씩 정해지는 이 수열 \(a_2,\, a_3,\, a_5,\, a_7,\,\dots\)이 일종의 타원곡선의 지문 역할을 한다.

한편 모듈러 형식(modular form)은 완전히 다른 곳에서 출발한다. 이것은 복소평면의 위쪽 절반(상반평면) 위에서 정의되는 함수인데, 어떤 변환 군 아래에서 거의 변하지 않는, 극도로 대칭성이 높은 함수다. 너무 대칭적이어서 자유도가 거의 없다 보니, 모듈러 형식 역시 자신만의 수열로 펼쳐 쓸 수 있다. 각 모듈러 형식에는 \[ f=\sum_{n\ge 1} c_n\,q^n \quad \left( q=e^{2\pi i\tau} \right) \] 처럼 계수 \(c_1,\, c_2,\, c_3,\,\dots\)이 딸려 있다. 한쪽은 정수론에서 나온 곡선이고 다른 한쪽은 해석학에서 나온 대칭 함수라, 둘 사이에 관계가 있으리라고는 누구도 쉽게 상상하지 못했다.

그런데 1955년, 일본의 다니야마 유타카(Taniyama)가 한 학회에서 던진 물음이 두 세계를 연결하기 시작한다. 시무라 고로(Shimura)가 이를 정밀하게 다듬고 베유(Weil)가 힘을 보태면서, 다음과 같은 놀라운 추측이 모습을 갖춘다. “유리수 위에서 정의되는 모든 타원곡선은 모듈러다.” 풀어 말하면, 어떤 타원곡선을 가져오든 그 지문 \(a_p\)와 정확히 맞아떨어지는 계수 \(c_p\)를 가진 모듈러 형식이 반드시 존재한다는 것이다. 정수론의 곡선 하나하나가 사실은 해석학의 대칭 함수와 짝을 이루고 있다는, 도무지 그럴 이유가 없어 보이는 깊은 주장이었다. 이것이 다니야마-시무라 추측, 오늘날의 모듈러성 정리(modularity theorem)이다. 당시엔 너무 막막한 추측이라, 증명은커녕 접근법조차 보이지 않았다.

너무 완벽해서 존재할 수 없는 곡선

1984년 독일의 게르하르트 프라이(Frey)가 페르마의 마지막 정리와 다니야마-시무라 추측을 잇는 다리를 놓았다. 그의 발상은 귀류법을 사용한 방법이었다. 만약 페르마의 마지막 정리가 거짓이어서, 어떤 홀수 소수 \(p\)에 대해 \(a^p+b^p=c^p\)을 만족시키는 양의 정수 해 \((a,b,c)\)가 정말 존재한다고 해 보자. 프라이는 이 가상의 해를 재료로 삼아 특별한 타원곡선을 구성하였다. \[ y^2=x(x-a^p)(x+b^p) \] 지금은 이 곡선을 프라이 곡선(Frey curve)이라고 부른다. (‘프라이–엘르구아르슈 곡선’이라고도 부른다.) 핵심은 이 곡선이 보통 곡선이 아니라는 데에 있다. 타원곡선의 성질을 가늠하는 양인 판별식을 계산해 보면 판별식이 \((abc)^{2p}\)의 상수배 꼴이 되어, 매우 독특한 대수적 성질을 갖게 된다. 즉, 이 곡선은 지나치게 매끈한 모양이다.

이 매끈함이 왜 문제인가? 프라이는 이 곡선의 대수적 성질이 너무 좋아서, 만약 이 곡선이 모듈러라면 거기서 딸려 나오는 모듈러 형식이 도저히 존재할 수 없을 만큼 작고 단순한 것이 되어야 한다고 직감했다. 다시 말해 프라이 곡선은 ‘모듈러일 수 없는 곡선’처럼 보였다. 이 직감을 정밀한 명제로 다듬은 것이 세르(Serre)의 ‘엡실론 추측’이고, 그것을 실제로 증명한 사람이 1986년의 켄 리벳(Ribet)이다. 리벳은 프라이 곡선이 만약 존재한다면 결코 모듈러가 될 수 없음을 엄밀하게 보였다.

리벳의 정리가 판도를 바꾸었다. 논리를 이어 붙여 보자. 페르마의 마지막 정리가 거짓이라면 프라이 곡선이 존재하고, 그 곡선은 모듈러가 아니다. 그런데 만약 ‘모든 타원곡선은 모듈러다’라는 다니야마-시무라 추측이 참이라면, 모듈러가 아닌 타원곡선은 애초에 있을 수 없다. 두 진술이 정면으로 부딪히므로, 결국 프라이 곡선은 존재할 수 없고, 따라서 페르마의 마지막 정리는 참이어야 한다. 한마디로, 다니야마-시무라 추측만 증명하면 페르마의 마지막 정리는 따름정리가 된다. 350년 묵은 정수론 난제가, 갑자기 전혀 다른 분야의 거대한 추측 하나로 환원된 것이다.9엄밀히는 모든 타원곡선이 아니라 프라이 곡선이 속하는 ‘반안정(semistable)’ 타원곡선에 대해서만 모듈러성을 증명하면 충분하다. 이 약화된 조건이 와일스가 실제로 공략한 표적이 된다.

와일스의 7년

이 대목에서 앤드루 와일스(Andrew Wiles)가 등장한다. 그는 열 살 무렵 동네 도서관에서 페르마의 마지막 정리에 관한 책을 우연히 집어 들고, 이 단순한 명제에 매혹되었다고 한다.10그 책은 에릭 템플 벨의 『마지막 문제』(The Last Problem)였다고 전해진다. 누구나 이해할 수 있는 문제인데 수백 년간 아무도 못 풀었다는 사실이, 어린 와일스에게는 거부할 수 없는 도전으로 다가왔던 모양이다. 그러나 그는 무모하게 달려들지 않았다. 정수론 연구자로 차근차근 성장했고, 1986년 리벳의 정리로 ‘다니야마-시무라 추측만 풀면 된다’라는 길이 열린 뒤에야 비로소 이 문제에 인생을 걸기로 한다. 그리고 거의 누구에게도 알리지 않은 채, 7년 동안 다락방에 틀어박혀 홀로 연구에 몰두한다. 현대 수학에서 이렇게 오래, 이렇게 비밀스럽게 한 문제에 매달리는 일은 매우 드물다.

와일스의 전략을 한 문단으로 압축하기는 어렵지만, 핵심 발상만 맛보자면 이렇다. 타원곡선과 모듈러 형식은 둘 다 ‘갈루아 표현(Galois representation)’이라는 더 근본적인 대상을 만들어 낸다. 갈루아 표현이란 수의 대칭성을 행렬의 언어로 옮긴 것이라고 보면 된다. 그래서 두 세계가 같은 갈루아 표현을 내놓는다는 것만 보이면, 타원곡선과 모듈러 형식이 짝을 이룬다는 모듈러성을 끌어낼 수 있다. 와일스는 이를 위해, 가능한 갈루아 표현들을 모아 만든 대수적 대상(‘변형환’)과 모듈러 형식들로 만든 대수적 대상(‘헤케 대수’)이 사실은 똑같다는 정리, 이른바 ‘\(R=T\)’ 정리를 증명하는 길을 택했다. 거칠게 말하면, 있을 법한 갈루아 표현의 가짓수와 실제로 모듈러 형식에서 나오는 갈루아 표현의 가짓수를 양쪽에서 따로 세어 그 수가 정확히 맞아떨어짐을 보이는 작업이다. 둘이 같다면 모든 표현이 빠짐없이 모듈러 형식에서 비롯된 것이고, 곧 곡선이 모듈러라는 뜻이 된다.

1993년 6월, 와일스는 케임브리지의 한 연구소에서 사흘에 걸쳐 강연을 한다. 마지막 날, 그는 칠판에 자신의 결과를 적고는 “여기서 멈추겠습니다”라고 말했다. 그 결과의 따름정리가 바로 페르마의 마지막 정리였다. 강연장은 술렁였고, 소식은 곧 일반 신문 1면까지 올랐다. 350년 난제가 드디어 풀린 듯했다.

그런데 출판을 위한 심사 과정에서 빈틈이 드러난다. 증명의 한 핵심 단계에서, 어떤 대상의 크기를 가늠하는 논증에 빈틈이 있었던 것이다.11문제가 된 곳은 셀머 군이라 불리는 대상의 크기를 가늠하는 부분으로, 와일스가 동원한 ‘오일러 계’ 논법이 그 단계에서 충분치 않았다. 심사위원 가운데 한 사람이 이 미묘한 틈을 짚어냈다. 발표 후 거의 일 년 동안, 와일스는 이 틈을 메우려 안간힘을 썼지만 좀처럼 풀리지 않았다. 거의 포기 직전이던 1994년 9월, 그는 예전에 막혔던 접근법과 또 다른 이론(이와사와 이론)을 결합하면 두 방법의 약점이 서로를 정확히 보완한다는 사실을 깨닫는다. 옛 제자 리처드 테일러(Richard Taylor)와 함께 이 마지막 조각을 끼워 맞추면서, 마침내 증명이 완성된다. 이 과정을 실은 두 편의 논문이 1995년에 출판되었고, 페르마가 여백에 메모를 남긴 지 358년 만에 그의 마지막 정리가 마침내 증명된 정리가 되었다.

여백을 채운 것들

지금까지 우리는 페르마의 메모에서 출발해, \(n=4\)인 경우를 잡은 무한강하법, 유일 인수분해라는 함정과 쿠머의 이상수, 그리고 타원곡선과 모듈러 형식을 잇는 과정을 지나 와일스의 증명까지 따라왔다. 돌아보면 가장 인상적인 대목은, 이 문제가 끝내 ‘정면 돌파’로 풀리지 않았다는 점이다. \(x^n+y^n=z^n\)을 직접 증명하던 시도는 한 소수씩 증명하다가 막혔으나, 문제를 전혀 다른 세계의 언어로 통째로 번역한 다음에야 비로소 유효한 증명의 길이 발견되었다. 페르마의 ‘경이로운 증명’은 존재하지 않았지만, 그 존재하지 않는 증명이 던진 질문은 수백 년 동안 수학의 다양한 분야를 발전시키는 길잡이가 되었다.

이 이야기의 진짜 주인공은 어쩌면 정리 그 자체가 아니라, 그것을 풀려다 새로 태어난 것들이다. 무한강하법, 대수적 정수론과 아이디얼 이론, 타원곡선, 모듈러 형식과 갈루아 표현. 페르마의 마지막 정리가 없었다면 이것들이 지금의 모습으로 연구되지 못했을지도 모른다.12덧붙이면, 와일스가 증명한 것은 반안정 타원곡선에 한정된 모듈러성이었다. 모든 타원곡선에 대한 완전한 모듈러성 정리는 2001년 브뢰유, 콘래드, 다이아몬드, 테일러가 와일스의 방법을 확장해 마무리했다. 페르마가 연 길이 그 뒤로도 한참을 더 뻗어 나간 셈이다. 하나의 명제를 증명하려는 노력이, 결과적으로 수많은 분야의 문을 연 것이다.

누구나 한눈에 이해할 수 있는 짧은 식 하나가 358년 동안 인류에게 깊은 수학의 세계를 확장하도록 하는 원동력이 되었다. 그리고 그 식이 정수론과 해석학이라는, 서로 멀찍이 떨어져 있던 두 세계가 실은 한 몸이었음을 드러내는 통로가 되었다는 사실은 두고두고 곱씹어 볼 만하다. 페르마가 여백이 좁다며 적기를 미룬 그 증명은 끝내 나오지 않았지만, 그 빈 여백을 채우려던 사람들의 358년이 수학의 풍경을 통째로 바꿔 놓았다. 정수의 단순한 식 뒤에 이토록 깊은 세계가 숨어 있다는 데에 마음이 끌린다면, 정수론의 문을 한 번 두드려 보는 건 어떨까.

참고문헌

이 글을 쓰며 참고한 자료와, 더 깊이 공부하고 싶은 독자에게 권할 만한 문헌을 함께 모았다. 증명의 세부사항까지 보려면 원논문을 봐야 하지만, 그 전에 해설서로 개괄적인 방향을 감잡는 편이 훨씬 수월하다.

먼저 증명 그 자체를 담은 원논문들이다.

  • Wiles, A. (1995). “Modular elliptic curves and Fermat’s Last Theorem.” Annals of Mathematics, 141(3), 443–551. — 반안정 타원곡선의 모듈러성을 증명해 페르마의 마지막 정리를 증명한 논문이다.
  • Taylor, R., & Wiles, A. (1995). “Ring-theoretic properties of certain Hecke algebras.” Annals of Mathematics, 141(3), 553–572. — 본문에서 말한 증명의 빈틈을 메운 짧은 후속 논문으로, 같은 학술지 호에 나란히 실렸다.
  • Frey, G. (1986). “Links between stable elliptic curves and certain Diophantine equations.” Ann. Univ. Saraviensis, Ser. Math. 1 (1986), 1–40. — 페르마 등식의 해로부터 문제의 타원곡선(프라이 곡선)을 구성하는 발상을 처음 제시했다.
  • Ribet, K. A. (1990). “On modular representations of \(\mathrm{Gal}(\overline{\mathbb{Q}}/\mathbb{Q})\) arising from modular forms.” Inventiones Mathematicae, 100(2), 431–476. — 프라이 곡선이 모듈러일 수 없음을 보였다. 흔히 ‘엡실론 추측’의 증명으로 불린다.
  • Breuil, C., Conrad, B., Diamond, F., & Taylor, R. (2001). “On the modularity of elliptic curves over Q: Wild 3-adic exercises.” Journal of the American Mathematical Society, 14(4), 843–939. — 와일스의 방법을 확장해 반안정 조건을 떼어내고, 모든 타원곡선의 모듈러성(완전한 모듈러성 정리)을 증명했다.

다음은 증명의 구조를 풀어 설명한 해설과 교재다. 위 논문으로 읽기 들어가기 전에 먼저 보면 좋다.

  • Darmon, H., Diamond, F., & Taylor, R. (1997). “Fermat’s Last Theorem.” In J. Coates & S.-T. Yau (Eds.), 『Elliptic Curves, Modular Forms and Fermat’s Last Theorem』 (pp. 2–140). International Press. — 증명 전체의 구조를 한 편으로 정리한 해설. 본문에서 맛만 본 갈루아 표현과 ‘\(R=T\)’가 어떻게 맞물리는지 체계적으로 설명한다.
  • Cornell, G., Silverman, J. H., & Stevens, G. (Eds.). (1997). 『Modular Forms and Fermat’s Last Theorem』. Springer. — 보스턴 대학 학회를 바탕으로 엮은 대학원 수준의 교재. 타원곡선, 모듈러 형식, 갈루아 표현, 변형 이론 등 증명에 쓰인 도구 전반을 설명한다.
  • Edwards, H. M. (1977). 『Fermat’s Last Theorem: A Genetic Introduction to Algebraic Number Theory』. Springer-Verlag. — 무한강하법부터 쿠머의 아이디얼수와 정규소수까지, 본문 전반부에 해당하는 19세기 정수론의 흐름을 역사적 순서로 풀어 쓴 고전이다.

수학이 전공이 아닌 독자에게 권하는 대중서는 다음과 같다.

  • Singh, S. (1997). 『Fermat’s Last Theorem』. Fourth Estate. (미국판 제목: 『Fermat’s Enigma』, 1998.) — 수식을 거의 쓰지 않고 인물과 일화 중심으로 358년의 이야기를 엮은 베스트셀러. 와일스의 연구 기간 이야기와 발표 직후의 사연을 더 자세히 볼 수 있다.

위의 참고문헌 목록 중 번역본으로 확인되는 것은 Singh의 책이다. 대신 같은 주제를 다룬 또 다른 번역 대중서를 함께 적어 둔다. 두 권 모두 부담 없이 읽을 수 있어, 본문을 재미있게 읽은 독자에게 권할 만하다.

  • 사이먼 싱 (지음), 박병철 (옮김). 『페르마의 마지막 정리』. 영림카디널. (원서: Simon Singh, Fermat’s Last Theorem, 1997. 국내 초판 1998, 현재 개정 4판 2022.) — 위 참고문헌의 Singh (1997)을 옮긴 책이다. 인물과 일화 중심으로 358년의 드라마를 엮어, 본문에 담은 사연을 한층 자세히 살펴볼 수 있다.
  • 아미르 D. 악젤 (지음), 한창우 (옮김). 『쉽게 읽는 페르마의 마지막 정리』. 경문사, 2003. (원서: Amir D. Aczel, Fermat’s Last Theorem.) — 싱의 책보다 짧고 간결하게, 고대 바빌로니아에서 와일스까지 이르는 수학사를 빠르게 훑는다. 전체 그림을 가볍게 보기에 좋다.

🍭

Focus Mode