우리는 일상에서 ‘무한’이라는 표현을 사용한다. “하늘에 별이 무한히 많다”, “내 머릿속 상상이 무한하다” 같은 표현 말이다. ‘무한’이라는 단어는 우리의 언어 속에 깊이 자리 잡고 있다. 수학에서도 ‘무한’이라는 개념을 자주 만날 수 있다. “자연수는 무한히 많다”, “직선 위의 점은 무한히 많다”, “이 함수는 무한대로 발산한다” 같은 표현이 그 예이다.
수학에서 다루는 무한은 여러 가지가 있으나, 고등학교 과정에서 만나는 무한은 크게 두 가지로 나눌 수 있다. 하나는 함수의 극한에서 만나는 무한이고, 다른 하나는 집합의 원소의 개수를 나타내는 무한이다. 이 글에서는 후자, 즉 집합의 원소의 개수를 나타내는 무한에 대해 이야기해 보고자 한다.
집합의 원소의 개수가 ‘무한’이라는 말이 무슨 뜻인지 생각해 보자. 자연수와 유리수 중에 어느 것이 더 많을까? 자연수와 실수 중에는 어느 것이 더 많을까? 모두 무한히 많다고 하니 같은 것일까, 아니면 자연수가 아닌 유리수가 있으니 유리수가 더 많은 것일까? 실수의 개수는 어떠할까? 얼핏 듣기에 이런 질문들이 무의미하게 느껴질 수 있다. “무한은 그냥 무한 아닌가?”라고 생각할 수도 있다. 하지만 이 질문은 19세기 말 수학자들을 크게 고민하게 만들었고, 결국 새로운 수학 분야의 탄생으로 이어졌다.
무한의 크기를 비교한다는 것, 그것도 수학적으로 정확하게 비교한다는 것은 어떤 의미일까? 이를 이해하기 위해, 우선 유한한 대상의 개수를 어떻게 비교하는지 생각해 보자. 교실의 의자 수와 학생 수를 비교한다고 생각해 보자. 가장 간단한 방법은 의자의 수와 학생의 수를 각각 세어 비교하는 것이다. 하지만 수를 세지 않고도 비교할 수 있는 방법이 있다. 바로 학생들에게 각자 의자에 앉으라고 한 뒤, 남은 의자나 서 있는 학생이 있는지 확인하는 것이다.
이 방법은 수 개념 없이도 두 집합의 원소의 개수를 비교할 수 있게 해준다. 고대에 양치기들은 이와 비슷한 방식으로 양의 수를 확인했다고 한다. 매일 아침 양을 내보낼 때 조약돌 하나씩을 주머니에 넣고, 저녁에 양을 모을 때 조약돌을 하나씩 꺼내어 남은 조약돌이 있는지 살펴보는 식이었다. 이러한 방식의 비교법이 무한집합의 원소 개수를 비교하는 데에도 중요한 역할을 한다. 두 집합 A와 B가 있을 때, A의 모든 원소를 B의 원소와 하나씩 남김 없이 짝지을 수 있다면, “두 집합의 크기가 같다”라고 말한다. 이와 같이 남김없이 하나씩 짝 지은 것을 수학적으로 ‘일대일 대응’이라고 부른다.
이 개념을 무한집합에 적용해 보면 놀랍게도 자연수 집합과 짝수 집합 사이에 일대일 대응이 존재함을 알 수 있다. 즉 각 자연수 n에 2n이라는 짝수를 대응시키면, 모든 자연수와 모든 짝수가 빠짐없이 하나씩 짝지어진다. 이는 자연수 집합과 짝수 집합의 크기가 같다는 것을 의미한다. 직관적으로는 자연수가 짝수보다 두 배 많아 보이지만, 무한의 세계에서는 그렇지 않다. 더 놀라운 사실은 유리수 집합도 자연수 집합과 크기가 같다는 사실이다. 얼핏 보면 유리수가 자연수보다 훨씬 많아 보이지만, 실제로는 그렇지 않다. 이처럼 자연수, 정수, 유리수 집합의 원소의 수는 모두 같은 크기의 무한이다. 수학자들은 이 크기를 ‘가산무한’이라고 부르고, ‘ℵ₀’이라는 기호로 나타낸다. (‘알레프 널’, 또는 ‘알레프 제로’라고 읽는다.)
이처럼 무한집합들 사이에서도 크기를 비교할 수 있다. 두 무한집합 사이에 일대일 대응이 존재하면 우리는 그 두 집합이 ‘같은 크기’를 가진다고 말한다. 수학적으로 이를 ‘두 집합이 대등하다’ 또는 ‘두 집합이 같은 기수를 가진다’라고 표현한다. 이러한 개념을 통해 우리는 무한의 세계를 좀 더 체계적으로 이해할 수 있다. 하지만 이는 시작에 불과하다. 과연 모든 무한집합의 크기가 같을까? 아니면 서로 다른 크기의 무한이 존재할까?
19세기 말, 독일의 수학자 게오르크 칸토어는 ‘대각선 논법’을 사용하여 실수 집합이 자연수 집합보다 크다는 사실을 증명했다. 만약 실수와 자연수 사이에 일대일 대응이 가능하다고 가정하면, 0과 1 사이의 모든 실수를 한 줄 위에 빠짐 없이 나열할 수 있어야 한다. 자연수를 1부터 빠짐 없이 한 줄로 나열하는 것처럼 말이다. 하지만 칸토어는 이런 나열에서 빠진 실수가 반드시 존재한다는 것을 보였다. 이를 통해 칸토어는 실수 집합이 자연수 집합보다 크다는 것을 증명했다.
칸토어의 발견은 수학계에 큰 충격을 주었다. 무한에도 크기가 다른 종류가 있다니! 칸토어 여기서 한 걸음 더 나아가, 어떤 집합의 멱집합(모든 부분집합의 모임)은 항상 원래 집합보다 크다는 사실을 증명했다. 이를 ‘칸토어의 정리’라고 부른다. 더욱이, 유리수의 조밀성과 연속함수의 성질을 사용하면, 자연수 집합의 멱집합은 실수 집합과 같은 크기를 가짐을 밝힐 수 있다. 그리고 실수 집합의 멱집합은 그보다 더 큰 무한이 된다. 이런 식으로 무한히 큰 무한의 계층이 존재한다.
이제 무한집합의 원소의 개수를 단지 ‘무한’이라고 부르는 것은 적절하지 않아 보인다. 무한집합의 크기도 여러 가지가 있기 때문이다. 수학자들은 자연스럽게 무한집합의 크기에 이름을 붙이고자 시도하였고, 집합의 크기를 나타내는 수에 ‘기수(cardinal number)’라는 이름을 붙였다. 유한집합의 경우, 그 집합의 원소의 개수가 바로 기수가 된다. 그렇다면 무한집합의 기수는 어떻게 될까?
가장 작은 무한집합인 자연수 집합의 기수를 ‘ℵ₀’(알레프 제로)라고 부른다는 것은 이미 언급했다. 여기서 ‘알레프’는 히브리 알파벳의 첫 글자로, 무한을 나타내는 기호로 사용된다. 그렇다면 그 다음으로 큰 무한의 크기는 무엇일까? 놀랍게도 이 질문에 대한 답은 20세기 초 확실하지 않았다. 하지만 수학자들은 이를 ‘ℵ₁’(알레프 원)이라고 부르기로 약속했다. 마찬가지로 그 다음 크기의 무한은 ‘ℵ₂’가 된다. 실수 집합의 기수는 특별히 ‘c’(continuum의 약자)라고 표기한다.
무한집합의 크기에 이름을 붙이는 과정에서 자연수 집합보다 크고 실수 집합보다 작은 크기의 집합이 존재하는지에 대한 의문이 제기되었다. 많은 수학자들은 그러한 집합이 존재하지 않을 것이라고 예상했는데, 이것이 바로 유명한 ‘연속체 가설’이다. 1900년, 수학자 다비드 힐베르트는 이 문제를 20세기에 해결해야 할 23개의 중요한 수학 문제 중 하나로 선정했다. 그러나 이 문제의 해결은 예상을 뛰어넘는 놀라운 결과를 가져왔다.
1938년, 수학자 쿠르트 괴델은 연속체 가설이 그 당시의 표준 집합론(ZFC 공리계)에서 거짓임을 증명할 수 없다는 것을 보였다. 그로부터 25년 후인 1963년, 폴 코언은 연속체 가설이 참임을 증명할 수도 없다는 것을 보였다. 이는 무슨 뜻일까? 간단히 말해, 연속체 가설은 ZFC 수학 체계 내에서는 증명도, 반증도 할 수 없다는 것이다. 이를 ‘기존의 체계로부터 독립적인 명제’라고 표현한다. 즉, 연속체 가설을 받아들이거나 거부하거나, 둘 다 모순 없는 수학 체계를 만들 수 있다는 것이다.
참이라는 사실을 증명할 수 없고, 거짓이라는 사실도 증명할 수 없는 명제가 존재한다니, 놀라운 일이다. 그렇다면 연속체가설 외에 증명과 반증 중 어느 것도 불가능한 명제가 또 존재할까? 괴델은 자연수를 다룰 수 있는 공리계를 바탕으로 하면서 무모순인 수학의 모델에서 증명과 반증이 모두 불가능한 명제가 반드시 도출됨을 증명하였다. 즉, 만약 연속체 가설이 참이 되도록, 또는 거짓이 되도록 수학의 체계를 재조직한다 하더라도, 그와 같이 재조직한 수학의 체계 내에는 연속체 가설 외에, 증명과 반증 중 어느 것도 불가능한 명제가 다시 나타나는 것이다. 이 같은 정리를 괴델의 (제 1) 불완전성 정리라고 부른다. (참고로, 제 2 불완전성 정리는, 자연수를 다룰 수 있는 공리계를 포함하면서 무모순인 모델은 자신의 무모순성을 그 모델 내에서 증명할 수 없다는 진술이다.)
불완전성 정리는 얼핏 보면 수학의 불완전성을 나타내는 것 같다. 하지만 ‘불완전성’이라는 표현이 가지는 무게와는 달리, 이 정리는 ‘자연수 공리계를 포함하고 무모순’이라는 조건을 만족시키는 모델이 ‘증명과 반증 모두 불가능한 명제를 포함한다’라는 단순한 ‘성질’을 가지고 있음을 나타낼 뿐, 수학의 불완전성을 나타내는 것이 아니다. 더욱이 명제논리나 일차논리와 같이 자연수 공리계를 포함하지 않는 모델은 완전성을 가질 수 있다.
만약 수학의 공리계를 치밀하게 조직하여 그 공리계로부터 파생되는 모든 명제를 그 공리계 내에서 증명할 수 있다면, 수학의 모든 정리는 기계적으로(튜링머신의 원리와 같은 방법으로) 증명할 수 있게 된다. 힐베르트는 그것이 가능하다고 믿었고, 치밀한(무모순이면서 완전한) 공리계를 조직하고자 노력하였는데, 이것이 힐베르트 프로그램이었다. 하지만 1931년 괴델이 불완전성 정리를 발표함으로써 힐베르트의 꿈은 무너졌다. 그러나 다른 관점에서 보면, 괴델의 불완전성 정리는 수학의 모든 정리가 기계적으로 증명될 수는 없다는 점을 시사한다. 그러므로 불완전성 정리는 수학의 세계에서 기계가 인간을 완전하게 대체하지 못하며, 인간이 할 일이 남아 있음을 보장하는 희망의 빛과 같다.
인간은 무한의 세계를 탐구하면서 놀라운 발견을 하였다. 서로 다른 크기의 무한이 존재한다는 것, 그리고 그 무한의 계층이 끝없이 이어진다는 것을 알게 되었다. 또한 연속체 가설과 불완전성 정리를 통해 수학의 본질에 대해 더 깊이 이해하게 되었다. 이러한 발견들은 단순히 수학 내에서만 중요한 것이 아니다. 무한에 대한 탐구는 철학, 물리학, 컴퓨터 과학 등 다양한 분야에 영향을 미쳤다. 예를 들어, 현대 컴퓨터 과학의 기초가 되는 계산 가능성 이론은 무한집합의 크기에 대한 연구에서 출발하였다.
파스칼은 “인간은 생각하는 갈대이다”라고 했다. 우리는 유한한 존재이지만, 무한을 생각할 수 있는 능력을 가졌다. 이 능력이야말로 우리를 특별하게 만드는 것이 아닐까? 무한에 대한 탐구는 단순히 수학적 호기심을 넘어, 우리 자신과 우주에 대한 이해를 깊게 만드는 여정이다.
🍭