천체의 운동부터 소립자의 미세한 구조에 이르기까지 이 세계의 현상과 구조를 다루는 물리학에 수학은 절대적 요소이자 근거가 된다.

나에게도 수학은 다른 학문과 구별되는 확실함.. 그리고 보편타당성을 갖는 학문으로 생각되었다. 그래서 일반상대성 이론을 제대로 이해하기 위해 수학과 마주한지 6개월째이다.

 

수학이란 무엇인가?

 

피타고라스가 처음 만들었다는 “mathematics” 수학 이라는 용어는 당시엔 “학문”처럼 배우는 모든 것 이란 광의의 뜻이었다고 한다. 산술로 번역되는 arithmetic 그리고 대수 algebra 와 도형을 다루는 기하학 geometry 등등은 고대문명이후로 각기 발전해온 수학의 분야들이다.

 

그리스문명에서는 본다고 하는 것이 특별한 의미를 갖는다고 한다. 눈에 보이는 것 이상의 명백한 것을 생각하기 힘들 정도로 먼 곳의 나뭇잎이나 자갈까지도 또렷하게 보이는 환경이 있었기에 수학을 기하학으로 사고하는 전통이 발전했다고 한다.

한편 아라비아 수학이 대수중심 이었던 이유는 이슬람교가 철저한 반 우상 숭배의 종교로써 형태 있는 것이 부정되었기 때문이라고 한다.

 

인도에서 0이 수학에 도입되었던 것은 7세기경의 일인데, 다른 글에서 말했듯이 수학사 최대의 사건이었다. 인도는 힌두교와 불교의 영향으로 무에 대한 관념과 사유에 익숙해 있었다.  0이 인도에서 탄생한 것은 아주 자연스런 일이었다.

 

그리스문명은 무의 관념을 부정했다. 예를들어 아리스토텔레스가 “진공은 불가능하다” 라고 단언한 이후, 그 말은 그의 권위에 힘입어 17세기에 토리첼리가 진공의 실체를 보여줄 때까지 2천년동안 서양의 자연과학을 지배했다. 0의 개념이 수학에 받아들여지기 까지는 상당한 저항이 있었는데, 셀 수 없는 양, 있지도 않은 양을 어떻게 셈 한단 말인가?

 

음수에 대해서도 마찬가지 였다. 수학을 기하학의 문제로 사고하는 서양의 전통에서 음수란 작도할 수 없는 수였기 때문이다. 페르마가 살던 시대에도 음수는 수학적 대상에서 제외되어 있었다.

 

지금 우리가 자연스럽게 사용하는 무한이란 개념이 수학에 도입된 것은 비교적 최근의 일이다.

 

최초로 무한을 세어본 남자 칸토어는 자신이 완성한 집합론에서 무한과 무한집합의 개념을 수학의 영역으로 반입한다. 셈하는 것의 본질로써 집합론은 현대 수학의 모든 분야에서 기초를 제공하는 위대한 성과로 인정 받게 된다.

그러나 당시엔 수학계의 주류 크로네커를 비롯한 다른 수학자들로부터 외면 됬으며, 결국 칸토어는 생전에 그 업적을 인정받지 못한다.

 

칸토어를 공격하던 크로네커의 말 “나의 사랑하는 신은 자연수를 창조해 주셨다, 그 외의 수는 모두 인간이 만들었다” 이 말은 정수 이외의 수를 위조품으로 본다는 것이다.

무한은 영원히 계속되는 과정인데 이것을 집합이라는 완결된 개념으로 만들고 그것을 수로 다루는 것을 인정하지 않았던 것이다.

피타고라스 학파와 마찬가지로 이들은 영원히 계속되는 무리수도 수로써 인정하지 않았다.

 

이에 대해 칸토어는 동료였던 데데킨트에게 보내는 편지에서 “수학은 그 본질이 자유에 있다” 라고 절규하기도 하는데, 결국 정신병원에서 생을 마감한다.

 

과연 수는 무엇이며, 수학이란 무엇인가?

 

시대에 따라 또는 문명에 따라 어떤 수체계나 개념이 수학에서 제외되거나 인정되는 가변적인 것이란 말인가? 상식에 반하지만, 역사는 그렇다는 것을 말한다.

그래서 수는 관념이며, 수학은 사상이라고 이 책의 저자는말하고 있다.

 

인문학과 다르게 수학은 계산만 정확히 하면 누구나 인정할 수 밖에 없는 명확하고 보편타당한 답을 도출할 수 있다는 인식이 있다.

이와 비슷하게.. 인문학은 정답이 없는 학문이고 수학에 기초한 자연과학은 그렇지 않다는 통념도 널리 있어왔다.

과연 그럴까? 수학은 의문과 의심의 여지가 없는 확실한 학문인가?

 

19세기가 저물어갈 무렵 수학에 대한 의문과 의혹은 수학자들 사이에서 불거지기 시작했다.

 

칸토어는 생전에 자신이 완성한 집합론에 모순이 있다는 것을 발견한다. 러셀도 무한과 집합론에서 모순을 발견한다. 모든 수학의 기초를 이루는 집합론이 그 근본부터 의심을 받게 된 것이다. 수학자들이 평생을 연구해 왔는데, 이제 와서 그 근본에 문제가 있다면 그로부터 뻗어져 나온 모든 수학적 논리는 붕괴될 것이다.

 

결국 유럽의 수학계는 걷잡을 수 없는 불길한 예감과 위기의 상황에 빠지게 된다. 그런 위기에 맞서 20세기 초반 수학을 다시 엄밀하고 반듯한 토대 위에 재건하려는 시도가 힐베르트의 계획이었다.

 

점, 선, 면, 집합 같은 무정의용어는 순환논법에 빠지지 않기위해 정의하지 않고 사용하는 언어이다. 공리도 마찬가지 이유로 정리하지 않고 자명한 것으로 여겨지는 사실을 모아 기준을 세우는 것이다. 즉 공리는 무증명명제이다.

 

무정의용어와 공리는 누군가 제안하고 이후 모두가 받아들인 하나의 약속이며, 규칙이다.
수학에서 이것을 “공리계”라고 하며, 이를 이용해 증명된 명제를 <정리>라고 한다.
유클리드는 기하학원론에서 10가지 공리로부터 유도되는 정리 460여개를 수록하고 있다.

페아노는 다섯가지의 공리를 통해 "자연수란 무엇인가"란 질문에 답한다. <페아노 공리계>

 

공리계로부터 정리를 유도하는 것을 “공리화”라고 하며, 이것이 힐베르트가 수학을 재건하려고 한 방법이었다. 그런데 유클리드의 기하학과는 달리 힐베르트는 수학에서 외면적인 진리성을 배제한다. 즉 기하학을 산술화하고 기호화 하면 기하학적 의미는 사라지고 산술체계의 논리적 과정이 중요해 진다.

모든 수학이론을 산술체계로 형식화하고 그 형식적 체계의 논리적 엄밀성을 통해 수학을 재건하려고 했던 힐베르트의 노선을 형식주의라고 부른다.

 

이에 따라서 힐베르트 프로그램의 핵심은 산술 체계의 무모순성이 수학적으로 증명되는 것이었다. 수학에 무모순성이라는 확고한 기반을 부여하여 <절대적 진리>로써 수학을 구축하는 것, 그것이 힐베르트 프로그램의 최종적인 목표였던 것이다.  

 

상식적으로 생각해도 수학이 자유이고 사상이며 언어라고 하더라도 생각할 수 있는 모든 것이 수학이 될 수 는 없을 것이다. 수학은 자체로 모순이 없어야 했다.

 

그런데 괴델의 증명은 힐베르트가 바라던 것과 반대의 결과였다. 그 충격적인 결론을 요약하면 다음과 같다.

<긍정도 부정도 할 수 없는 명제가 반드시 존재한다> 제1불완전성 정리.

<산술을 포함하는 형식적 체계의 무모순성은 그 체계 내에서는 증명할 수 없다> 제2불완전성 정리.

 

이것은 힐베르트 프로그램에 대한 사망선고 였다.
괴델의 증명이 모든 수학의 붕괴를 의미하는 것은 아닐 것이다. 그러나 완벽한 이론이나 확실한 진리가 어디까지 가능한 것인가? 라는 근본적인 질문과 고민을 던져준다.

수학에 모순이 없으면, 수학의 무모순성을 수학 그 자체로는 증명할 수 없다는 것.. 이것이야 말로 상식에 반하는 결론이다.

수학이 완전한 이론을 가질 수 없다는 것, 이것은 전지전능한 이론, 궁극의 지식이 가능하지 않다는 의미로 해석 될 수 도 있다. 오펜하이머는 “인간 이성의 한계를 보여준 것”이라고 말했다고 한다.

 

수학바로보기(고중숙)의 저자의 말 “지식의 섬이 커질수록 무지의 바다에 접한 해안선의 길이도 늘어날 것” 이라는 표현이 사뭇 다가온다.

과연 수학은 또 어떠한 모습으로 발전해 갈 것이며, 결국 인간은 이 세계를 완전히 이해할 수 있을 것인가?

 

220여 페이지라는 작은 분량으로 칸토어-힐베르트-괴델로 이어지는 수학의 큰 줄기와 전공자들에게도 어렵다는 괴델의 불완전성 정리를 대중의 용어로 쉽게 풀어내는 책이다.
 

칸토어의 대각선논법과 연속체가설을 명쾌하게 설명한 부분, 그리고 형식주의와 직관주의의 10년 전쟁을 다이나믹하게 그리는 부분은 상당한 재미를 준다.

beetac@naver.com