Before Physics — 논리, 불완전성, 그리고 과학의 기반

암호학은 수학 위에 서 있고, 양자 암호학은 물리학 위에 서 있다. 그런데 수학과 물리학은 무엇 위에 서 있는가? 이 글은 양자역학과 상대성 이론으로 나아가기 전, “참이란 무엇인가”라는 질문에서 출발한다. 수학적 참과 물리적 참은 같지 않다.

수학·논리 vs 물리학

수학과 논리의 세계에서는 두 가지만 요구된다:

1. 공리 집합(Axiom Set)이 무모순적이다 — 공리들 사이에 모순이 없다
2. 논리적 추론 과정이 올바르다 — 각 단계가 타당한 추론 규칙을 따른다

이 두 조건을 만족하면, 도출된 정리(Theorem)는 참이다. 여기서 핵심은 — 수학적 참은 현실에 존재하지 않아도 된다는 것이다. 4차원 구면, 무한 차원 벡터 공간, 비유클리드 기하학 — 이들은 물리적으로 관찰되지 않더라도 수학적으로 참이다.

물리학은 여기에 한 가지를 더 요구한다: 실험적 검증.

수학적 모델이 아무리 아름답더라도, 반복된 실험에서 같은 결과가 나오지 않으면 물리적 참이 아니다. 물리학은 수학 위에 구축되지만, 실험이라는 필터를 통과해야만 비로소 “실재”를 기술한다고 인정된다.

논리 체계는 완전한가?

완전성(Completeness): 모든 참인 명제는 증명을 갖는가?

무모순성(Consistency): $S$와 $\neg S$ 둘 다 증명을 가질 수 없는가?

직관적으로 우리는 둘 다 “당연히 그래야 한다”고 기대한다. 무모순적이지 않으면 체계 안에서 아무 명제나 증명할 수 있어 의미가 없어지고, 완전하지 않으면 참인데 증명할 수 없는 명제가 존재하게 된다.

1931년, 쿠르트 괴델(Kurt Gödel)은 이 기대를 산산조각 냈다.

괴델의 불완전성 정리

제1 불완전성 정리

다음 명제를 생각하자:

정리 A: “이 정리는 증명을 갖지 않는다.”

A에 대해 두 가지 가능성만 존재한다:

경우 1 — A의 증명이 존재한다면: A의 주장(“증명이 없다”)이 거짓이 된다. 거짓인 명제에 증명이 존재하는 셈이므로 무모순성이 깨진다. 우리의 논리 체계가 무모순적이라고 믿는 한, 이 경우는 배제된다.

경우 2 — A의 증명이 존재하지 않는다면: A의 주장(“증명이 없다”)은 사실이다. A는 참이지만 증명이 없는 명제다. 완전성이 깨진다.

결론: 무모순적인 체계라면, 참이지만 증명할 수 없는 명제가 반드시 존재한다.

자기 참조 문제: 괴델 넘버링

“이 정리”라는 자기 참조가 형식 체계 안에서 정당한가? 괴델은 괴델 넘버링(Gödel Numbering) 으로 이를 해결했다.

알파벳으로 표현할 수 있는 모든 문자열에 고유 번호를 부여한다:

$$\lambda_1,\ a_2,\ b_3,\ aa_4,\ ab_5,\ \ldots$$

모든 번호에 대해 “$k$번 정리는 증명을 갖지 않는다”라는 형태의 문장을 구성하면, 어떤 특정 $k$에서 그 문장 자체가 $k$번째 문자열이 된다. 자기 참조가 체계 내부에서 형식적으로 구성 가능한 것이다.

제2 불완전성 정리

제1 정리에서 “체계가 무모순적이라면”이라는 가정을 사용했다. 여기서 한 단계 더 나아간다:

무모순적인 체계는 자신의 무모순성을 증명할 수 없다.

만약 체계가 스스로 “나는 무모순적이다”라고 증명할 수 있다면, 정리 A가 참임을 증명할 수 있게 되고(경우 1을 배제할 수 있으므로), 이는 “증명이 없다”는 A의 주장과 모순된다. 따라서 체계 내부에서 무모순성을 증명하는 것 자체가 불가능하다.

이것은 Halting Problem과 유사한 구조다 — 프로그램이 멈추는지 안 멈추는지를 범용적으로 판별하는 알고리즘이 존재하지 않는 것처럼, 논리 체계가 깨지는지 안 깨지는지를 체계 내부에서 판별할 수 없다. 깨지는 순간을 관찰해야만 깨진다는 사실을 알 수 있다.

오컴의 면도날 (Occam’s Razor)

실험과 일치하는 이론이 여러 개 존재할 때, 어떤 것을 선택해야 하는가?

가장 간결한 이론을 선택하라. — 윌리엄 오컴 (14세기)

공리 집합이 가장 작고, 가정이 가장 적은 이론이 우선한다. 이것은 미학적 선호가 아니다. 불필요한 가정은 틀릴 가능성을 높이고, 반증 가능성을 줄여 과학적 가치를 떨어뜨린다.

예를 들어, 뉴턴 역학과 아리스토텔레스 역학이 일상적 현상을 비슷하게 설명한다면, 더 적은 공리로 더 넓은 현상을 설명하는 뉴턴 역학을 선택한다. 그리고 뉴턴 역학이 설명하지 못하는 현상(수성의 세차 운동, 빛의 속도 불변 등)이 발견되면, 더 간결한 공리에서 이를 설명하는 상대성 이론으로 나아간다.

과학적 원리

물리학이 “참”을 판별하는 세 가지 기준:

존재의 기준: 실험으로 검증할 수 없는 것은 존재하지 않는다. “관측할 수 없지만 존재한다”는 주장은 물리학의 범위 밖이다.

차이의 기준: 실험으로 차이를 검증할 수 없으면, 그 차이는 존재하지 않는다. 측정으로 구별할 수 없는 두 상태는 같은 상태다.

동일성의 기준: 실험으로 구별할 수 없는 두 대상은 실제로 같은 것이다. 이것은 철학적 선택이 아니라 물리학의 작동 원리다.

이 원리들은 양자역학에서 특히 중요해진다. 전자의 “경로”를 관측하지 않으면, 전자는 경로를 갖지 않는다 — 이것이 직관에 반하지만, 과학적 원리의 엄격한 적용이다. “관측하지 않았을 때도 거기 있었을 것이다”라는 고전적 직관은 실험으로 검증할 수 없으므로, 물리학은 이를 기각한다.