앙리 푸앵카레는 세 개의 천체가 중력으로 상호작용하는 '3체 문제'를 연구하며 현대 카오스 이론의 기틀을 마련했습니다. 그는 질량이 큰 두 입자 사이에서 움직이는 작은 입자의 궤적이 매우 복잡하게 얽힌다는 사실을 발견했습니다. 당시에는 이를 분석할 수학적 도구나 컴퓨터가 없었기에 푸앵카레는 이 복잡한 궤적을 완전히 규명하지는 못했지만, 그의 통찰은 이후 버코프와 콜모고로프 같은 학자들에게 깊은 영감을 주었습니다. 이는 결정론적 법칙 안에서도 예측 불가능한 복잡성이 존재할 수 있음을 시사하는 중요한 전환점이 되었습니다.

천체 역학의 관점에서 행성의 궤적은 영원히 안정적일 것 같지만, 실제로는 카오스적인 특성을 내포하고 있습니다. 명왕성의 사례를 보면 초기 조건의 아주 미세한 차이가 수억 년의 시간이 흐른 뒤에는 천문학적인 거리 차이로 벌어질 수 있음이 수치 시뮬레이션을 통해 밝혀졌습니다. 스티븐 스메일은 이러한 N-체 문제의 상대적 평형점이 유한한지를 증명하라는 난제를 제시하기도 했습니다. 현재 5체 문제까지는 유한성이 증명되었으나, 일반적인 N개에 대해서는 여전히 수학계의 미해결 과제로 남아 있어 많은 연구자가 도전하고 있습니다.

1963년 기상학자 에드워드 로렌츠는 기상 변화를 설명하는 복잡한 방정식을 단순화하여 세 개의 상미분 방정식으로 이루어진 모델을 고안했습니다. 이 모델을 시뮬레이션하면 나비의 날개 모양을 닮은 '로렌츠 끌개'라는 독특한 궤적이 나타납니다. 초기 조건이 아주 조금만 달라도 시간이 흐름에 따라 두 궤적 사이의 거리는 불규칙하게 멀어지는데, 이것이 바로 우리가 흔히 말하는 '나비 효과'의 실체입니다. 수학자 터커는 2002년에 이르러서야 이 로렌츠 끌개가 실제로 존재함을 엄밀하게 증명해 내며 에드워드 로렌츠의 관찰이 옳았음을 입증했습니다.

카오스의 핵심은 초기 조건에 대한 민감성입니다. 시작은 아주 미세한 차이에 불과할지라도, 시간이 흐르면 결과는 예측할 수 없을 만큼 거대한 차이로 벌어지게 됩니다.

카오스 현상은 복잡한 미분 방정식뿐만 아니라 단순한 인구 모델인 로지스틱 사상에서도 발견됩니다. 리톈옌과 요크는 1975년 '주기가 3이면 카오스다'라는 유명한 정리를 통해 카오스의 수학적 정의를 제시했습니다. 어떤 시스템에서 세 번의 반복 후에 제자리로 돌아오는 주기가 3인 점이 존재한다면, 그 시스템은 반드시 카오스적인 특성을 보인다는 것입니다. 이는 복잡해 보이는 무질서 속에서도 특정한 수학적 조건이 충족되면 카오스가 발생한다는 보편적인 원리를 보여주며, 학계에서 가장 영향력 있는 연구 중 하나로 평가받고 있습니다.

로지스틱 사상에서 매개변수 r의 값을 변화시키면 시스템의 상태가 고정점에서 주기점으로, 다시 카오스 영역으로 변하는 분기 현상이 일어납니다. 카오스 영역에 진입한 시스템은 궤적이 매우 조밀하고 불규칙하게 찍히며 장기적인 예측이 원천적으로 불가능해집니다. 일기예보가 일정 기간을 넘어서면 정확도가 급격히 떨어지는 이유도 대기 운동의 비선형적 카오스 특성 때문입니다. 어쩌면 우리의 인생 또한 수많은 변수가 얽힌 비선형 시스템으로서, 매 순간의 작은 선택이 미래를 바꾸는 예측 불가능한 카오스의 여정일지도 모릅니다.