최적운송

3 Contents

[강연] 최적화 이론, 인공지능 시대에 비상하다 2_by 권도현 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 두 번째 이야기 | 8강 ②

인공지능 학습의 핵심은 최적의 해를 찾는 과정이며, 이를 위해 확률적 경사하강법(SGD)이라는 기법이 널리 사용됩니다. 기존의 경사하강법이 단순히 가장 가파른 내리막길만을 따라갔다면, 확률적 경사하강법(SGD)은 약간의 무작위성을 부여하여 탐험을 시도합니다. 이러한 무작위성은 학습 과정에서 마주치는 지역 최소해라는 웅덩이에서 벗어날 수 있는 기회를 제공합니다. 때로는 조금 돌아가거나 오르막을 오르는 선택이 결국 더 깊고 낮은 최적점을 찾는 열쇠가 되기도 하며, 이는 복잡한 함수 구조를 가진 인공지능 모델에서 필수적인 전략입니다. 방대한 데이터를 다루는 현대 인공지능에게 효율성은 필수적인 요소입니다. 모든 데이터를 한꺼번에 계산하여 미분하는 방식은 시간과 자원 면에서 불가능에 가깝기 때문입니다. 확률적 경사하강법(SGD)은 데이터를 작은 단위로 쪼개어 학습시키는 방식을 통해 이 문제를 해결합니다. 예를 들어 백만 개의 데이터가 있다면 이를 만 개씩 나누어 순차적으로 학습하며 모델을 업데이트합니다. 이러한 방식의 학습은 연산 속도를 획기적으로 높일 뿐만 아니라, 실제 성능 면에서도 매우 우수한 결과를 보여준다는 것이 여러 사례를 통해 증명되었습니다. 생성형 인공지능의 비약적인 발전 뒤에는 적대적 생성 신경망(GAN)과 같은 정교한 구조가 자리 잡고 있습니다. 이는 생성자와 판별자라는 두 개의 네트워크가 서로 경쟁하며 발전하는 방식입니다. 생성자가 실제와 유사한 이미지를 만들어내면, 판별자는 그것이 진짜인지 가짜인지 구분하려 노력합니다. 이 과정에서 생성자는 판별자를 속이기 위해 더욱 정교한 결과물을 만들어내고, 판별자는 이를 더 잘 잡아내기 위해 날카로워집니다. 이러한 상호 작용은 결국 인공지능이 실사에 가까운 고품질의 데이터를 생성할 수 있게 만드는 강력한 원동력이 됩니다. 수학적 관점에서 생성 모델의 목표는 실제 데이터의 확률 분포와 모델이 생성한 분포 사이의 차이를 최소화하는 것입니다. 이를 위해 최적 운송 이론에서 유래한 '와서스타인 거리'라는 개념이 활용됩니다. 이는 진흙을 구멍에 채우는 택배 문제처럼, 한 분포를 다른 분포로 옮기는 데 드는 최소 비용을 계산하는 방식입니다. 2017년경 정립된 이 이론적 토대는 인공지능이 단순히 데이터를 흉내 내는 수준을 넘어, 수학적으로 정교하게 최적화된 상태에 도달할 수 있도록 돕는 중요한 이정표가 되었으며 대학원생의 연구가 혁신을 일으킨 사례로도 유명합니다. 최근에는 노이즈 상태에서 단계적으로 이미지를 복원해 나가는 확산 모델(Diffusion Model)이 생성형 인공지능의 대세로 떠오르고 있습니다. 이는 한 번에 결과를 내기보다 시간을 쪼개어 미세하게 조정해 나가는 방식으로, 더욱 정밀한 제어가 가능하다는 장점이 있습니다. 인공지능은 이제 아기가 세상을 배우듯 비지도 학습에서 언어 학습으로, 그리고 더 복잡한 추론의 단계로 진화하고 있습니다. 이러한 발전은 인간의 고유 영역이라 여겨졌던 창작과 전문 지식의 영역까지 확장되며 우리 삶의 패러다임을 근본적으로 바꾸고 있으며, 로보틱스와 같은 물리적 영역으로의 확장도 기대되고 있습니다.

권도현

카오스재단카오스강연

수학

[강연] 최적화 이론, 인공지능 시대에 비상하다 1_by 권도현 / 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 첫 번째 이야기 | 8강 ①

인공지능은 현대 과학의 정점으로 불리며, 최근 노벨 물리학상과 화학상을 인공지능 연구자들이 휩쓴 사건은 그 위상을 단적으로 보여줍니다. 과거에는 연구 성과가 인정받기까지 수십 년이 걸리기도 했으나, 인공지능 분야는 불과 몇 년 만에 세계적인 인정을 받을 만큼 혁신적인 속도로 발전하고 있습니다. 이러한 인공지능의 놀라운 퍼포먼스 이면에는 복잡한 문제를 효율적으로 해결하기 위한 수학적 원리가 숨어 있는데, 그 핵심이 바로 최적화 이론입니다. 최적화 이론이란 주어진 제약 조건 아래에서 목적 함수가 최솟값이나 최댓값을 가지는 지점을 찾는 과정을 의미합니다. 예를 들어, 특정 예산과 시간 내에 가장 멀리 이동할 수 있는 경로를 찾는 것이 실생활의 최적화 문제입니다. 수학적으로는 변수와 제약 조건을 설정하고, 이를 만족하는 최적의 해를 구하는 수식으로 표현됩니다. 인공지능 역시 방대한 데이터 속에서 가장 정확한 답을 내놓기 위해 이 최적화 과정을 끊임없이 반복하며 학습을 진행합니다. 최적화의 역사에서 중요한 이정표 중 하나는 18세기 몽주가 제안하고 20세기 칸토로비치가 일반화한 최적 운송 이론입니다. 이는 물류 비용을 최소화하기 위해 자원을 어떻게 배분할 것인가를 다루는 학문으로, 칸토로비치는 이 공로로 노벨 경제학상을 수상했습니다. 오늘날 아마존이나 쿠팡 같은 거대 물류 기업들이 효율적인 배송 시스템을 구축할 수 있는 것도 바로 이 이론 덕분입니다. 자원 배분의 효율성을 극대화하는 수학적 모델은 현대 산업 전반의 수익성과 직결됩니다. 최적화는 물리적 현상을 설명하는 데에도 필수적입니다. 중력이 작용하는 상황에서 공이 가장 빠르게 내려오는 경로를 찾는 '최단 강하 곡선' 문제는 변분법이라는 수학 분야를 탄생시켰습니다. 오일러와 라그랑주는 이 곡선을 나타내는 미분 방정식을 찾아내어 복잡한 함수의 최적점을 구하는 기틀을 마련했습니다. 이러한 고전 역학의 수학적 도구들은 오늘날 인공지능이 복잡한 데이터 분포를 이해하고 예측 모델을 설계하는 데 있어 강력한 기반이 되고 있습니다. 인공지능 모델에서 최적화는 '손실 함수'를 최소화하는 과정으로 구체화됩니다. 손실 함수란 인공지능이 예측한 값과 실제 정답 사이의 오차를 나타내는 지표입니다. 모델이 학습한다는 것은 결국 이 오차를 줄여나가는 과정을 의미하며, 수학적으로는 함수의 기울기를 이용해 최저점을 찾아가는 여정입니다. 오차가 작을수록 인공지능은 더 정확한 판단을 내리게 되며, 이를 위해 수학자들은 더 정교한 목적 함수를 설계하고 효율적인 계산 알고리즘을 개발하는 데 매진하고 있습니다. 오차를 줄이는 대표적인 방법은 '경사하강법'입니다. 이는 마치 안대를 쓴 채 그랜드 캐니언의 가장 깊은 골짜기를 찾아가는 과정과 비슷합니다. 현재 위치에서 지면의 경사를 파악해 가장 가파르게 내려가는 방향으로 한 걸음씩 이동하는 방식입니다. 이때 한 번에 이동하는 거리를 '학습률'이라고 부르는데, 이 값이 너무 작으면 학습 속도가 지나치게 느려지고, 너무 크면 최적점을 지나쳐버리는 문제가 발생합니다. 따라서 적절한 학습률을 설정하는 것이 인공지능 성능의 핵심입니다. 현실의 데이터는 매우 복잡하여 함수의 모양이 단순한 볼록 형태가 아닌 경우가 많습니다. 골짜기를 내려가다 보면 중간에 작은 웅덩이에 빠져 더 이상 내려가지 못하는 '지역 최솟값' 문제에 직면하기도 합니다. 이를 극복하기 위해 현대 인공지능은 무작위성을 도입한 '확률적 경사하강법'과 같은 고도화된 기법을 사용합니다. 수학적 엄밀함과 실험적 최적화가 결합된 이러한 노력들은 인공지능이 인간의 지능을 모방하고 초월하는 데 결정적인 역할을 수행하고 있습니다.

권도현

카오스재단카오스강연

수학

[강연] 2018 필즈상 해설 강연 1일차(KAOS, 고등과학원, 수학동아) _ 박지훈, 하승열 교수 | 2편

수학은 수천 년의 역사를 지닌 학문이지만, 여전히 우리에게 깊은 경외심과 동시에 막연한 두려움을 안겨줍니다. 세계 최고의 수학적 업적에 수여되는 필즈상은 단순히 개인의 천재성을 기리는 자리가 아니라, 인류가 지성의 한계를 어떻게 극복해왔는지를 보여주는 이정표입니다. 수학을 공부하며 마주하는 난해함은 피할 수 없는 과정이지만, 이를 지속적으로 접하며 익숙해지는 과정 자체가 수학적 사고의 핵심입니다. 부분적인 이해에서 시작해 전체적인 통찰로 나아가는 노력은 수학자뿐만 아니라 우리 모두에게 필요한 태도입니다. 2018년 필즈상 수상자인 코처 비르카는 대수기하학의 난제인 '파노 다양체의 유한성'을 증명하며 수학계에 큰 족적을 남겼습니다. 대수 다양체란 다변수 다항식의 해집합으로 이루어진 기하학적 구조를 의미하는데, 그중에서도 차수가 낮은 특수한 다양체를 파노 다양체라 부릅니다. 코처 비르카는 최소 모델 프로그램이라는 도구를 활용하여, 특정한 조건을 만족하는 파노 다양체의 종류가 유한하다는 사실을 밝혀냈습니다. 이는 복잡한 기하학적 대상들을 체계적으로 분류하고 이해하려는 수학자들의 오랜 꿈에 한 걸음 더 다가간 결과입니다. 수학적 발견은 결코 고립된 천재 한 명의 힘으로 이루어지지 않습니다. 코처 비르카의 업적 역시 델 페초와 지노 파노에서 시작되어 이스콥스키흐, 시게후미 모리 등으로 이어지는 거대한 학문적 흐름 위에 서 있습니다. 수많은 수학자가 쌓아 올린 이론적 토대와 협력의 문화가 있었기에 현대의 난제 해결이 가능했던 것입니다. 전 세계의 학자들이 이메일과 논문을 통해 실시간으로 소통하며 아이디어를 주고받는 개방적인 연구 환경은, 현대 수학이 과거보다 더욱 역동적으로 발전할 수 있는 원동력이 되고 있습니다. 또 다른 수상자인 알레시오 피갈리는 '최적 운송 이론'의 대가로 불립니다. 최적 운송 이론이란 자원을 한 분포에서 다른 분포로 옮길 때 비용을 최소화하는 방법을 연구하는 분야입니다. 18세기 가스파르 몽주가 제기한 모래 더미 옮기기 문제에서 시작된 이 이론은, 현대에 이르러 확률론과 편미분 방정식의 결합을 통해 비약적으로 발전했습니다. 알레시오 피갈리는 몽주-앙페르 방정식의 정칙성 문제를 해결함으로써, 추상적인 수학 이론이 실제 물리적 현상을 설명하는 강력한 도구가 될 수 있음을 입증했습니다. 알레시오 피갈리의 연구는 순수 수학의 영역을 넘어 기상학, 유체 역학, 양자 역학 등 다양한 응용 분야에서 빛을 발하고 있습니다. 대기의 흐름을 설명하는 준지균 방정식을 3차원으로 확장하거나, 기하학적 부등식의 안정성을 증명하는 과정에서 최적 운송 이론은 핵심적인 역할을 수행합니다. 이는 복잡한 자연 현상 이면에 숨겨진 단순하고 아름다운 최적화 원리를 찾아내는 과정이기도 합니다. 수학적 통찰이 어떻게 타 학문과 상호작용하며 인류의 지식 지평을 넓히는지 보여주는 대표적인 사례라 할 수 있습니다. 수학의 본질이 문제 풀이에 있는지, 아니면 새로운 이론을 정립하는 데 있는지에 대한 논의는 끊이지 않습니다. 어떤 수학자는 거대한 산을 정복하듯 난제를 해결하는 데 집중하고, 어떤 수학자는 산을 오르기 위한 길을 닦듯 정교한 이론 체계를 구축합니다. 중요한 것은 이 두 가지 접근 방식이 서로 보완하며 수학이라는 거대한 유기체를 성장시킨다는 점입니다. 난제 해결은 이론의 유효성을 검증하는 실험이 되고, 새로운 이론은 이전에 풀지 못했던 문제에 접근할 수 있는 새로운 시각을 제공합니다. 현대 사회에서 기하학을 비롯한 수학 교육의 중요성은 더욱 강조되고 있습니다. 4차 산업혁명 시대의 핵심 기술인 인공지능, 로봇 공학, 자율주행 등은 모두 고도의 기하학적 사고를 바탕으로 합니다. 수학은 단순히 공식을 암기하고 계산하는 학문이 아니라, 논리적인 체계를 세우고 세상을 바라보는 통찰력을 기르는 도구입니다. 학생들이 수학의 어려움에 매몰되기보다 그 이면에 숨겨진 질서와 조화를 발견하며 스스로 생각하는 힘을 기를 때, 비로소 수학은 우리 삶을 풍요롭게 만드는 지적 자산이 될 것입니다.

박지훈, 하승열

카오스재단노벨상/필즈상 해설강연

수학