[강연] 최적화 이론, 인공지능 시대에 비상하다 1_by 권도현 / 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 첫 번째 이야기 | 8강 ①
인공지능은 현대 과학의 정점으로 불리며, 최근 노벨 물리학상과 화학상을 인공지능 연구자들이 휩쓴 사건은 그 위상을 단적으로 보여줍니다. 과거에는 연구 성과가 인정받기까지 수십 년이 걸리기도 했으나, 인공지능 분야는 불과 몇 년 만에 세계적인 인정을 받을 만큼 혁신적인 속도로 발전하고 있습니다. 이러한 인공지능의 놀라운 퍼포먼스 이면에는 복잡한 문제를 효율적으로 해결하기 위한 수학적 원리가 숨어 있는데, 그 핵심이 바로 최적화 이론입니다. 최적화 이론이란 주어진 제약 조건 아래에서 목적 함수가 최솟값이나 최댓값을 가지는 지점을 찾는 과정을 의미합니다. 예를 들어, 특정 예산과 시간 내에 가장 멀리 이동할 수 있는 경로를 찾는 것이 실생활의 최적화 문제입니다. 수학적으로는 변수와 제약 조건을 설정하고, 이를 만족하는 최적의 해를 구하는 수식으로 표현됩니다. 인공지능 역시 방대한 데이터 속에서 가장 정확한 답을 내놓기 위해 이 최적화 과정을 끊임없이 반복하며 학습을 진행합니다. 최적화의 역사에서 중요한 이정표 중 하나는 18세기 몽주가 제안하고 20세기 칸토로비치가 일반화한 최적 운송 이론입니다. 이는 물류 비용을 최소화하기 위해 자원을 어떻게 배분할 것인가를 다루는 학문으로, 칸토로비치는 이 공로로 노벨 경제학상을 수상했습니다. 오늘날 아마존이나 쿠팡 같은 거대 물류 기업들이 효율적인 배송 시스템을 구축할 수 있는 것도 바로 이 이론 덕분입니다. 자원 배분의 효율성을 극대화하는 수학적 모델은 현대 산업 전반의 수익성과 직결됩니다. 최적화는 물리적 현상을 설명하는 데에도 필수적입니다. 중력이 작용하는 상황에서 공이 가장 빠르게 내려오는 경로를 찾는 '최단 강하 곡선' 문제는 변분법이라는 수학 분야를 탄생시켰습니다. 오일러와 라그랑주는 이 곡선을 나타내는 미분 방정식을 찾아내어 복잡한 함수의 최적점을 구하는 기틀을 마련했습니다. 이러한 고전 역학의 수학적 도구들은 오늘날 인공지능이 복잡한 데이터 분포를 이해하고 예측 모델을 설계하는 데 있어 강력한 기반이 되고 있습니다. 인공지능 모델에서 최적화는 '손실 함수'를 최소화하는 과정으로 구체화됩니다. 손실 함수란 인공지능이 예측한 값과 실제 정답 사이의 오차를 나타내는 지표입니다. 모델이 학습한다는 것은 결국 이 오차를 줄여나가는 과정을 의미하며, 수학적으로는 함수의 기울기를 이용해 최저점을 찾아가는 여정입니다. 오차가 작을수록 인공지능은 더 정확한 판단을 내리게 되며, 이를 위해 수학자들은 더 정교한 목적 함수를 설계하고 효율적인 계산 알고리즘을 개발하는 데 매진하고 있습니다. 오차를 줄이는 대표적인 방법은 '경사하강법'입니다. 이는 마치 안대를 쓴 채 그랜드 캐니언의 가장 깊은 골짜기를 찾아가는 과정과 비슷합니다. 현재 위치에서 지면의 경사를 파악해 가장 가파르게 내려가는 방향으로 한 걸음씩 이동하는 방식입니다. 이때 한 번에 이동하는 거리를 '학습률'이라고 부르는데, 이 값이 너무 작으면 학습 속도가 지나치게 느려지고, 너무 크면 최적점을 지나쳐버리는 문제가 발생합니다. 따라서 적절한 학습률을 설정하는 것이 인공지능 성능의 핵심입니다. 현실의 데이터는 매우 복잡하여 함수의 모양이 단순한 볼록 형태가 아닌 경우가 많습니다. 골짜기를 내려가다 보면 중간에 작은 웅덩이에 빠져 더 이상 내려가지 못하는 '지역 최솟값' 문제에 직면하기도 합니다. 이를 극복하기 위해 현대 인공지능은 무작위성을 도입한 '확률적 경사하강법'과 같은 고도화된 기법을 사용합니다. 수학적 엄밀함과 실험적 최적화가 결합된 이러한 노력들은 인공지능이 인간의 지능을 모방하고 초월하는 데 결정적인 역할을 수행하고 있습니다.
![[강연] 최적화 이론, 인공지능 시대에 비상하다 1_by 권도현 / 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 첫 번째 이야기](https://i.ytimg.com/vi/gkNDL4lkrmc/maxresdefault.jpg)
![[석학인터뷰] 최준일_ 4G, 5G, 6G??? 그래서 그게 뭔데?! | 2020 봄 카오스강연 '첨단기술의 과학'](https://i.ytimg.com/vi/6ZNUepIre2o/maxresdefault.jpg)