[강연] 최적화 이론, 인공지능 시대에 비상하다 2_by 권도현 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 두 번째 이야기 | 8강 ②
인공지능 학습의 핵심은 최적의 해를 찾는 과정이며, 이를 위해 확률적 경사하강법(SGD)이라는 기법이 널리 사용됩니다. 기존의 경사하강법이 단순히 가장 가파른 내리막길만을 따라갔다면, 확률적 경사하강법(SGD)은 약간의 무작위성을 부여하여 탐험을 시도합니다. 이러한 무작위성은 학습 과정에서 마주치는 지역 최소해라는 웅덩이에서 벗어날 수 있는 기회를 제공합니다. 때로는 조금 돌아가거나 오르막을 오르는 선택이 결국 더 깊고 낮은 최적점을 찾는 열쇠가 되기도 하며, 이는 복잡한 함수 구조를 가진 인공지능 모델에서 필수적인 전략입니다. 방대한 데이터를 다루는 현대 인공지능에게 효율성은 필수적인 요소입니다. 모든 데이터를 한꺼번에 계산하여 미분하는 방식은 시간과 자원 면에서 불가능에 가깝기 때문입니다. 확률적 경사하강법(SGD)은 데이터를 작은 단위로 쪼개어 학습시키는 방식을 통해 이 문제를 해결합니다. 예를 들어 백만 개의 데이터가 있다면 이를 만 개씩 나누어 순차적으로 학습하며 모델을 업데이트합니다. 이러한 방식의 학습은 연산 속도를 획기적으로 높일 뿐만 아니라, 실제 성능 면에서도 매우 우수한 결과를 보여준다는 것이 여러 사례를 통해 증명되었습니다. 생성형 인공지능의 비약적인 발전 뒤에는 적대적 생성 신경망(GAN)과 같은 정교한 구조가 자리 잡고 있습니다. 이는 생성자와 판별자라는 두 개의 네트워크가 서로 경쟁하며 발전하는 방식입니다. 생성자가 실제와 유사한 이미지를 만들어내면, 판별자는 그것이 진짜인지 가짜인지 구분하려 노력합니다. 이 과정에서 생성자는 판별자를 속이기 위해 더욱 정교한 결과물을 만들어내고, 판별자는 이를 더 잘 잡아내기 위해 날카로워집니다. 이러한 상호 작용은 결국 인공지능이 실사에 가까운 고품질의 데이터를 생성할 수 있게 만드는 강력한 원동력이 됩니다. 수학적 관점에서 생성 모델의 목표는 실제 데이터의 확률 분포와 모델이 생성한 분포 사이의 차이를 최소화하는 것입니다. 이를 위해 최적 운송 이론에서 유래한 '와서스타인 거리'라는 개념이 활용됩니다. 이는 진흙을 구멍에 채우는 택배 문제처럼, 한 분포를 다른 분포로 옮기는 데 드는 최소 비용을 계산하는 방식입니다. 2017년경 정립된 이 이론적 토대는 인공지능이 단순히 데이터를 흉내 내는 수준을 넘어, 수학적으로 정교하게 최적화된 상태에 도달할 수 있도록 돕는 중요한 이정표가 되었으며 대학원생의 연구가 혁신을 일으킨 사례로도 유명합니다. 최근에는 노이즈 상태에서 단계적으로 이미지를 복원해 나가는 확산 모델(Diffusion Model)이 생성형 인공지능의 대세로 떠오르고 있습니다. 이는 한 번에 결과를 내기보다 시간을 쪼개어 미세하게 조정해 나가는 방식으로, 더욱 정밀한 제어가 가능하다는 장점이 있습니다. 인공지능은 이제 아기가 세상을 배우듯 비지도 학습에서 언어 학습으로, 그리고 더 복잡한 추론의 단계로 진화하고 있습니다. 이러한 발전은 인간의 고유 영역이라 여겨졌던 창작과 전문 지식의 영역까지 확장되며 우리 삶의 패러다임을 근본적으로 바꾸고 있으며, 로보틱스와 같은 물리적 영역으로의 확장도 기대되고 있습니다.
![[강연] 최적화 이론, 인공지능 시대에 비상하다 2_by 권도현 | 2024 카오스강연 '세상에 나쁜 수학은 없다' 시즌2 8강 두 번째 이야기](https://i.ytimg.com/vi/zkwdJj8qgpU/maxresdefault.jpg)
![[강연] AI의 역습! 암호가 세상을 구한다 2_by 천정희 / 2024 봄 카오스강연 '세상에 나쁜 수학은 없다' 3강 두 번째 이야기](https://i.ytimg.com/vi/K95MFqP5_V4/maxresdefault.jpg)
![[연구뭐하지?] 하늘을 나는 철새 무리에서 보이는 비평형계 속 특이한 질서_백용주 교수 | 서울대학교 “비평형 통계물리학 연구실”](https://i.ytimg.com/vi/QOkLbJTTsPQ/maxresdefault.jpg)
![[강연] 세상을 바꾼 데이터와 인공지능_by박건웅 l 제 31회 서울대 자연과학 공개강연_"세상을 바꾼 과학, 과학이 여는 미래"](https://i.ytimg.com/vi/80P9NtjZ2hs/maxresdefault.jpg)
![[인터뷰] 박건웅_예측을 넘어 인과관계를 해석하는 데이터 사이언스🧑💻📊🖥️|제31회 서울대 자연과학 공개강연_"세상을 바꾼 과학, 과학이 여는 미래"](https://i.ytimg.com/vi/dTJrEcMkUb4/maxresdefault.jpg)


![[카오스 짧강] 인공지능과 화학_by이주용|2018 가을 카오스 강연 '화학의 미스터리, CheMystery' 9강](https://i.ytimg.com/vi/VfeykBY1dQM/maxresdefault.jpg)
![[질문Q] 알파폴드가 단백질 구조 예측을 잘하는 이유? | 2018 가을 카오스 강연 '화학의 미스터리, CheMystery' 9강](https://i.ytimg.com/vi/yV-UPeakkK0/maxresdefault.jpg)
![[국제천문연맹총회] 8/6 모두를 위한 천문학 by 브라이언 P. 슈미트 교수(Prof. Brian P. Schmidt)](https://i.ytimg.com/vi/oQgvNfN5l0Q/maxresdefault.jpg)
![[질문과 토론의 과학 #11] 🤔데이터과학이란?](https://i.ytimg.com/vi/CoXoXnv8wYQ/maxresdefault.jpg)
![[강연] 초거대 AI와 인간의 뇌 by장병탁ㅣ2021 '대한민국 과학기술대전' 첫번째](https://i.ytimg.com/vi/tZOowQ8zR6c/maxresdefault.jpg)
![[강연] 꽃가루의 움직임에서 검은 백조까지(금융시장에서의 확률과 통계) _ by송성주 ㅣ 2021 가을 카오스강연 '과학의 희열' 10강](https://i.ytimg.com/vi/Yz3dwkQ8Cig/maxresdefault.jpg)
![[연구뭐하지] 홍태경 교수_연세대학교 '지진학및지구물리학연구실' | 서울 한복판에 600m 구멍을 뚫고 있는 이유! 지진으로 이런 것까지..?](https://i.ytimg.com/vi/x7LwTUpX0bk/maxresdefault.jpg)
![[인터뷰] 윤진희_ 산이 좋아 CERN에서 연구 시작했어요! | 2021 가을 카오스강연 '과학의 희열'](https://i.ytimg.com/vi/b4N4rFYCGDw/maxresdefault.jpg)
![[석학인터뷰] 서인석_ 우리 시대에 '확률'이 중요한 이유 | 2021 서울대 자연과학대 공개강연 '불확실한 세계, 그래서 과학'](https://i.ytimg.com/vi_webp/r2kf6EhSPgA/maxresdefault.webp)
![[그림으로 보는 과학뉴스] DALL-E (part1)](https://i.ytimg.com/vi/5vhkKv0supI/hqdefault.jpg)
![[연구뭐하지?] 정성규 교수_서울대학교 '통계적학습이론 연구실' | 통계에도 차원이 있다!?](https://i.ytimg.com/vi_webp/RO8daZJe6d4/maxresdefault.webp)
![[강연] 헬로 딥러닝 : 직관적이고 명확하게 딥러닝을 이해하기 _ by남세동 ㅣ 2020 가을 카오스강연 'Ai X' 9강](https://i.ytimg.com/vi/CRzsi5AgQM8/maxresdefault.jpg)
![[석학인터뷰] 인간과 거의 유사하게 생각할 수 있는 범용인공지능이 가능할까? | 2020 가을 카오스강연 'Ai X'](https://i.ytimg.com/vi/VpPXpiYUBrM/maxresdefault.jpg)
![[강연] 인간지능을 능가하는 인공지능이 출현할 것인가? _ by장병탁 ㅣ 2020 가을 카오스강연 'Ai X' 7강](https://i.ytimg.com/vi/Ajz4B6t28EU/maxresdefault.jpg)
![[석학인터뷰] 장병탁_ 사람의 뇌를 닮은 머신러닝 모델이 한국연구실에서?! | 2020 가을 카오스강연 'Ai X'](https://i.ytimg.com/vi_webp/JhhuvBm5gFY/maxresdefault.webp)
![[석학인터뷰] 최재식_지능에 대한 호기심, 인공지능 개발의 원동력 | 2020 가을 카오스강연 'Ai X'](https://i.ytimg.com/vi_webp/7Czt2xTQNmY/maxresdefault.webp)
![[연구뭐하지?] 김도헌 교수_서울대학교 '양자집적회로 연구실' | 대한민국에서 귀하다는 양자컴퓨터 연구실에서 울려퍼지는 두두둥](https://i.ytimg.com/vi/4eB1DZ4Zttk/maxresdefault.jpg)
![[코로나TALK-10] 코로나시대 빌게이츠가 주목한 분야, 앞으로 노벨상이 유력한 분야_석차옥 교수](https://i.ytimg.com/vi/uogbYwPSsuQ/maxresdefault.jpg)
![[연구뭐하지?] 정연준 교수 _서울대학교 '계산 나노바이오 화학 연구실' | 정말 아까워서 이번만 알려드립니다!! 나만하기 아까운 분야!!](https://i.ytimg.com/vi_webp/rbf9UZF2oiA/maxresdefault.webp)
![[술술과학] 일반인이 알아야 할 AI 상식 : AI의 역사 | 카오스 첨단기술 시리즈(7)](https://i.ytimg.com/vi/BUTP-YsD3nM/maxresdefault.jpg)
![[강연] AI / 머신러닝 _ by오혜연, 강명주 | 2020 봄 카오스강연 '첨단기술의 과학' 3강](https://i.ytimg.com/vi/IfKKBXfQgIM/maxresdefault.jpg)
![[강연] (동시통역)AI and Robot Intelligence _ by다니엘 리|2019 가을 카오스강연 '도대체 都大體'](https://i.ytimg.com/vi_webp/nMqHXOuO22w/maxresdefault.webp)
![[강연] 분자세계 게임의 법칙을 찾아서 _ by석차옥|2018 가을 카오스 강연 '화학의 미스터리, CheMystery' 9강](https://i.ytimg.com/vi_webp/TDV8ahJYuM8/maxresdefault.webp)
![[강연] 디지털인문학과 데이터과학 (5) _ by장원철 | 2018 봄 카오스 강연 '모든 것의 수數다' 4강](https://i.ytimg.com/vi_webp/Jqz3Or5EpHA/maxresdefault.webp)
![[강연] 뇌의 미래와 인공 자아의 탄생 (5) 패널토크 | 2016 봄 카오스 강연 '뇌 - Brain' 10강](https://i.ytimg.com/vi_webp/Ns4GRukBPDE/maxresdefault.webp)