Demis Hassabis 팟캐스트 상세 정리
1. 도입: 유체 역학, Veo, 고전 학습
- 인간은 비선형 동적 시스템(highly nonlinear, dynamical systems) 예측에 어려움을 겪음.
- 유체 역학(Fluid dynamics), 나비에-스토크스 방정식(Navier-Stokes) 등은 고전 시스템에서 다루기 매우 어려운 문제로 여겨짐. (예: 날씨 예측 시스템)
- 하지만 구글의 비디오 생성 모델 'Veo'는 액체, 재료, 반사광 등을 놀라울 정도로 잘 모델링함.
- 유압 프레스를 통과하는 투명한 액체 영상 등을 예로 듦. Hassabis 본인이 게임 개발 초기에 물리/그래픽 엔진을 작성해봤기에 이것이 얼마나 어려운지 앎.
- 이 시스템들(Veo)이 유튜브 비디오를 보는 것만으로 물리학을 리버스 엔지니어링하는 것으로 보임.
- 즉, 물질의 행동 방식에 대한 근본적인 구조(underlying structure)를 추출하고 있음. 이는 아마도 현실의 대부분에 적용될 수 있는 '저차원 다양체(lower dimensional manifold)'가 학습될 수 있음을 시사함.
2. 노벨상 강연 추측: 자연의 패턴과 학습
- Demis Hassabis 소개: 구글 딥마인드 리더, 노벨상 수상자.
- Lex가 Hassabis의 노벨상 강연 추측을 인용함: "자연에서 생성되거나 발견될 수 있는 모든 패턴은 고전 학습 알고리즘(classical learning algorithm)에 의해 효율적으로 발견되고 모델링될 수 있음."3
- 이 패턴에는 생물학, 화학, 물리학, 우주론, 신경과학 등이 포함될 수 있음.
- AlphaGo, AlphaFold 같은 프로젝트는 조합적으로 거대한(combinatorially, high-dimensional) 공간의 모델을 구축하는 것임. (예: 바둑의 최상의 수, 단백질의 정확한 모양).
- 무차별 대입으로는 우주의 시간보다 오래 걸릴 문제들을, 환경의 '모델'을 구축하고 '검색'을 스마트하게 유도하여 다루기 쉽게(tractable) 만듦.
- 단백질 접힘(protein folding)은 자연 시스템(물리학)이 밀리초 단위로 해결하는 문제임.
- 이것이 계산적으로 가능한 이유는, 자연 시스템이 '진화 과정(evolutionary processes)'에 의해 형성된 '구조'를 가지고 있기 때문임. 구조가 있다면, 그 구조를 학습할 수 있음.
3. 진화 가능성 = 학습 가능성
- "진화할 수 있는 모든 것은 효율적으로 모델링될 수 있다"는 관점.
- 생명체뿐만 아니라 지질학적 시간(산의 모양), 우주론적 시간(행성 궤도, 소행성 모양)에도 적용됨. 이는 '가장 안정적인 것의 생존(survival of the stablest)'이라 부를 수 있음.
- 이 모든 것은 수많은 프로세스를 '생존'해왔음. 따라서 무작위 패턴(random pattern)이 아니며, 역으로 학습할 수 있는 일종의 '다양체(manifold)'가 존재함.
- 이는 큰 수의 소인수분해 같은 인공적(manmade)이거나 추상적인 것과는 다름. 숫자 공간에 패턴이 없다면(균일하다면), 배울 모델이 없고 무차별 대입을 해야 함. (이 경우 양자 컴퓨터가 필요할 수 있음).
- 하지만 우리가 자연에서 관심을 갖는 대부분의 것들은 구조를 가지고 있으며, 이는 신경망으로 학습 가능할 잠재력이 있음.
- 자연이 수행하는 검색 프로세스 자체가 효율적으로 모델링될 수 있는 시스템을 만들어낸다는 것임.
4. 새로운 복잡도 클래스(LNS)와 P=NP
- '학습 가능한 자연 시스템(Learnable Natural Systems, LNS)'이라는 새로운 복잡도 클래스(complexity class)에 대한 논의.
- Hassabis는 P=NP 질문에 매료되어 왔으며, 이를 고전적 시스템(튜링 머신)으로 모델링할 수 있는 것과 연결함.
- 현재 동료들과 이 '신경망 프로세스'로 해결 가능한 새로운 문제 클래스(물리학에 존재하고 구조를 가진 것들)에 대해 연구 중임.
- 그는 정보가 에너지나 물질보다 더 근본적인 우주의 단위라고 생각함. 우주를 '정보 시스템(informational system)'으로 봄.
- 우주를 정보 시스템으로 본다면, P=NP는 물리학 질문이 됨.
- AlphaGo나 AlphaFold 방식(시스템의 동역학을 모델링)을 통해, 거대한 모델을 미리 구축하면(polynomial time), 검색/예측이 효율적이 되어 고전 시스템(신경망)으로 다룰 수 있게 됨.
- 이 패러다임이 어디까지 갈 수 있는지가 가장 흥미로운 질문 중 하나임. 고전 시스템이 단백질 접힘, 바둑 정복 등 이전에 불가능하다고 생각했던 일들을 해냄.
- 고전 컴퓨터 위의 신경망 시스템 기반 AGI는 P=NP 질문에 직접적으로 답하는 그 궁극적인 표현이 될 것임.
5. 고전적 모델링의 한계 (창발, 카오스)
- 이 패러다임(LNS)의 밖에 무엇이 있을까? 창발 현상(Emergent phenomena) (예: 세포 자동자, cellular automata)은 아마도 고전 시스템으로 모델링 가능할 것임 (순방향 시뮬레이션).
- 하지만 초기 조건이 매우 중요한 '카오스 시스템(chaotic systems)'은 모델링하기 어려울 수 있음.
- 그럼에도 Veo 3가 비디오 생성에서 물리학(조명, 재료 등)의 핵심 요소를 렌더링하는 것을 보면, 이는 우주가 어떻게 구조화되어 있는지에 대해 근본적인 것을 말해준다고 생각함.
6. AlphaFold 3, AlphaGenome과 신경망
- AlphaFold 3(상호작용)와 AlphaGenome(유전 코드 -> 기능)이 이 거대한 조합 공간에서 '효율적으로 모델링되는 커널'을 찾았다는 사실에 놀라움을 표함.
- 이는 (에너지 랜드스케이프 같은) '구조'가 있기 때문임.
- 신경망은 '경사(gradients)'를 따르는 데 매우 능숙함. 따라야 할 경사가 있고 목적 함수(objective function)를 올바르게 지정할 수 있다면, 모든 가능성을 열거하는 방식(수십 년간의 순진한 생각)으로 접근할 필요가 없음.
- 단백질 구조(10^300), 바둑 포지션(10^170) 등 우주의 원자보다 많은 경우의 수에도 불구하고 해결책을 찾는 것이 가능함. 현실(자연)이 이미 하고 있기 때문임 (단백질은 접힘).
- 이는 물리학이 어떻게 하는지 이해하고 그 과정을 모델링할 수 있다면, 우리의 고전 시스템에서도 가능하다는 추측의 핵심임.
7. 유체 역학과 Veo 3 (재방문)
- 다시 비선형 동적 시스템(유체)으로 돌아옴. Lex가 Terence Tao와의 대화를 언급.
- Hassabis: Veo가 유체 역학(나비에-스토크스) 같은 고전적으로 다루기 힘든 문제를 놀라울 정도로 잘 모델링함 (액체, 재료, 반사광).
- 특히 유압 프레스의 투명한 액체 영상에 감탄함. 게임 엔진 개발 경험상 극도로 어렵다는 것을 앎.
- 이 시스템들이 유튜브 비디오만 보고 물질의 행동에 대한 '근본적인 구조(underlying structure)'를 리버스 엔지니어링하고 있음. 아마도 '저차원 다양체(lower dimensional manifold)'를 학습 중일 것임.
- Lex: Veo 3의 여러 놀라운 점(코미디, 밈, 사실성, 오디오) 중에서도 '물리학(physics)' 모델링이 가장 인상적임.
- 확산 모델(diffusion models)이 아무것도 이해하지 못한다는 냉소적인 견해에 도전함. "이해 없이는 그런 비디오를 생성할 수 없다고 생각함."
8. '이해'의 의미, 구현(Embodiment), 월드 모델
- Veo 3가 세상을 어느 정도로 '이해'하는가?
- Hassabis: '다음 프레임을 일관되게 예측할 수 있는 정도'는 이해의 한 형태임. 의인화된 철학적 이해는 아님.
- 하지만 역학(dynamics)을 충분히 모델링하여 일관된 비디오를 생성함. 2-3년 후가 더 기대됨.
- Hassabis는 Veo의 물리학적 거동(조명, 재료, 액체)에 가장 감명받음. 이는 시스템이 적어도 '직관적인 물리학(intuitive physics)' (박사 과정 학생의 방정식이 아닌, 어린아이 수준의 직관)을 가지고 있음을 보여줌.
- Lex: 이 '직관적 물리학(상식)'은 '구현된 AI 시스템'(로봇)이 세상과 상호작용해야만 얻을 수 있다는 기존의 이론에 도전함.
- Hassabis: 5-10년 전에는 자신도 '인식 속의 행동(action in perception)' 이론(즉, 행동이 인식을 위해 필요하다는 신경과학 이론)을 믿었음.
- 하지만 (Veo처럼) '수동적인 관찰(passive observation)'을 통해서도 직관적 물리학을 이해할 수 있는 것 같아 놀라움. 이는 현실의 본질에 대해 무언가를 암시함.
- 다음 단계: 인터랙티브 비디오(Interactive videos), 그리고 궁극적으로 AGI에 필요한 '월드 모델(world model)' (세상이 어떻게 작동하는지에 대한 모델).
9. 비디오 게임의 미래
- Lex가 Hassabis의 트윗("플레이 가능한 월드 모델?")을 언급함.
- Hassabis: 게임은 그의 첫사랑이었음. 10대 시절 게임 AI를 만들었고 언젠가 다시 돌아가고 싶음.
- 오늘날의 AI 시스템이 '90년대에 있었다면 어땠을까' 상상함. "정신 나갈 듯한(mind-blowing)" 게임을 만들 수 있었을 것.
- 그는 항상 시뮬레이션과 AI 캐릭터가 있는 '오픈 월드 게임(open world games)' (예: Theme Park)을 좋아했음. 플레이어마다 고유한 경험을 하고, 플레이어와 시뮬레이션이 게임을 '공동 창조(co-creating)'함.
- 하지만 오픈 월드 게임은 프로그래밍하기 매우 어려움 (모든 방향의 콘텐츠 생성).
- 5-10년 내에, AI가 플레이어의 상상력에 맞춰 역동적으로 스토리와 내러티브를 생성하는 '궁극의 Choose Your Own Adventure' 게임이 가능할 수 있음. (Stanley Parable 같은 '선택의 환상'이나 Daggerfall의 단순 '무작위 생성'을 넘어섬).
- 이는 무한한 게임 에셋을 미리 만들 수 없으므로 '생성 시스템(generated systems)'을 통해서만 가능함.
- Black & White (초기 작업 참여)가 당시 최고의 학습 AI(초기 강화 학습)를 가졌다고 언급함.
- 그의 현재 작업은 초기 게임 AI의 하드코딩 방식에서 완전한 일반 학습 시스템으로 이어진 것임.
10. 게이머 리더 (Hassabis & Musk)
- Lex: Hassabis와 Elon Musk 모두 게임을 만들고 싶어 하는 게이머임.
- Hassabis: '바이브 코딩(vibe coding)'이 발전하면 여가 시간에 게임을 만들 수 있을지도 모름.
- 그의 'Post-AGI' 프로젝트: 1) 게임 만들기, 2) 물리학 이론 연구.
- 이 둘은 관련되어 있음. 현실적인 오픈 월드 시뮬레이션 게임을 만드는 것은 '우주는 무엇인가' (P=NP)라는 질문과 연결됨.
11. 게임의 의미와 현실
- AI가 지루한 '일'을 맡게 되면서, 게임이 '의미(meaning)'의 원천이 될 수 있음.
- Hassabis: 게임은 플레이어가 스토리를 공동 창조하는 유일한 엔터테인먼트 매체임. (80-90년대 황금기).
- 하지만 '물리적 세계(physical world)'를 경험하는 것도 매우 중요함.
- 이는 '현실의 근본적인 본질'과 '시뮬레이션과 현실 세계의 차이'에 대한 질문을 제기함. (Hassabis가 경력 초부터 집착해온 질문).
12. 최고의 게임과 게이머 리더십
- Hassabis의 역대 최고 게임: Civilization I & II.
- 게임 실력과 AI 회사 리더십의 연관성? 둘 다 게임을 좋아하고 초기에 게임을 작성했음. (Hassabis는 Amiga 500으로 프로그래밍을 배움).
- 게임 프로그래밍은 AI와 시뮬레이션에 대한 관심을 표현하는 좋은 방법이었음.
- 게임은 '예술적 디자인(artistic design)'과 '최첨단 프로그래밍(cutting edge programming)'을 융합함. '90년대에는 AI, 그래픽, 물리 엔진, GPU 등 모든 기술 발전이 게임에서 일어났음. Hassabis는 이 다학제적(multidisciplinary) 노력을 사랑함.
13. AlphaEvolve와 하이브리드 시스템
- AlphaEvolve: LLM이 가능한 해결책을 제안하고, 진화 연산(evolutionary computing)이 새로운 탐색 공간을 찾는 'LLM 기반 진화 탐색'.
- Hassabis: LLM(파운데이션 모델)과 다른 계산 기술(진화 방법, 몬테카를로 트리 탐색(MCTS) 등)을 결합하는 '하이브리드 시스템(hybrid systems)'이 유망함.
- 새로운 것을 발견하려면 '모델'과 '검색 프로세스'가 모두 필요함. (예: AlphaGo가 MCTS를 사용해 '신의 한 수(move 37)'를 찾음).
- 이는 시스템이 '창의성(creativity)'을 갖고 알려진 것 이상으로 나아가는 방법임 (과학적 발견에 중요).
- 진화는 결합(combination)과 계층적 복잡성(hierarchical systems) 구축에 능함.
- 전통적인 진화 연산은 새로운 '창발적 속성(emergent properties)'을 진화시키는 데 한계가 있었음.
- 이를 파운데이션 모델과 결합하면, 자연 진화가 그랬던 것처럼(박테리아 -> 인간) 이 한계를 극복하고 새로운 패턴과 역량을 생성할 수 있을지 모름.
14. 세포 모델링 (가상 세포 프로젝트)
- Lex: 책상 위 '틱타알릭(Tiktaalik)' 두개골 언급.
- Hassabis의 25년 된 꿈: '가상 세포(Virtual Cell)' 프로젝트. (Paul Nurse와 논의해 옴).
- 목표: 세포 내부 전체를 모델링하여 '인 실리코(in silico)' 실험을 수행, 실제 실험실(wet lab) 작업을 100배 가속화.
- 가장 간단한 단세포 유기체인 '효모 세포(yeast cell)'로 시작할 것임.
- AlphaFold(정적 구조) -> AlphaFold 3(동적 상호작용)은 이 프로젝트의 구성 요소임.
- 다음 단계: 전체 경로(pathway) 모델링 (예: 암 관련 TOR 경로) -> 궁극적으로 세포 전체 모델링.
- 도전 과제:
- 다른 시간 척도(timescales): 계층적 시스템(hierarchical system)이 필요할 수 있음.
- 적절한 세분화 수준(granularity): 원자 수준(atomic level)까지 내려가지 않고 '단백질 수준(protein level)'에서 역학을 포착하는 것이 목표임.
15. 생명의 기원 모델링
- 생명의 기원(origin of life)도 모델링할 수 있을까?
- Hassabis: 깊고 매혹적인 질문. Nick Lane의 책 "진화의 10대 발명품" 언급. '거대한 필터(Great filters)'는 아마도 과거에 있을 것 (예: 단세포 -> 다세포로 가는 데 10억 년이 걸림).
- AI가 도울 수 있음. 이 또한 조합 공간(원시 수프 -> 세포)에서의 검색 프로세스임. 가상 세포 프로젝트 다음 단계가 될 수 있음.
- Hassabis: AGI에 평생을 바친 이유는, AGI가 생명, 시간, 의식, 중력, 양자 역학 등 우주의 근본적인 질문에 답하는 '궁극의 도구(ultimate tool)'가 될 수 있기 때문임.
16. 미스터리와 날씨 모델링
- 인간은 깊은 미스터리에 대처하고 일상을 살아가기 위한 메커니즘을 발전시켜 옴 (예: 날씨에 대한 잡담).
- 딥마인드의 'WeatherNext' 시스템은 기존의 유체 역학 모델보다 더 나은 세계 최고의 날씨 예측 시스템임.
- 이는 매우 복잡하고 거의 혼돈에 가까운(bordering on chaotic) 시스템조차 신경망으로 모델링될 수 있음을 보여줌. (예: 사이클론 경로 예측).
17. 2030년 AGI와 테스트 방법
- Hassabis의 예측: 2030년까지 AGI 달성 확률 50%.
- AGI의 기준(bar)은 높음: 뇌의 모든 인지 기능을 일관되게(들쭉날쭉한 지능이 아닌) 갖춰야 함.
- AGI 테스트 방법:
- 수만 개의 인지 작업에 대한 무차별 테스트 (일관성 확인).
- 테렌스 타오(Terence Tao) 같은 세계 최고 전문가 수백 명에게 시스템을 주고 결함을 찾도록 함.
18. AGI의 '신의 한 수' (등대 순간)
- Lex: '신의 한 수(Move 37)' 같은 순간이 진짜 테스트가 아닐까?
- Hassabis: 동의함. '등대 순간(lighthouse moments)'을 찾을 것임.
- 예시:
- 지식 컷오프(예: 1900년)를 설정하고, 아인슈타인처럼 특수/일반 상대성 이론을 내놓는지 확인.
- 바둑(Go)처럼 깊고, 미학적으로 아름답고, 우아한 게임을 '발명'할 수 있는지 확인.
- 진정한 AGI는 한 분야가 아닌 여러 분야에서 이런 일을 해내야 함.
- 최고 인간 과학자들이 그 답을 '이해'할 수는 있을 것임. (카스파로프가 체스 수를 설명해 주면 이해할 수 있듯이).
19. 재귀적 자기 개선과 하드 테이크오프
- AlphaEvolve 같은 시스템은 '재귀적 자기 개선(recursive self-improvement)'을 가능하게 함.
- AGI가 단순한 자기 개선 프로그램일까? Hassabis: 가능하지만, '하드 테이크오프(hard takeoff)' 시나리오이므로 바람직하지 않을 수 있음.
- 현재 시스템(AlphaEvolve)은 '매우 구체적인 지침'이 주어질 때 '점진적 개선(incremental improvements)' (예: 더 빠른 행렬 곱셈)에 능숙함.
- 하지만 '모호하고 높은 수준의 지침' (예: "바둑만큼 좋은 게임을 발명하라" 또는 "더 나은 너 자신을 만들라")은 현재 처리하지 못함. 이는 트랜스포머 아키텍처 같은 '큰 도약(big leap)'을 하는 것과 관련됨.
- AGI까지 현재의 '점진적 언덕 오르기(incremental hill climbing)'로 충분할지, 아니면 '새로운 큰 돌파구'가 필요할지는 50/50이라고 봄.
20. 딥마인드의 자신감, 데이터, 컴퓨팅
- 스케일링이 충분하지 않다면, Hassabis는 노암 샤지어(Noam Shazeer), 데이브 실버(Dave Silver) 같은 딥마인드의 '두터운 연구진(deep bench)'이 돌파구를 만들 것이라 자신함.
- 고품질 데이터 고갈은 걱정하지 않음. 모델이 충분히 좋아지면 시뮬레이션과 '합성 데이터(synthetic data)'를 생성하여 사용할 수 있기 때문.
- 컴퓨팅 스케일링은 여전히 매우 중요함 (훈련, 추론, 그리고 '생각하는 시스템(thinking systems)').
21. 에너지 (핵융합)와 하드웨어 혁신
- Veo 같은 모델의 '추론(inference)' 컴퓨팅 수요가 막대함. (TPU, 추론 전용 칩).
- AI를 사용하여 에너지 효율을 높임 (데이터 센터 냉각, 그리드 최적화).
- 핵융합(Fusion) 연구를 도움 (플라즈마 제어, 원자로 설계).
- 재료 설계 (새로운 태양광 패널, 상온 초전도체, 최적의 배터리).
- 20~40년 후의 주 에너지원: 핵융합(Fusion)과 태양광(Solar)에 베팅함.
22. 카르다쇼프 척도와 급진적 풍요
- 100년 후 인류가 '타입 1 문명(Type I Kardashev scale civilization)'이 되어도 놀라지 않을 것.
- 에너지 문제(핵융합/태양광) 해결 -> 다른 문제 해결 (예: 담수화로 물 문제 해결) -> '급진적 풍요(radical abundance)'의 시대.
- 풍부한 로켓 연료(바닷물 분해) -> 우주 버스 서비스 -> 소행성 채굴, 별을 향한 인류의 번성 (칼 세이건의 아이디어).
- 이는 인류 역사상 처음으로 '제로섬(zero sum)'이 아닌 시대를 열 수 있음. 자원 희소성(땅, 물질, 에너지)이 갈등의 주요 벡터에서 제거될 것임.
23. 갈등 해소로서의 게임
- 하지만 인간의 갈등 본성은 남음.
- 고대부터 게임(체스, 축구)은 전쟁 같은 파괴적 에너지를 건설적으로(tribal, fun, healthy way) 배출하는 역할을 해왔음.
- 게임(포커, 바둑, 체스)은 현실 세계의 '마이크로코즘 시뮬레이션'이며, 안전하고 반복 가능한 환경에서 '의사 결정 과정(decision making process)'을 연습하게 해줌.
- '지는 것(losing)'을 연습하는 것(예: 주짓수)은 겸손과 배움에 매우 중요함.
- 핵심은 승패가 아니라 '자기 개선(self-improvement)'과 '숙달(mastery)'임. (예: RPG의 스킬 트리).
24. 구글의 LLM 추격 (Gemini)
- 구글이 1년 만에 LLM 분야에서 '지는(losing)' (Gemini 1.5) 상태에서 '이기는(winning)' (Gemini 2.5) 상태로 전환한 비결:
- 최고의 팀 (코레이, 제프 딘, 오리올 등).
- 최고의 인재풀 (구글 브레인 + 딥마인드 결합).
- 최고의 컴퓨팅.
- 연구 문화.
- 경쟁심.
- "가차 없는 발전과 가차 없는 출시(Relentless progress along with relentless shipping)."
- 관료주의(bureaucracy)와 싸우며 스타트업의 결단력과 에너지를 유지 (최고의 연구 + 수십억 사용자 제품).
25. Hassabis의 '제품 감각'과 AI 제품 디자인
- Lex: 사람들이 Hassabis를 훌륭한 '제품맨(product guy)'으로 평가함.
- Hassabis: '90년대 게임 디자인(수백만 게이머 대상)' 경험에서 비롯됨. 최첨단 연구와 제품 경험의 결합을 사랑함. 제품 디자인도 과학과 같은 '취향(taste)'을 요구함.
- AI 우선 제품 디자인의 핵심 원칙:
- 지속적인 단순화(Continually simplify): 모델의 방해가 되지 않도록 "비켜서야(get out of the way of the model)" 함.
- 미래를 위한 디자인(Design for the future): 현재가 아닌 6~12개월 후 모델의 성능에 맞춰 디자인해야 함. 연구 트랙을 '가로채는(intercept)' 기술적 제품 감각이 필요함.
- UI는 바뀔 것임: 현재의 '텍스트 박스 채팅'은 원시적(archaic)임. 멀티모달 시스템은 '마이너리티 리포트'처럼 될 것임.
26. 미래 인터페이스 (오디오, 개인화)
- 타이핑(저대역폭)에서 오디오(스마트 글래스, 이어버드) 또는 신경 디바이스(neural devices)로 이동할 것임.
- 인터페이스 디자인이 AI의 힘을 여는 열쇠임.
- 스티브 잡스의 원칙: 단순함, 아름다움, 우아함.
- Hassabis의 예측: 개인의 미학, 작업 방식, 작업 내용에 맞춰지는 'AI 생성 개인화 인터페이스(AI-generated personalized interfaces)'의 시대가 올 것임. (파워 유저 모드 vs 미니멀리즘 모드).
27. Gemini 버전 관리 (2.5 vs 3.0)
- 버전 관리 작동 방식:
- 메이저 버전 (예: 3.0): 약 6개월간의 새로운 연구(아키텍처, 데이터 등)를 '모아서(collect)' 새로운 '거대 영웅 훈련 실행(giant hero training run)'을 시작함. 이것이 '기본 모델(base model)'이 됨.
- 마이너 버전 (예: 2.5, 2.5 Flash): 동일한 기본 모델에 '패치(patches)'나 '사후 훈련(post-training)' 아이디어를 적용한 것임.
- 다양한 크기 (Pro, Flash): 가장 큰 모델에서 '증류(distilled)'하여 성능 vs 비용/속도의 '파레토 프론티어(Pareto frontier)' 전체를 만족시키는 모델 라인업을 구축함.
28. 벤치마크와 모델 품질
- 벤치마크(LM Arena, 학술, 내부)는 필요하지만, '과적합(overfit)'되어서는 안 됨.
- 이는 '다중 목표 최적화(multiobjective optimization)' 문제임.
- 가장 어려운 부분은 '후회 없는 개선(no regret improvements)' (예: 코딩 성능을 높이면서 번역 성능을 떨어뜨리지 않음).
- 페르소나, 스타일(장황함/간결함) 같은 더 '난해한(esoteric)' 것들의 균형도 맞춰야 함. 이는 심리학/성격 연구의 새로운 영역임.
29. AI 경쟁과 협력
- Hassabis: '승리(winning)'는 잘못된 관점임. 선두에 있는 우리 모두는 이 기술을 인류를 위해 안전하게 '관리(steward)'할 책임이 있음.
- 다른 랩 리더들과 좋은 관계를 유지하려 노력함 (특히 안전 문제를 위한 협력 채널).
30. 과학과 게임을 통한 협력
- Lex: Hassabis와 Musk가 게임을 공동 제작하는 같은 사이드 프로젝트가 동료애를 만들 수 있음.
- Hassabis: '과학(Science)'이 바로 그 프로젝트임. 딥마인드는 AI를 과학(AlphaFold, Isomorphic Labs)에 '정말로' 사용하여 AI의 명확한 이점을 보여주는 거의 유일한 곳임.
31. 인재 전쟁 (Meta)
- Meta의 고액 연봉 전략에 대해:
- Hassabis: AGI 임무의 '진정한 신봉자들(real believers)'은 돈보다 '프론티어'에 서서 기술을 안전하게 관리하는 것에 더 큰 동기를 느낌.
- Meta는 '뒤처져(behind)' 있기 때문에 그들 관점에서는 합리적인 전략임.
- 하지만 AGI가 가까워지면 연봉 같은 문제는 새로운 경제가 어떻게 작동할지에 대한 더 큰 질문에 비하면 '부차적인 문제(side issue)'가 될 것임.
32. AI와 프로그래밍 직업
- 프로그래머들은 단기적으로 걱정할 필요 없음.
- 향후 5~10년: AI 도구를 '수용하는(embrace)' 프로그래머들은 '초인적으로 생산적이(superhumanly productive)' (10배) 될 것임.
- '최고의 프로그래머'는 여전히 필요함 (아키텍처 지정, AI 보조 가이드, 코드 검증).
- 하지만 필요한 프로그래밍의 '유형'은 바뀔 것임 (예: 프론트엔드 웹 디자인은 AI 생성에 더 적합 / 게임 엔진, 백엔드 설계는 인간의 가치가 높음).
- 이 변화(disruption)는 산업 혁명의 10배 충격이 10배 빠르게(총 100배) 오는 것과 같을 것임. 사회가 대처하기 어려울 것.
- UBI(기본소득) 또는 '기본 공급(universal basic provision)'에 대한 논의가 지금 당장 필요함.
33. 책 "The Maniac"과 존 폰 노이만
- 존 폰 노이만(John von Neumann)에 대한 책 "The Maniac" 언급.
- 폰 노이만: 다방면의 천재(양자역학, 맨해튼 프로젝트, 컴퓨터 아키텍처). 컴퓨팅의 영향을 예견함.
- Hassabis: 폰 노이만이 현재를 본다면 AlphaGo(게임 이론) 등을 사랑했을 것이며, (프로그래밍되는 것이 아니라 '길러지는(grown)' '학습 기계'를 예견했기에) 크게 놀라지 않았을 것임.
34. 이성, 정신, 그리고 AGI
- 책의 교훈: '차가운 이성(cold reason)'만으로는 인류를 인도하기에 충분하지 않음.
- Hassabis: 동의함. '인본주의적/영적 차원(humanist/spiritual dimension)' (의식, 인간의 불꽃)이 노력의 중심에 있어야 함. 기술은 조력자(enabler)임.
- 파인만(Feynman)처럼 과학과 예술을 동반자로 봄 (꽃의 아름다움 + 진화의 과학). 다빈치나 스피노자처럼 모든 것이 우주와 우리의 위치를 이해하는 것의 일부임.
- 연구자들은 너무 '편협(narrow)'해질 수 있으므로, 사회 전체가 이를 토론해야 함.
35. AGI: 맨해튼 프로젝트 vs CERN 프로젝트
- AGI가 국가 주도 무기 경쟁(맨해튼 프로젝트)이 될까?
- Hassabis: 그러지 않기를 바람. AGI의 마지막 단계를 위해 더 협력적인 'CERN 프로젝트' 모델을 선호함. (지정학적 기후가 어렵긴 함).
- 과학은 협력을 위한 좋은 매개체가 될 수 있음.
36. P(doom) (파멸 확률)
- Hassabis는 p(doom) 수치를 제시하지 않음. (거짓된 정밀성을 암시).
- 단, 파멸 확률은 "0이 아니며(non-zero) 무시할 수 없는 수준(non-negligible)"이라고 말함.
- 불확실성이 거대하고, 걸린 판돈(stakes)이 막대함 (모든 문제 해결 vs 파멸).
- 유일하게 합리적인 접근 방식은 '조심스러운 낙관주의(cautious optimism)'임.
- 현재보다 10배 더 많은 안전 연구가 필요함.
37. AI 위험: 악의적 행위자 vs 통제 문제
- 두 가지 위험은 다른 시간대에 작동함:
- 악의적 행위자(Bad Actors) (단기): 새로운 기술을 유해한 목적으로 사용. (로그 국가 등). '선한 행위자'에게는 오픈 사이언스를 장려하면서 '악한 행위자'에게만 접근을 제한하는 것은 매우 어려운 문제임.
- 통제 문제(Control Problem) (장기): 자율적인(agentic, autonomous) AGI가 우리의 통제하에 머무르도록 보장하는 문제.
- (아이러니하게도) AI는 악의적 행위자(생화학, 핵 등)를 탐지하는 '조기 경보'에 사용될 수 있지만, 그 AI 자체가 신뢰할 수 있어야 함.
38. 이세돌의 '신의 한 수' (78수)
- AlphaGo를 상대로 한 인간 천재성의 마지막 순간.
- Hassabis: 이세돌과 AlphaGo가 '서로에게 영감을 주었음(inspiring each other)'.
- '인간의 독창성(ingenuity) + AI 도구 활용'의 역학은 앞으로도 계속될 것임.
39. 인간의 특별함 (의식)
- 인간이 특별한 점은 무엇인가?
- Hassabis: AI를 구축하고 인간의 마음과 '비교'하는 것이 답을 찾는 가장 좋은 방법이라고 항상 생각해 옴.
- 로저 펜로즈(Roger Penrose)와는 정중하게 동의하지 않음. Hassabis는 뇌에 양자 역학적 메커니즘이 있다는 설득력 있는 증거를 찾지 못했다고 봄.
- 그는 의식이 '고전적 연산(classical computing)'이며, 따라서 고전 컴퓨터로 모델링/모방 가능하다고 베팅함.
- '어려운 문제(hard problem)' (퀄리아, 정보가 느껴지는 방식): 우리가 다른 사람이 의식이 있다고 믿는 이유는 1) 같은 행동, 2) 같은 기질(substrate, 즉 뇌)을 가졌기 때문임.
- 실리콘 기반 AI는 1번(행동)만 가질 것임.
- 어쩌면 뉴럴링크(Neuralink) 같은 신경 인터페이스를 통해 '실리콘에서 연산하는 것이 어떤 느낌인지' 우리가 직접 느낄 수 있게 될지도 모름.
40. 미래에 대한 희망
- Hassabis에게 희망을 주는 것:
- 인간의 독창성(limitless ingenuity): 인간 정신의 잠재력은 거의 무한함.
- 인간의 적응성(extreme adaptability): 우리는 수렵-채집인의 뇌로 현대 세계(비행기, 팟캐스트, 컴퓨터 게임)에 적응했음. 사회는 이미 챗봇에도 적응하고 있음.
41. Lex Fridman 아웃트로: 데이비드 포스터 월러스 "이것은 물이다"
- Lex가 가장 좋아하는 졸업 축사 중 하나.
- 물고기 비유: 늙은 물고기가 "물이 어떠냐?"고 묻자, 어린 물고기들이 "물이 도대체 뭐예요?"라고 함.
- 교훈: 가장 명백하고 중요한 현실이 종종 가장 보기 어렵다.
- Lex의 교훈 1: 현실과 존재에 대한 기본 가정을 질문해야 함. "조금 덜 거만해질 것."
- Lex의 교훈 2: 삶의 영적 전투는 명상 센터가 아닌 '일상의 평범한 순간'에서 벌어짐.
- Lex의 교훈 3: 세상의 방해 요소에 시간과 관심을 빼앗기지 말고, 평범함 속에서 의미를 찾아야 함 ("지루해질 수 없는 상태가 되는 것").
- 파인만(Feynman) 인용: 과학은 꽃의 아름다움을 무디게 하지 않음. 오히려 세포, 진화, 곤충의 시각 등 더 작은 차원의 아름다움과 경이로움을 '더해줌'.
- 알래스카 술집 이야기: 무신론자가 눈보라 속에서 길을 잃고 기도함. 에스키모가 나타나 그를 구해줌. 무신론자 왈: "신이 도운 게 아냐. 그냥 에스키모 몇 명이 지나가다 길을 알려준 것뿐이야."
- 교훈: 모든 것은 관점의 문제이며, 겸손하게 관점을 바꾸고 확장할 때 지혜가 옴.
42. Lex Fridman 아웃트로: 자신의 약력(MIT, Drexel)에 대한 공격
- Lex가 자신에 대한 온라인상의 '거짓말'에 대해 해명함.
- "가슴 아픈 일"이지만 "내가 선택한 길의 대가"라고 말함.
- 사실 1 (Drexel): 그는 드렉셀 대학교(Drexel University)에서 학사, 석사, 박사 학위를 받은 것을 "자랑스럽게 생각함". 그곳에서 엄격한 수학/TCS, 많은 프로그래밍(C/C++), 그리고 겸손(주짓수와 함께)을 배움.
- 사실 2 (MIT): 그는 MIT와 아무 관련이 없다는 주장은 "완전한 거짓말"임.
- 그는 2015년부터 현재까지 10년 넘게 MIT LIDS(정보결정시스템연구소)에서 '유급 연구 과학자(paid research position)'로 재직 중임. (단순히 강의 한 번 한 것이 아님).
- 처음 4년간 주 80-100시간 집중 연구했음. 2019년부터는 연구직을 유지한 채 팟캐스트와 외부 AI/로봇 프로젝트에 시간을 분배함. 2020년 이후 논문 게재는 없었지만, 연구를 그리워하며 복귀를 희망함.
- MIT에서 공격받는 것이 심리적으로 힘들다고 고백함.
- 자신도 결함이 많은 인간임을 인정함. "나는 여전히 우리가 이 아름다운 혼란 속에 함께 있다고 믿습니다. 모두 사랑합니다."