How Fei-Fei Li Is Rebuilding AI for the Real World

제공한 스크립트의 상세 정리 내용임.

영상 초반: 공간 지능과 FFL의 기여

• Fei-Fei Li (이하 FFL): 3D 공간, 마음의 눈 속 공간 등 '공간 지능'은 지성의 핵심 부분임. 이 기술은 로봇, 창의성, 사교, 여행, 스토리텔링 등을 위한 무한한 우주 창조를 가능하게 하며, 우리가 '멀티버스'에 살게 할 것임. 00:00 LWM(대규모 세계 모델)의 중요성을 깨닫는 데 LLM(대규모 언어 모델)의 설득은 필요하지 않았음. 00:23
• Interviewer (이하 Eric): Martin에게 FFL의 AI 기여 요약을 요청. 00:23
• Martin: FFL은 트위터 이사, 구글 임원, World Labs 창업자/CEO 등을 역임. 00:52 가장 중요한 것은 FFL이 AI 방정식에 '데이터'를 독보적으로 도입했다는 점. 현재 데이터는 더 크고 흥미로운 문제로 인식됨. FFL은 'AI의 대모'로 불림. 01:16

World Labs와 '지적 파트너' Martin

• Eric: 왜 Martin을 첫 투자자로 선택했나? 01:16
• FFL: Martin과 10년 이상 알고 지냄 (스탠포드 시절). 01:16 World Labs 구상 시, 단순히 성공한 투자자를 넘어 여정의 부침을 함께하고 통찰력을 제공하며, 특히 '지적 파트너'가 되어줄 '유니콘 투자자'를 찾았음. 01:47 World Labs는 아무도 하지 않은 딥테크 분야이며 세상을 바꿀 것이라 확신함. 02:24 AI와 컴퓨터 과학을 이해하고, 제품/시장/소비자를 알며 매일 소통할 지적 파트너가 필요했음. 02:24

'월드 모델'에 대한 공감

• Martin: FFL은 AI가 세계를 탐색하는 데 필요한 것에 대한 깊은 직관을 갖고 오랫동안 이 아이디어를 구상해 옴. 03:03 한 저녁 식사에서 모두가 LLM에 열광할 때, 자신은 이미지 투자 경험상 이게 끝이 아님을 직감. 03:31 이때 FFL이 "우리에게 빠진 것"으로 "월드 모델"을 언급했고, Martin은 "Yes"라며 깊이 공감함. 03:31 FFL은 이미 1년간 이 문제를 깊이 생각해 온 상태였고, Martin의 직관을 완벽하게 정리해 줌. 03:43
• FFL: 당시 월드 모델 아이디어를 여러 사람에게 말했지만, 대부분 (예의상) 고개만 끄덕일 뿐 이해하지 못했음. 04:00 Martin을 스탠포드로 초대해 "당신의 월드 모델을 정의해달라"고 요청. 04:30 Martin이 '세계의 3D 구조, 형태, 구성성을 진정으로 이해하는 AI 모델'이라고 정의한 것이 FFL의 생각과 정확히 일치했음. 04:53 FFL은 Martin이 이 개념을 진심으로 이해한 유일한 사람이라고 생각함. 04:53

AI 발전과 '언어'의 한계

• Eric: 지난 10년간 AI 발전을 돌아볼 때 가장 놀라운 점은? 05:24
• FFL: AI에 데이터를 도입한 장본인이지만, 데이터 기반 AI가 이토록 발전하고 '생각하는 기계'의 놀라운 창발적 행동을 보이는 것에 여전히 감정적으로 놀람. 05:24
• Eric: 왜 또 다른 파운데이션 모델 회사를 시작했나? 06:02
• FFL: 지적 여정은 '북극성 문제'를 찾는 것. 지난 몇 년간 '언어보다 훨씬 더 많은 것이 있다'고 생각해 옴. 06:02 언어는 강력한 인코딩 수단이지만, 모든 동물이 사는 '3D 물리적 세계'를 인코딩하는 데는 강력하지 않음. 06:27 인간 지능의 많은 부분이 언어를 넘어서며, 언어는 세계를 포착하는 '손실이 많은(lossy)' 방식임. 06:27 또한 언어는 자연에 존재하지 않는 순수 생성물인 반면, 물리적/시각적 세계는 실재하며 진화의 기반이 됨. 06:57 인간 문명은 세계를 '건설'하며 이뤄짐. 이 문제를 풀기 위해 연구를 해왔으나, 이제는 컴퓨팅, 데이터, 인재를 집중하는 '산업 등급의 노력'이 필요한 때라 판단해 World Labs를 시작. 07:31
• Martin: 언어와 공간의 차이를 보여주는 사고 실험: 눈을 가리고 방에 대한 '언어적 묘사'만 듣고 작업을 수행하는 것은 거의 불가능. 08:04 현실은 복잡하고 정확해서 언어는 부정확한 전달 방식임. 08:21 반면, 눈가리개를 벗고 '시각'으로 공간을 보면 뇌가 3D를 재구성해 사물 조작이 가능. 08:21 우리는 소통에 언어를 쓰지만, 실제 세계 탐색은 세계 자체와 3D 재구성 능력에 의존함. 08:49

언어(LLM)가 아닌 공간(LWM)이 먼저인 이유

• Eric: 언어만으로 불충분함을 언제 깨달았나? 08:49
• Martin: 놀라운 점은 (더 어려운) '언어'가 먼저 해결됐다는 사실. 09:03 로보틱스, 자율주행(AV) 같은 '세계 탐색' 문제(본질은 2D)는 20년간 1000억 달러를 투자하고도 겨우 도달. 09:03 그런데 갑자기 LLM이 나타나 언어 문제들을 즉각 해결함. 09:29 FFL이 말했듯, 언어를 다루는 뇌 영역은 최근에 생겨 비효율적이라 컴퓨터가 더 잘할 수 있음. 10:00 하지만 탐색/공간을 다루는 뇌 영역은 수억 년(FFL: 5억 년)간 진화함. 10:00 지금은 진화를 거꾸로 푸는 셈. 언어는 상위 개념(랩톱 클래스 작업)에 중요하지만, 로보틱스 등 물리적 '공간' 문제는 반드시 풀어야 함. 10:15 '생성형 웨이브(Generative Wave)'가 이 문제 해결의 통찰을 줬고, 지금이 그때라고 느낌. 10:31
• FFL: 자신은 항상 비전(Vision) 분야에 있었기에 LWM의 중요성을 확신하는 데 LLM이 필요 없었음. 10:49 LLM의 성공은 오히려 '월드 모델'의 순간이 가까워졌음을 깨닫게 함. 10:49 공간 지능은 언어를 넘어서는 지성의 핵심이며, 고대 동물부터 DNA 이중 나선 구조, 버키볼(Bucky Ball) 발견 11:47 등 인류의 심오한 발견까지 이어짐. 11:19

월드 모델(LWM)의 구체적 적용 사례

• Eric: LWM의 비전이 달성됐을 때 구체적 적용 사례는? 12:18
• FFL:
  1. 창의성: 디자인, 영화, 건축, 산업 디자인 등 고도로 시각적/공간적 영역. 12:35
  2. 로보틱스: 휴머노이드, 자동차 등 모든 '체화된 기계'. 3D 공간을 파악, 훈련, 인간과 협력하는 데 공간 지능이 필수. 13:04
  3. 멀티버스 창조: (가장 흥미로운 점) 인류는 '하나의 3D 세계'(지구)에 살았음. 13:30 이 기술(생성+재구성)은 디지털 가상 세계에 로봇용, 창의성용, 사교용, 여행용 등 '무한한 우주'를 창조하게 함. 13:30
• Martin: LWM은 LLM처럼 '수평적(horizontal)' 기술. 14:37 구체적으로, 이 모델은 2D 뷰(사진)만으로 보이지 않는 뒷면까지 포함된 '완전한 3D 표현'을 컴퓨터 내에 생성. 14:37 2D 사진 한 장으로 360도 전체를 생성(완전 생성형)할 수 있음. 15:28 이는 비디오 게임, 창의성, 디자인, 건축, 로보틱스 등 모든 분야에서 컴퓨터가 3D 표현을 기반으로 작동(조작, 측정, 쌓기)할 수 있게 하는 핵심 기술. 15:08

3D가 필수적인 이유

• Eric: 3D가 지금까지 제대로 평가받지 못했나? 15:49
• FFL: 그렇다. 3D는 어려운 문제. (과거 6살 아이와의 대화 인용) "나무는 왜 눈이 없는가?" -> "움직이지 않기 때문". 16:10 동물의 '움직임'과 '상호작용'이 지각과 공간 지능을 탄생시켰고, 이것이 인간의 삶을 재창조할 것. 16:10
• Eric: 3D여야 하나? 2D는 안 되나? 16:53
• FFL: 물리학, 상호작용, 탐색, 구성은 모두 3D에서 일어남. 근본적으로 3D 문제. 16:53
• Martin: 인간은 2D 비디오를 봐도 머릿속에서 3D로 재구성. 17:28 하지만 로봇(컴퓨터)에게 2D 정보만 주면 Z축(깊이) 정보가 없어 거리 측정, 물건 집기 등 3D 공간 탐색이 불가능. 컴퓨터 프로그램은 3D 정보가 필요. 17:28
• FFL: (개인적 경험) 5년 전 각막 부상으로 몇 달간 '스테레오 비전(입체시)'을 잃음. 17:54 한쪽 눈으로만 보게 되자, 동네에서조차 주차된 차와의 '거리 측정'이 안 되어 운전이 두려웠고 시속 10마일로 기어가야 했음. 18:18 이것이 우리가 스테레오 비전(즉, 3D)을 필요로 하는 이유. 18:54

World Labs와 3D 연구 현황

• Eric: 3D 분야 연구 현황은? (LLM은 대기업 주도) 19:27
• FFL: LLM보다 새로운 분야지만, 컴퓨터 비전에서 조각조각 연구되어 옴. 19:27
  • 3D 컴퓨터 비전 혁명 중 하나인 'NeRF(뉴럴 래디언스 필드)'는 공동 창업자 Ben Mildenhal 등이 4년 전 수행. 19:27
  • 공동 창업자 Christoph Lassner는 3D 표현 방식인 '가우시안 스플랫' 대중화에 기여. 20:06
  • 공동 창업자 Justin Johnson(FFL의 제자)은 GAN을 이용한 이미지 생성, 스타일 트랜스퍼 등 1세대 딥러닝 비전 연구자. 20:06
• World Lab은 이 '북극성 문제(월드 모델)'에 올인하기로 결심. 20:46 비전, 확산 모델, 그래픽스, 최적화, AI, 데이터 분야의 세계 최고 인재들을 모아 이 문제를 해결하고 제품화하려 함. 21:32
• Martin: 이 문제는 AI(데이터, 모델) 전문가와 그래픽스(3D 표현) 전문가가 모두 필요한, 매우 특별한 팀을 요구하는 문제이며, FFL이 그 팀을 구성해 냄. 21:32