Fei-Fei Li: Spatial Intelligence is the Next Frontier in AI

00:00 페이페이 리 (Fei-Fei Li) 도입

• 자신의 커리어는 '망상에 가까울' 정도로 어려운 문제들을 쫓아왔음.
• AGI(일반인공지능)는 '공간 지능(spatial intelligence)' 없이는 완성될 수 없다고 생각하며, 그 문제를 풀고 싶음.
• 기업가 정신을 사랑함. 과거에 한 일, 남들의 시선은 잊고, 그저 묵묵히 '빌드(build)'하는 것이 자신의 '컴포트 존(comfort zone)'임.

00:24 발표자 (Diana) 소개

• 페이페이 리 박사('AI의 대모(godmother of AI)')를 소개함.
• 2009년(16년 전)의 '이미지넷(ImageNet)' 프로젝트를 언급함. 8만 건 이상의 인용을 기록하며 AI의 핵심 문제인 '데이터 문제'를 촉발시켰음.
• 당시 선구적 작업이었던 이미지넷 프로젝트의 계기를 질문함.

01:06 페이페이 리: 이미지넷(ImageNet)의 시작

• 초대에 감사하며, 자신도 최근 작은 회사를 시작한 기업가로서 동질감을 느낀다고 말함.
• 이미지넷은 거의 18년 전(2007년경) 프린스턴(Princeton) 조교수 1년 차 시절에 구상됨.
• 01:58 당시 AI/머신러닝(ML) 세계는 지금과 매우 달랐음.
  • 데이터가 거의 없었음.
  • 컴퓨터 비전 알고리즘은 작동하지 않았음.
  • 관련 산업이 없었고, 대중에게 'AI'란 단어조차 생소했음.
  • 하지만 존 매카시(John McCarthy) 같은 AI의 아버지들부터 제프 힌튼(Jeff Hinton) 같은 이들까지 'AI의 꿈'(기계가 생각하고 작동하게 만들자)을 가진 소수가 있었음.

02:30 꿈: 기계가 '보게' 만들기

• 개인적 꿈은 기계가 '보게(see)' 만드는 것이었음. '보는 것'은 지능의 초석임.
• 시각 지능은 단순히 인지하는 것이 아니라, 세상을 이해하고 세상 속에서 무언가를 하는 것임.
• 02:55 기계가 보게 만드는 문제에 집착하며 당시 ML 알고리즘(신경망-작동 안 함, 베이스넷, SVM 등)을 개발했으나, 항상 '일반화(generalization)' 문제에 부딪혔음.
• 03:20 일반화는 ML의 핵심 목표이며, 이를 위해선 '데이터'가 필요했음.
• 당시 컴퓨터 비전 분야엔 데이터가 없었음. 자신은 인터넷을 경험한 첫 세대 대학원생으로서 데이터의 중요성을 인지함.
• 03:52 2007년경, '데이터 중심(data-driven)' 방법론이라는 패러다임 전환이 필요하다는 '과감한 베팅'을 함.
• 04:09 데이터가 없었기에, "인터넷에서 10억 개의 이미지를 다운로드하고, 전 세계의 시각적 분류체계(taxonomy)를 만들자"고 결심함. 이것이 이미지넷의 탄생 계기.

04:32 알렉스넷(AlexNet)의 등장과 이미지넷 챌린지

• 04:32 유망한 알고리즘(알렉스넷)이 나오기까지 2012년까지 기다려야 했음. 이는 '컴퓨트(compute)'와 알고리즘의 결합이었음.
• 05:04 2009년(이미지넷 발표)부터 2012년(알렉스넷)까지 3년간, 데이터가 AI를 주도할 거라 믿었지만 신호가 거의 없었음.
• 이때 두 가지 일을 함:
  1. 05:19 처음부터 '오픈소스'로 공개해 전체 연구 커뮤니티가 작업할 수 있도록 함.
  2. 05:35 '이미지넷 챌린지(ImageNet Challenge)'를 만들어 전 세계의 똑똑한 연구자들이 이 문제에 매달리게 함.
• 06:12 처음 몇 년간 성능은 에러율 30% 수준이었음.
• 06:27 2012년(3년 차) 늦여름: 결정적 순간
  • 06:42 늦은 밤, 대학원생에게서 "정말, 정말 눈에 띄는 결과(a result that really really stand out)"가 나왔다는 연락을 받음.
  • 06:50 그것은 제프 힌튼 팀('SuperVision'팀)의 '합성곱 신경망(CNN)'이었음.
  • 07:14 CNN은 1980년대에 발표된 '오래된 알고리즘'이었기에 매우 놀라운 '단계적 변화(step change)'였음.
  • 07:38 이 결과는 이탈리아 플로렌스 ICCV 워크숍에서 발표되었고, 현재 '이미지넷 챌린지 알렉스넷 모멘트'로 알려짐.
  • 08:07 강조점: 이는 단지 CNN만의 승리가 아님. 알렉스(Alex) 팀이 딥러닝 컴퓨팅을 위해 두 개의 GPU를 처음으로 함께 사용한 순간이기도 함.
  • 08:20 데이터, GPU, 신경망이 처음으로 함께한 순간이었음.

08:29 지능의 확장: 객체(Object)에서 장면(Scene)으로

• (진행자) 이미지넷이 '객체 인식'을 해결한 후, AI는 '장면' 묘사(안드레 카파시 등의 연구)로 나아감.
• 08:57 페이페이 리: 이미지넷은 '고양이', '의자' 등 객체를 식별하는 문제였음.
• 09:10 하지만 대학원 시절부터의 꿈(100년짜리 꿈이라 생각)은 세상에 대한 '스토리텔링(storytelling)'이었음.
• 09:19 인간은 단순 객체가 아닌 '장면'(컨퍼런스 룸, 무대, 군중)을 보고 전체를 묘사할 수 있음. 이는 시각 지능의 기초임.
• 10:00 "죽기 전에 장면을 이야기하는 알고리즘을 만들면 성공한 것"이라 생각할 정도로 이 문제를 평생의 과업으로 여김.
• 10:22 이미지 캡셔닝(Image Captioning)의 성공
  • 알렉스넷 이후 딥러닝이 부상하고, 안드레 카파시(Andrej Karpathy) 등이 랩에 합류함.
  • 10:33 자연어(NL)와 비전(Vision)이 충돌하는 신호를 보고 '이미지 캡셔닝' 문제를 제안함.
  • 10:41 2015년경, 컴퓨터가 이미지를 캡셔닝하는(묘사하는) 논문들을 처음으로 발표함.
  • 10:55 평생의 목표가 달성되자 "이제 내 인생에서 뭘 해야 하지?"라는 기분이 들었음.
• 11:17 텍스트-투-이미지 (Text-to-Image) 생성
  • 11:34 당시 안드레에게 농담으로 "거꾸로 문장으로 이미지를 생성해보자"고 말함.
  • 11:42 안드레는 농담으로 "하하, 전 이만 가볼게요(Haha, I'm out of here)"라고 답함. 세상은 아직 준비가 안 됐었음.
  • 11:49 (현재) 생성형 AI(generative AI)는 이 일을 해내고 있음.
  • 11:58 교훈: AI는 놀랍게 성장함. 자신은 '세상에서 가장 운이 좋은 사람'이라 느낌. AI 겨울이 끝나고 AI가 도약하는 시점에 커리어를 시작했고, 자신의 연구가 이 변화의 일부가 됨.

12:35 더 큰 꿈: 공간 지능(Spatial Intelligence)과 월드 랩스(World Labs)

• (진행자) 객체 -> 장면 -> '세계'라는 더 큰 꿈을 꾸며, 학계를 떠나 '월드 랩스(World Labs)'의 창업자/CEO가 됨.
• 13:08 페이페이 리: 지난 5-6년은 기술 진보의 '문명사적 순간(civilizational moment)'이었음.
• 컴퓨터 비전의 성장과 동시에, '언어' (LLM, 2022년 11월 ChatGPT)라는 또 다른 흥미로운 흐름이 등장함.
• 13:59 이는 '다음(what's next)'에 대해 대담하게 생각하도록 영감을 줌.
• 14:09 영감의 원천: 진화(Evolution)와 뇌과학
  • 다음 '북극성' 문제를 찾을 때 진화와 뇌과학에서 영감을 얻음.
  • 14:38 진화 비교:
    • 인간의 언어: 진화에 1백만 년 미만 (30만~50만 년) 걸림. 사실상 인간이 유일함.
    • 시각 (공간 지능): 3D 세계를 이해, 탐색, 상호작용하는 능력. 이는 5억 4천만 년이 걸림.
  • 15:59 5억 4천만 년 전 최초의 삼엽충(trilobite)이 시각을 발달시킨 이후, '진화적 군비 경쟁(evolutionary arms race)'이 촉발되며 동물 지능이 발전함.
• 16:42 결론: 공간 지능이 AI의 근본 문제
  • 3D 세계를 이해/생성/추론하고 행동하는 '공간 지능' 문제가 AI의 근본 문제임.
  • 16:55 "AGI는 공간 지능 없이는 완성될 수 없으며, 나는 그 문제를 풀고 싶음."
  • 17:03 이는 평평한 픽셀(flat pixels)과 언어를 넘어, 3D 구조와 공간 지능을 포착하는 '월드 모델(World models)'을 만드는 것을 포함함.
  • 17:15 저스틴 존슨, 벤 마일든홀, 크리스토프 라스너 등 3명의 놀라운 기술자들과 회사를 공동 창업함.

17:42 공간 지능(비전)이 더 어려운 이유

• (진행자) 비전이 LLM(1D 시퀀스)보다 더 어려운(3D 구조 이해) 이유를 질문.
• 18:42 페이페이 리: 공간 지능이 더 어려운 이유들:
  1. 18:45 언어는 1D: 시퀀스 모델링.
  2. 18:58 언어는 순수하게 생성적(generative): 자연에 존재하지 않고, 머릿속에서 나옴.
  3. 19:31 현실 세계는 3D (혹은 4D): 조합적으로(combinatorily) 훨씬 더 어려움.
  4. 19:50 센싱(Sensing)은 3D를 2D로 붕괴(projection): 눈이나 카메라는 3D를 2D로 투영함. 이는 수학적으로 '잘못 제기된(ill-posed)' 문제.
  5. 20:21 세계는 순수 생성적이지 않음: 물리 법칙을 따라야 함. '생성'(게임, 메타버스)과 '재구성(reconstruction)'(로보틱스) 사이를 유연하게 오가야 함.
  6. 21:04 데이터 문제: 언어 데이터는 인터넷에 많지만, 공간 지능 데이터는 '우리 머릿속에' 있어 접근하기 어려움.
• 21:25 이런 이유로 어렵지만, 그래서 흥분됨. ("쉬웠다면 누군가 이미 풀었을 것").

21:55 모델 아키텍처와 월드 랩스의 목표

• (진행자) 인간의 뇌가 시각 피질에 더 많은 뉴런을 할당하는 것이 모델 아키텍처에 어떻게 반영되는지 질문.
• 22:15 페이페이 리: 여러 학파가 있음.
  • LLM: 스케일링 법칙(scaling law)과 무차별적 자기 지도 학습(self-supervision)에 의존.
  • 월드 모델: 더 미묘하고, 구조화되어 있음. 안내할 신호(사전 정보(prior), 지도(supervision))가 필요할 수 있음. 아직 열린 질문들임.
• 23:09 (인간의 3D 인지 역시 아직 완전히 풀리지 않은 문제라고 언급함)
• 23:46 (진행자) 월드 랩스가 3D 세계를 출력하는 파운데이션 모델을 만드는지, 적용 분야는 무엇인지 질문.
• 24:08 페이페이 리: (세부 사항은 비밀). 하지만 '공간 지능'의 사용처는 매우 거대함.
  • 24:32 '창작(Creation)': 디자이너, 건축가, 3D 아티스트, 게임 개발자.
  • 24:46 '로보틱스(Robotics)': 로봇 학습.
  • 24:54 관련 산업: 마케팅, 엔터테인먼트, 메타버스(Metaverse).
  • 25:07 메타버스에 매우 흥분됨. 사람들이 '작동 안 한다'고 하지만, 그래서 흥분됨. 하드웨어와 소프트웨어의 융합이 오고 있으며, 메타버스 콘텐츠 생성에는 '월드 모델'이 필요함.

25:51 페이페이 리의 개인적 여정과 기업가 정신

• (진행자) 학계에서 창업가로의 전환 외에, 미국 이민(10대, 영어 못함), 19살 때 세탁소 운영 경험 등 0-to-1 경험에 대해 질문.
• 26:30 페이페이 리: 19살 때, 부모님 부양과 프린스턴 학비(물리학 전공)를 위해 절박함(desperation)으로 드라이클리닝 가게를 시작함.
• 26:55 "실리콘밸리 언어로": 창업자, CEO, 자금 조달, 계산원 등을 모두 했고, 7년 후 '엑싯(exited)'함.
• 27:14 (청중에게) 핵심 메시지: "그냥 하세요. 두려워하지 마세요(Just do it. Don't be afraid)."
• 27:32 커리어 내내 조언(시니어 멘토 찾기)과 달리, 자신이 '첫 번째 컴퓨터 비전 교수'가 되는 길을 선택하는 등 스스로 길을 개척(trailblaze)해왔음.
• 27:56 구글(클라우드)에서 비즈니스(B2B 등)를 배웠고, 2018년경 스탠퍼드 내에서 '인간 중심 AI 연구소(Human-Centered AI Institute)'를 스타트업처럼 시작함.
  • 28:18 동기: AI가 '인간의 문제(human problem)'가 됨. "인류애를 잃어서는 안 된다(We cannot lose our humanity)." 인간 중심 AI를 위한 '빛의 등대'가 되고 싶었음.
• 28:54 결론: '기업가'가 되는 것, '그라운드 제로(ground zero)'에 서는 느낌을 사랑함.
• 29:10 "과거에 한 일, 남들의 시선은 잊고, 그저 묵묵히 빌드하세요. 그것이 나의 컴포트 존입니다."

29:21 인재상: 지적 두려움 없음 (Intellectual Fearlessness)

• (진행자) 안드레 카파시, 짐 팬(Jim Fan) 등 전설적 연구자들을 지도함. 그들의 특출난 점은?
• 29:50 페이페이 리: 자신이 운이 좋았고 학생들에게 빚진 것이 더 많음.
• 30:20 그들은 모두 다르지만(과학자, 산업 리더 등), 한 가지 공통점이 있음.
• 30:42 그것은 (이자 자신의 채용 기준인) '지적 두려움 없음(Intellectual fearlessness)'.
• 31:01 어려운 것을 받아들이고, 올인(all in)하고, 어떻게든 해결하려는 '용기'와 '두려움 없음'. 이것이 성공하는 사람들의 핵심 특성임.
• 31:40 월드 랩스 채용 공고: 엔지니어링, 프로덕트, 3D, 생성 모델 인재를 찾음. "두려움이 없고 공간 지능 해결에 열정이 있다면, 저에게 말하거나 웹사이트로 오세요."

32:04 Q&A

• 32:13 Q1 (PhD 지망생): 전설이 되려면 PhD 때 무엇을 연구해야 하는지?
  • A1: 32:32
    1. AI 연구 환경이 변했음. 학계는 리소스(컴퓨트, 데이터)가 부족하고, 산업계가 훨씬 많음.
    2. 33:11 PhD 학생은 산업계가 더 잘 풀 수 있는 문제와 '충돌 경로'에 있지 않은 '북극성'을 찾아야 함.
    3. 33:41 학제간 AI (Interdisciplinary AI) (특히 과학적 발견을 위한)는 매우 흥미로운 영역임.
    4. 33:58 이론적 측면 (Theoretical side): AI 역량이 이론을 100% 앞질렀음. 설명 가능성(explainability), 인과관계(causality) 규명 등 모델에 대해 모르는 것이 너무 많음.
    5. 34:22 그 외: 컴퓨터 비전의 표현(representational) 문제, 스몰 데이터(small data) 등.
• 34:45 Q2: AGI는 단일 통합 모델(unified model)로 출현할지, 멀티 에이전트 시스템(multi-agent system)으로 출현할지?
  • A2: 34:58 AGI의 '정의(definition)' 자체에 대해 고민이 많음.
    • 35:34 1956년 AI 창시자들은 '생각하는 기계'를 원했음. 이는 '좁은(narrow) AI'가 아닌 '지능(intelligence)'에 대한 명제였음.
    • 36:10 AI의 근본 질문과 'AGI'라는 새 단어를 구분하기 어려움. "내게는 둘 다 같은 것."
    • 36:20 산업계에서 AGI를 'AI 너머'의 것으로 부르는 것을 이해하지만, (진행 속도 외에) 정확히 무엇이 다른지 모르겠음.
    • 37:03 AGI를 정의할 수 없기에, '단일체(monolithic)'인지 답하기 어려움.
    • 37:11 (뇌 비유) 뇌는 '하나'지만, 다른 기능들(언어, 시각, 운동 피질)이 있음.
    • 37:28 "그래서 그 질문에 어떻게 답해야 할지 모르겠음."
• 37:32 Q3 (Yashna): (여성 리더로서 영감을 줌). AI가 급성장하는 지금 어떤 사람이 대학원에 가야 하는지?
  • A3: 37:53 대학원(4-5년)은 '불타는 호기심(burning curiosity)'이 있는 사람을 위한 곳.
    • 38:18 스타트업과는 다름. 스타트업은 호기심만으로 이끌 수 없음 (투자자들이 화낼 것). 상업적 목표가 있음.
    • 38:40 대학원은 문제 해결이나 올바른 질문을 던지려는 '호기심'이 가장 중요함.
    • 38:52 강렬한 호기심이 있다면, "바깥세상이 빛의 속도로 지나가더라도" 행복할 것임.
• 39:09 Q4: (이미지넷과 달리) LLM 시대에는 오픈소스 접근 방식이 다양함 (폐쇄, 완전 공개, 가중치만 공개 등). AI 회사의 올바른 방향은?
  • A4: 39:38 '다양한 접근 방식'이 있을 때 생태계가 건강함. "반드시 오픈/폐쇄해야 한다"는 입장은 아님.
    • 39:57 회사의 '비즈니스 전략'에 달려있음. (예: 모델 판매가 아닌 생태계 확장이 목표인 메타는 오픈소스가 합리적).
    • 40:21 수익화하는 회사는 오픈소스 티어와 폐쇄 소스 티어를 둘 다 가질 수 있음.
    • 40:33 메타 레벨의 견해: '오픈소스' 자체는 보호되어야 함(should be protected). 이는 기업가 생태계와 공공 부문에 매우 중요하며, 불이익(penalized)을 받아서는 안 됨.
• 40:56 Q5 (Carl): 공간 데이터가 (인터넷이 아닌) '머릿속에' 있다고 하심. 월드 모델의 이 데이터 문제를 어떻게 해결하는지? (실세계 데이터? 합성 데이터? 사전 정보(priors)?)
  • A5: 41:31 (농담: "월드 랩스에 합류하면 알려주겠음.")
  • 41:48 (진지하게) '하이브리드 접근(hybrid approach)'을 취하고 있음.
  • 41:53 많은 데이터도 중요하지만, '양질(quality)'의 데이터도 매우 중요함. ("쓰레기가 들어가면 쓰레기가 나옴").
• 42:09 Q6 (Annie): (책 언급). 직장에서 소수자(minority)라고 느낀 순간과 극복 방법은?
  • A6: 42:39 (신중한 답변) 누구나 (정체성, 아이디어 등 때문에) 자신이 소수자라고 느끼는 순간이 있음.
  • 43:00 물론 자신도 그렇게 느낀 적 있음.
  • 43:11 (격려) 하지만 어릴 때 "이민자 여성"으로서 겪어봤기 때문인지,
  • 43:31 "그것에 과도하게 연연하지 않는(not overindex on that)" 능력을 개발한 것 같음.
  • 43:38 "나는 여러분 모두와 마찬가지로, 배우거나, 무언가를 하거나, 창조하기 위해 여기 있습니다."

43:48 마지막 조언

• 누구나 약함, 이상함, "내가 뭘 하는지 모르겠다"고 느끼는 순간을 겪을 것임 (특히 스타트업).
• 44:06 "그저 그것을 '하는 것(doing it)'에 집중하세요. 최적의 해결책을 향해 스스로를 '경사 하강(Gradient descend)'시키세요."
• 44:15 종료.