2024. 9. 5. No Priors Ep. 80 - With Andrej Karpathy from OpenAI and Tesla

제공된 'No Priors Ep. 80 | With Andrej Karpathy' 스크립트 전체 내용을 빠짐없이 정리함.

1. 소개

• 진행: 안드레이 카르파티(Andrej Karpathy) 소개.
• 카르파티 이력: 저명한 연구자, AI 교육자, OpenAI 초기 멤버, 테슬라 오토파일럿 리드, 현재 AI 교육 분야 종사.
• 주요 대화 주제: 연구 현황, 그의 새 회사, AI의 미래.

2. 자율주행 (테슬라 vs. 웨이모)

• 자율주행과 AGI의 유추:
  • 카르파티는 5년간 자율주행 분야에 종사했음.
  • 자율주행 분야에서 이미 'AGI에 도달했다'고 느낌.
  • 사례: 웨이모(Waymo)는 샌프란시스코에서 유료 제품으로 승객을 운송함.
• 데모와 제품의 격차:
  • 카르파티는 10년 전(2014년경) 웨이모 데모를 경험했음.
  • 당시에도 완벽해 보였지만, 데모(30분 주행)에서 도시 규모의 유료 제품이 되기까지 10년이 걸림.
  • 이 격차의 원인: 10년간 처리해야 했던 수많은 (데모에서는 보이지 않는) 문제들과 규제.
• AGI의 미래 예측:
  • AGI도 자율주행과 비슷할 것으로 예상. (AGI 달성 -> 전 세계적 보급까지 긴 시간 소요)
• 테슬라 vs. 웨이모:
  • 일반적 인식: 웨이모가 앞서 있음.
  • 카르파티 견해: 테슬라(Tesla)가 앞서 있음.
  • 테슬라는 소프트웨어 문제, 웨이모는 하드웨어 문제를 안고 있음.
  • 소프트웨어 문제가 해결하기 더 쉬움.
  • 테슬라는 이미 차량을 전 세계에 대규모로 '배포'했음. 웨이모는 그 수준에 도달해야 함.
  • 10년 후 규모와 수익 면에서 테슬라가 앞설 것으로 전망함.
• 테슬라의 접근 방식 (카메라):
  • 웨이모: 비싼 라이다와 센서 사용.
  • 테슬라: 카메라(비전)만 사용. (비용, 복잡성 감소)
• 테슬라의 '비밀' 전략:
  • 사람들은 테슬라가 비싼 센서를 안 쓴다고 생각하지만, '훈련 시점'에는 사용함.
  • 라이다 등이 장착된 차량이 주행하며 데이터를 수집하고 매핑함.
  • 이 정보를 '증류'하여 '테스트 시점'(실제 고객 차량)에는 비전(카메라)만으로 작동하는 패키지로 만듦.
  • 이는 '센서와 비용에 대한 차익거래'이며, 픽셀(카메라)에 정보가 충분하기에 성공할 전략이라 봄.
• 엔드투엔드 딥러닝:
  • 과거: C++ 코드(휴리스틱)가 많았음.
  • 현재: 뉴럴넷(신경망)이 스택을 '먹어치움'. (단순 이미지 감지 -> 예측 -> 조향 명령)
  • 테슬라는 점차 엔드투엔드로 나아가고 있음.
  • 웨이모는 (소문상) 엔드투엔드를 시도했으나 현재는 그렇지 않다고 이해함.
• 점진적 접근이 필요했던 이유:
  • 처음부터 엔드투엔드(인간 모방)로 시작하면, 거대한 뉴럴넷을 훈련시킬 '감독 신호'가 너무 부족함.
  • '중간 표현'을 통해 특징과 감지기를 개발함.
  • 이는 엔드투엔드 미세조정을 위한 일종의 '사전훈련'이었음.
  • 따라서 스택을 점진적으로 먹어치우는 테슬라의 접근이 옳았다고 봄.

3. 휴머노이드 로봇 (옵티머스)

• 자동차에서 로봇으로의 이전:
  • 카르파티 주장: "모든 것이 이전됨(Everything transfers)."
  • 자동차는 기본적으로 로봇임.
  • 테슬라는 자동차 회사가 아니라 '대규모 로보틱스 회사(robotics at Scale Company)'임.
• 옵티머스(Optimus) 초기 개발:
  • 초기 옵티머스는 자동차와 동일한 컴퓨터/카메라를 사용함.
  • 자동차용 네트워크를 실행했기 때문에, 로봇이 사무실을 걸어 다니며 '주행 가능 공간'을 인식하려 함. (스스로 차라고 생각함)
  • 이는 약간의 미세조정만으로도 일반화가 가능했음을 보여줌.
• 테슬라의 개발 속도:
  • 일론 머스크가 지시하자마자 모든 도구, CAD 모델, 공급망, 사내 전문 지식이 즉시 결합됨.
  • 자동차와 로봇은 하드웨어, 규모, 두뇌(AI) 측면에서 동일한 구성 요소가 필요함.
  • AI 두뇌(접근 방식, 라벨링 팀, 데이터 조정) 역시 엄청난 이전 효과가 있었음.
• 휴머노이드 적용 분야:
  • 1단계 (최우선): B2C (소비자)는 아님. ("할머니를 으스러뜨릴 수 없음" - 법적 책임 문제)
  • 2단계 (자신): 최고의 고객은 '자기 자신'. 테슬라 공장 내에서 자재 취급 등으로 먼저 사용. (변호사, 계약 불필요)
  • 3단계 (B2B): 다른 회사의 창고(자재 취급) 등으로 확장. (계약, 울타리 설치 등)
  • 4단계: 기업에서 충분히 검증된 후 마지막으로 소비자(예: 빨래)에게 적용.
• 구체적 응용 예시:
  • 나뭇잎 청소: 시끄러운 송풍기 대신, 옵티머스가 조용히 걸어 다니며 나뭇잎을 하나씩 줍거나 조용히 갈퀴질함.
• 휴머노이드 형태가 필요한 이유:
  • 환경: 세상은 인간을 위해 만들어졌음.
  • 비용: 어떤 플랫폼이든 막대한 고정 비용이 드는데, 모든 것을 할 수 있는 단일 플랫폼(휴머노이드)에 집중하는 것이 합리적임.
  • 데이터 수집: 사람이 매우 쉽게 '원격 조작'할 수 있어 데이터 수집에 극히 유리함.
  • 전이 학습:
    • 단일 뉴럴넷이 여러 작업을 동시에 수행할 때 지능이 나옴 (LLM과 유사).
    • '나뭇잎 줍기'를 위해 수집한 데이터가 '다른 모든 작업'에도 도움이 되어야 함.
    • 특정 목적의 로봇을 만들면 이런 전이 학습 이점을 잃음.
• 다른 형태 (예: 바퀴 달린 팔):
  • 더 저렴할 수 있으나, '지역 최소값'에 빠지는 것일 수 있음.
  • 장기적으로는 인간 플랫폼을 완벽하게 만드는 것이 좋은 전략.
  • 심리적 측면: 사람들에게 더 친숙함 (블랙 미러의 로봇 개는 무서울 수 있음).
• 부족한 기술:
  • 하나의 기술적 장애물이 있다기보다, '엄청난 잡일'이 필요함.
  • 트랜스포머라는 훌륭한 '조직(tissue)'은 이미 존재함.
  • 데이터를 수집하고, 올바른 형태로 넣고, 훈련하고, 배포하고, 반복하는 작업이 많이 남았음.

4. LLM과 트랜스포머 연구

• 트랜스포머의 위대함:
  • 단순한 뉴럴넷이 아니라, '놀라운 뉴럴넷'이자 '범용 미분 가능 컴퓨터'임.
  • 트랜스포머 이전(예: LSTM)과 달리, '깔끔한 스케일링 법칙'을 가능하게 함.
  • 기존 혁신들(잔차 연결, 레이어 정규화, 어텐션, 비포화 비선형성 등)이 결합된 결과물.
• 병목의 이동:
  • 과거: 뉴럴넷 '아키텍처'가 병목이었음.
  • 현재: 아키텍처(트랜스포머)는 더 이상 병목이 아님.
  • 현재 병목: 데이터셋, 손실 함수.
  • 지난 5년간 트랜스포머 아키텍처는 거의 변하지 않음 (RoPE 추가 정도).
• 데이터의 한계:
  • '인터넷 데이터'가 고갈되고 있다는 주장은 맞음.
  • 하지만 인터넷 데이터는 우리가 원하는 '이상적인 데이터'가 아님.
  • 이상적인 데이터: 문제 해결 과정 중의 '뇌 속 내면의 독백' 또는 '뇌 속 궤적'.
  • 인터넷 데이터가 그럭저럭 작동한 이유: '충분한 추론의 흔적'이 포함되어 있었기 때문.
• 합성 데이터:
  • 현재 활동: 데이터를 '내면의 독백' 형식으로 리팩토링 중. 여기에 합성 데이터가 대량 사용됨.
  • 합성 데이터는 "진보를 위한 유일한 방법"임.
  • 주의점: 모델의 '조용한 붕괴'.
    • 겉보기엔 정상이지만, 다양성(entropy)과 풍부함을 잃고 붕괴하는 현상.
    • 예: ChatGPT에게 농담을 시키면 3가지 농담만 반복함.
  • 해결책: 엔트로피(다양성) 주입.
    • 예: '페르소나 데이터셋' (10억 개의 가상 인간 배경)을 사용하여 모델이 더 넓은 공간을 탐색하도록 강제함.
  • 결론: 데이터가 고갈되지는 않을 것. 다만 신중해야 함.

5. AI와 인간 인지

• 트랜스포머 vs. 인간 두뇌:
  • 트랜스포머는 여러 면에서 인간 두뇌보다 '더 효율적인 시스템'일 수 있음. (예: 순서 암기 능력)
  • 현재 성능이 낮은 것은 주로 '데이터 문제'임.
  • 인간 두뇌는 제약이 많음 (작은 작업 기억, 역전파 불확실, 확률적 시스템).
  • AI가 잠재적으로 뇌보다 나을 수 있음.
• 인간 증강:
  • 물론 가능함. AI는 우리 신피질 위에 구축되는 '외피질(Exo cortex)'임.
  • 우리는 이미 (I/O 병목이 있지만) AI와 융합하고 있음.
  • "컴퓨터는 마음의 자전거"라는 비유와 같음.
• 미래의 의존성:
  • 미래에 AI 고글/폰을 잃어버리는 것은 지능이나 페르소나의 일부를 잃는 것처럼 느껴질 것임.
  • 현재: 지도 앱에 의존하는 사람들이 도시 길을 못 찾음.
  • 미래: 잡지를 스와이프 하려는 아이처럼, 사람들은 무엇이 기술이고 자연인지 구분하지 못할 것.
  • 문에게 "열려"라고 말할 수 없는 것을 이상하게 여길 것임.

6. AI 생태계와 접근성

• 현재 생태계:
  • 소수 폐쇄형 플랫폼 vs. 뒤처진 개방형 플랫폼(Llama 등).
• 소유권 문제:
  • 암호화폐: "Not your keys, not your tokens" (네 키가 아니면, 네 토큰이 아니다)
  • AI: "Not your weights, not your brain?" (네 가중치가 아니면, 네 뇌가 아니다?)
  • 사람들은 '뇌를 빌리는 것'에 대해 민감하게 반응할 것임.
• 절충안:
  • 기본적으로 성능 좋은 폐쇄형 버전을 '빌려' 쓰되, 문제가 생기면 '소유한' 오픈소스 버전으로 대체하는 형태가 될 것.
  • 따라서 오픈소스의 지속적인 발전이 100% 중요함.
• 가장 작은 고성능 모델:
  • "놀랍도록 작을 수 있음." (10억 파라미터 이하도 가능)
  • 현재 모델들은 쓸모없는 정보(sha 해시 등)를 암기하느라 용량을 낭비함 (데이터셋이 정제되지 않아서).
  • 우리는 생각하는 '인지적 핵심(cognitive core)'만 필요함.
  • 증류 (큰 모델이 작은 모델을 감독)가 놀랍도록 잘 작동함.
  • 이유: 인터넷 데이터는 '0.001%의 인지'와 '99.99%의 정보'로 구성됨. 우리는 인지 부분만 필요함.
• 미래 모델의 구조:
  • 단일 모델이 아닌, '스웜(swarm)' 또는 '생태계' 형태일 것.
  • 마치 회사 조직처럼, 전문화된 여러 모델이 위계적으로 작동.
  • 예: 똑똑한 'CEO' 클라우드 모델이 저렴한 '일꾼' 로컬/오픈소스 모델들을 지휘함.

7. AI 교육 (카르파티의 새 회사)

• 동기:
  • 배우고 가르치는 것에 대한 오랜 열정.
  • 사람을 '대체'하는 AI보다, 사람을 '강화'하는 AI에 관심 있음. ("팀 휴먼")
  • 완벽한 튜터가 있다면 인간이 얼마나 멀리 갈 수 있는지 보고 싶음.
• 블룸의 2 시그마 문제:
  • 1:1 개인 교습이 (일반 수업 대비) 2 표준편차의 학업 성취도 향상을 가져온다는 80년대 연구 결과. AI로 이에 접근하거나 뛰어넘고자 함.
• 카르파티의 접근 방식:
  • 현재 AI(모델)는 좋은 '과정'을 만들 만큼 뛰어나지 않음.
  • 하지만 학생의 '프론트엔드'가 될 만큼은 충분히 좋음.
  • 교사: 백엔드에서 커리큘럼과 자료를 설계.
  • AI: 프론트엔드에서 학생과 상호작용 (TA 역할). 모든 언어로 학생을 지도.
• 인간의 잠재력:
  • 우리는 더 나은 도구가 주어졌을 때 인간이 무엇을 할 수 있는지 "긁어보지도 못했음."
  • 두 가지 차원: 1) 교육의 세계화(접근성), 2) 한 사람이 갈 수 있는 한계.
• 교육 AI의 적응성:
  • 쉬운 것: 번역 (다양한 언어 지원).
  • 중간 난이도: 학생의 배경지식에 맞춘 비유 (예: 물리학을 아는 학생에게 맞춤 설명).
  • 어려운 것: 학생의 학습 속도나 어려워하는 부분에 실시간으로 적응하는 '제품'. (데모는 쉽지만, 실제 작동하는 제품은 어려움)
• 학벌과 인맥(Lineage):
  • AI가 이러한 '게이트키핑' 구조를 파괴하기를 희망함.
• 클러스터와 문화:
  • 베이 에어리어 같은 클러스터는 똑똑한 사람들의 집합이기도 하지만, 그보다 '문화'의 영향이 큼.
  • 문화란 그 커뮤니티가 '숭배'하는 것 (예: 학계의 H-index).
  • 사례: 그가 다닌 토론토 대학은 '기업가 정신' 문화가 없었음. 모두가 정해진 회사에 인턴십 가는 것만 이야기함.
• 학습 vs. 오락:
  • 학습은 원래 어려운 것이어야 함. (재미와는 다름)
• 학습 동기:
  • Pre-AGI (현재): 사람들은 실용적인 이유(직업, 경제)로 학습함.
  • Post-AGI (미래): 교육은 '오락'이 됨. "뇌를 위한 헬스장 가기"와 같아질 것.
  • 300년 전 귀족(부유층)이 과학을 했던 것처럼, (AGI 이후) 우리 모두는 귀족이 될 것.

8. '유레카'(강의) 및 마지막 조언

• 강의('유레카') 대상:
  • 학부생 수준.
  • 하지만 기술에 관심 있는 모든 연령대의 사람들 (평생 학습).
• 출시 시기:
  • 올해 말(2025년) 희망. 아마도 내년 초(2026년) 예상.
• 아이들이 무엇을 공부해야 하는가?
  • 수학, 물리학, 컴퓨터 과학(CS).
  • 이유: "최고의 사고 기술 핵심"이며 문제 해결 능력을 길러줌.
  • Pre-AGI 시대: 유용함.
  • Post-AGI 시대: 여전히 강력한 인간으로 기능하는 데 좋음.
• 이 과목들의 특징:
  • '암기 위주'가 아니라, '단순 조작 위주'임.
  • 인간은 AI 도구에 비해 효율적인 암기자가 아님.