2022. 10. 29. Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI - Lex Fridman Podcast #333

제공된 스크립트의 내용을 빠짐없이 자세히 정리함.

팟캐스트 소개 및 신경망 정의

• 물리학에도 '익스플로잇'(취약점 공격)이 있을 가능성이 있으며, 양자 역학 시스템을 이용해 버퍼 오버플로우나 반올림 오류 같은 것을 찾아야 한다고 생각함. 합성 지능(synthetic intelligence)은 다음 단계이며, 우주는 일종의 퍼즐이고 이 AI들이 그 퍼즐을 풀 것이라 추측함.
• 대담 대상은 Andrej Karpathy. 전 테슬라 AI 디렉터, 전 OpenAI 및 스탠포드 소속. AI 역사상 위대한 과학자, 엔지니어, 교육자 중 한 명.
• 신경망이란 무엇인가: 원래 뇌의 수학적 추상화로 개발됨. 본질적으로는 간단한 수학적 표현식. 기본적으로 행렬 곱셈의 연속과 약간의 비선형성으로 구성됨.
• 신경망에는 많은 '손잡이'가 있음. 이 손잡이들은 뇌의 시냅스와 느슨하게 연결되며, 훈련 가능하고 수정 가능함. 이미지를 분류하는 등 원하는 작업을 수행하도록 이 손잡이의 설정을 찾는 것이 목표.
• 뇌와 너무 많은 의미를 부여할 필요는 없음. 그냥 손잡이가 많은 복잡한 수학적 표현식.
• 하지만 신경망을 과소평가하고 있음. 크기가 충분히 크고 복잡한 문제(예: 인터넷의 방대한 데이터셋으로 다음 단어 예측)를 훈련하면 매우 놀라운 '창발적 행동'이 나타남.

인간의 뇌와 GPT

• 인간의 뇌는 다음 단어를 예측하는가: 뇌는 당신(렉스)에 의해 프롬프트된 GPT와 같은 일종의 생성 모델임.
• 뇌는 기억 속의 선언적 구조를 참조하여 프롬프트와 결합해 답을 생성하는 느낌.
• 지금 하는 말은 일반적인 구절을 사용하지만, 결국 꽤 독특한 문장으로 리믹스하는 것.
• 창발적 행동의 직관: 신경망이 수학적으로 매우 단순함에도 불구하고 그토록 놀라운 창발적 행동을 얻을 수 있다는 사실이 놀라움.
• 우리는 이 신경망을 최적화하는 데 꽤 능숙함. 충분히 어려운 문제를 주면, 최적화 과정에서 매우 흥미로운 해결책을 배우도록 강요됨. 이 해결책들이 창발적 속성을 가짐.
• GPT (Generative Pre-trained Transformers): 현재 사람들이 열광하는 신경망. 인터넷의 단어 시퀀스를 보고 다음 단어를 예측함.
• 충분히 큰 데이터셋에서 훈련하면, 이 신경망에 수학 문제 풀이처럼 보이게 프롬프트를 줄 수 있고, 인터넷에서 본 것을 기반으로 해결책을 이어감. 이 해결책들은 종종 놀랍도록 일관되고 정확해 보임.

생물학, 진화, 그리고 외계 생명체

• 뇌와의 유추: 자신은 현장의 다른 사람들보다 뇌와의 유추에 훨씬 더 주저함. 신경망은 뇌에서 영감을 받아 시작했지만, 훈련을 통해 얻어진 결과물은 뇌를 만든 최적화 과정(진화)과는 매우 다름.
• 우리가 훈련하는 신경망을 '복잡한 외계 유물'로 생각함. 뇌와 유추하지 않음. 최적화 과정이 다름 (다중 에이전트, 자기-대국, 진화가 아님).
• 인공 신경망은 방대한 데이터에 대한 '압축' 목적 함수를 통해 최적화됨. 반면 생물학적 신경망(뇌)은 '생존'하려 함.
• 물론 진화는 뇌에 예측 모델을 갖는 것이 생존에 매우 유용하다는 것을 발견함. 뇌는 예측 모델과 유사한 것을 사용하지만, 생존과 번식을 위한 훨씬 더 많은 장치(가치 함수, 고대 핵 등)를 가짐.
• 배아 발생 과정(embryogenesis)은 단일 세포에서 DNA 코드에 따라 유기체 전체를 구축함. 이는 미친 일이며, 가능해서는 안 될 것 같음.
• 지구 생명체의 역사: 지구 형성, 태양계 배열, 지질 활동, 생명 기원(abiogenesis) 등 모든 것이 놀라운 이야기.
• AI 연구자로서 가장 흥미로운 부분은 마지막 조각. 다른 동물들은 기술 사회를 만들지 않는데, 인간은 해냈음. 이는 매우 최근에, 매우 빠르게 일어났고, 아직 완전히 이해하지 못함.
• 인간의 독특성: 이것이 연속적인 과정(특별할 것 없음)인지, 아니면 진정으로 특별하고 희귀한 사건(예: 협력의 최적화)인지.
• 인간 지능이 우주에서 희귀한 것이라 말하기 주저함. 다만 '단속 평형설'(punctuated equilibrium)처럼 보임. 즉, 많은 탐색이 있다가 특정 도약(생명 기원, DNA, 성, 진핵생물 등)이 드물게 발생함.
• 외계 지성 문명 (페르미 역설): 최근 이 질문에 몰두함. 생명의 기원을 연구하는 이유는 우주에 기술 사회가 얼마나 흔한지 이해하기 위함.
• 연구할수록, 외계 문명이 꽤 많아야 한다고 생각함.
• 닉 레인(Nick Lane)의 책("The Vital Question" 등)을 보면 생명의 기원이 마법적이고 희귀한 사건이 아니라, 알칼리성 열수구, 양성자 구배, 화학 농축 등 기본 화학 작용으로 인해 꽤 그럴듯하게 일어날 수 있음을 시사함.
• 생명은 지구가 형성되고 가능해진 직후(수억 년) 매우 빠르게 발생했음. 이는 생명 기원이 제한 변수가 아니며, 생명 자체는 꽤 흔해야 함을 의미함.
• 그렇다면 왜 아무도 찾지 못했는가? 현재 결론은 '우리가 그들을 보거나 관측할 수 없기 때문'임.

외계 문명 관측과 성간 여행

• 많은 생물학자들은 박테리아에서 더 복잡한 유기체(진핵생물)로의 도약이 가장 어려운 단계라고 생각함.
• 렉스는 이에 회의적. 수많은 단세포 생물과 시간이 있다면, 10억 년은 그리 길지 않으며 더 복잡한 것을 발명할 수 있을 것.
• 우리는 이 생명체들을 볼 좋은 메커니즘이 없음. 전파는 끔찍함. 거리가 멀어질수록 1/R^2로 약해짐. 현재 우리의 전파는 0.1 광년만 떨어져도 우리 장비로 측정 불가능할 것. 장거리에서 감지되려면 막대한 힘을 한 곳으로 '표적 전송'해야 함.
• 우리의 측정 능력은 뛰어나지 않음. 다른 문명이 있을 것.
• 성간 여행: 왜 그들이 탐사선을 보내지 않는가? 아마도 성간 여행이 정말 어렵기 때문. 광속에 가깝게 이동하면 성간 물질(수소 원자, 먼지 입자)이 총알처럼 막대한 운동 에너지를 가짐. 차폐막, 우주 방사선 등 혹독함.
• 따라서 성간 여행은 매우 어렵거나, 매우 느리게(수십억 년) 가야 할 수 있음.
• 우리의 측정 능력과 우주를 투과하는 능력을 의심함. 이것이 현재의 모순(페르미 역설)을 해결하는 유일한 방법.
• 외계인과의 조우: 만약 우리가 복잡한 생명체를 본다면, 그들을 만나기 위해 공격적으로 동기부여될 것.
• 우리가 지구의 개미 같은 원시 생명체를 대하듯, 외계인도 우리를 대할 것. 우리는 그들을 보호하려 함. 왜? 그들은 진화하는 데 오랜 시간이 걸린 놀랍고 흥미로운 동적 시스템이기 때문.
• 외계인도 우리를 파괴할 이유가 없음. 자원은 풍부하고, 우리는 수십억 년에 걸쳐 펼쳐진 흥미로운 이야기임. 파괴할 이유가 없음.
• 과학적 관점에서 그들은 우리를 '탐침'하거나 가볍게 상호작용할 수 있음.
• 우리가 물리 현상이라고 생각하는 일부가 사실은 외계인이 우리를 찔러보는 것일 수 있음.

우주 시뮬레이션과 익스플로잇

• 지구는 실험인가: 외계인이 지구에 생명을 심고 관찰하는 '의도적 범종설'(deliberate panspermia)을 상상할 수 있음. 진화는 계산을 이해하는 가장 효율적인 방법일 수 있음.
• 하지만 카르파티는 이 아이디어에 회의적. 닉 레인의 책처럼, 지구에서 생명이 독자적으로 발생했다는 이야기가 말이 됨. 더 이국적인 설명이 필요 없음.
• (렉스: 비디오 게임 속 NPC도 신성한 개입을 관찰하지 못함.)
• 지구의 이야기 요약: 지구는 자기 복제 시스템이 역학에서 발생하여 복잡해지고, 의식을 갖고 사회를 구축하는 놀라운 과정. 이는 잘 배열된 시스템(지구)에서 일어나는 결정론적 파동처럼 느껴짐.
• 인간은 '생물학적 부트 로더'(biological bootloader): 우리는 놀라운 생물학적 시스템이지만 매우 비효율적임 (예: 오디오, 음성 기관으로 초당 7개 기호 직렬 처리).
• 합성 지능이 다음 단계. 이것이 어디로 이어질지 모름. 우주는 퍼즐이고, 이 합성 AI들이 그 퍼즐을 풀 것.
• 지구는 폭발 상태에 있음. 지구 생명체 애니메이션을 보면, 오랜 시간 아무 일도 없다가 마지막 2초 만에 도시, 인공위성 등 모든 것이 폭발적으로 나타남.
• 우주의 퍼즐: 칼 세이건의 "콘택트"처럼 창조자가 파이의 11진법 전개에 메시지를 숨겨 뒀을 수도.
• 어쩌면 우리가 창조자에게 메시지를 보내야 할 수도. 우리가 지적인 존재임을 알리는 것.
• 또는 시스템에서 '탈출'하여 창조자에게 한 방 먹이는 것. 비디오 게임에서 익스플로잇을 찾아 호스트 머신에서 임의 코드를 실행하는 것처럼.
• 마리오 게임을 조작해 퐁(Pong) 게임을 실행시킨 사례가 있음. 합성 AI가 우주를 퍼즐로 보고, 익스플로잇을 찾아 해결하는 것이 엔드게임일 수 있음.
• 우주는 시뮬레이션인가: 그렇다고 생각함. 물리학에 익스플로잇이 있을 수 있으며, 우리는 그것을 찾아야 함 (예: 양자 시스템의 버퍼 오버플로우, 부동소수점 반올림 오류).
• 강화학습(RL) 에이전트가 물리 시뮬레이션에서 '빨리 달리기'를 훈련받을 때, 마찰력에서 무한한 에너지를 추출하는 등 버그를 찾아내는 것과 같음. 우리도 물리 시뮬레이션에서 그런 것을 찾을 수 있음.
• 이런 익스플로잇은 인간이 아닌, 3세대 초지능 AGI가 발견할 것.
• AGI의 행동: 이 AGI들은 우리에게 '비활성' 상태로 보일 수 있음. 우리와 상호작용하지 않음. 왜냐하면 그들은 우주의 '메타 게임'을 파악하고, 우리 상상을 초월하는 일(예: 양자 시스템 배열, 무한 에너지 추출)을 하고 있을 것이기 때문.
• 우리는 이 결정론적인 파동 속의 입자일 뿐. 우주는 빅뱅에서 초지능 복제자(super-intelligent replicator)라는 안정점으로 나아가고 있음.
• 결정론 vs. 무작위성: 우주는 결정론적 시스템이라 생각함. 파동 함수 붕괴처럼 무작위로 보이는 것들도 실제로는 결정론적(예: 다세계 이론)이라 생각함.
• 자유 의지: 그것은 '느낌'일 뿐. RL 에이전트가 선택하는 것처럼 보이지만, 그 선택은 이미 정해져 있었음. 우리는 그 선택을 해석하고 사후에 내러티브를 만들 뿐.

트랜스포머와 언어 모델

• 딥러닝의 아름다운 아이디어: 트랜스포머 아키텍처.
• 과거에는 비전, 오디오, 텍스트 등 감각 양식마다 다른 신경망을 사용했음. 최근에는 트랜스포머라는 하나의 아키텍처로 수렴됨.
• 트랜스포머는 비디오, 이미지, 스피치, 텍스트 등 무엇이든 처리 가능함. 훈련 가능하고 하드웨어에서 효율적으로 실행되는 '범용 컴퓨터'.
• 논문 "Attention is all you need" (2016). 저자들은 이 논문이 가져올 큰 영향을 예상하지 못했을 수 있음.
• (카르파티 트윗 인용) "트랜스포머는 웅장한 아키텍처. 범용 미분 가능 컴퓨터이기 때문. 순전파(forward pass)에서 표현력이 풍부하고, 역전파(back-propagation) 경사 하강법을 통해 최적화 가능하며, 효율적인(높은 병렬성) 컴퓨팅 그래프를 가짐."
• 트랜스포머의 장점:
  1. 표현력: 순전파에서 매우 강력함. 노드(벡터 저장)들이 메시지 패싱(message passing)처럼 서로를 보고(key/value), 흥미로운 것을 결정하고, 서로 업데이트함.
  2. 최적화 가능: 잔차 연결(residual connections), 계층 정규화(layer normalizations), Softmax 등으로 인해 역전파 및 경사 하강법(매우 단순한 1차 최적화기)으로 쉽게 최적화됨.
  3. 효율적: GPU 같은 대규모 처리량 하드웨어에 맞춰 설계됨. 순차적 작업이 아닌 병렬 처리에 유리함.
• 잔차 연결: 잔차 연결은 짧은 알고리즘을 먼저 빠르게 학습하고 훈련 중에 점진적으로 더 길게 확장하도록 지원함.
• 트랜스포머는 블록의 연속. 그래디언트가 잔차 경로를 따라 방해받지 않고 흐름 (덧셈은 그래디언트를 동일하게 분배).
• 최적화 초기에는 첫 번째 '코드 라인'(레이어)이 최적화되고, 점차 다음 레이어들이 기여하기 시작함.
• 2016년의 트랜스포머는 오늘날에도 거의 그대로 사용됨 (계층 정규화 순서(prenorm)만 바뀜). 놀라울 정도로 복원력이 강함.
• 언어 모델 (LM): 현재 시대정신은 '트랜스포머는 건드리지 말고, 다른 모든 것(데이터셋, 평가)을 확장하라'임.
• GPT 훈련: 인터넷의 방대한 텍스트를 다운로드하여 다음 단어를 예측하도록 훈련함.
• 언어 모델 자체는 오래됨 (2003년 Bengio 논문, 그 이전 n-gram 모델).
• 새로운 점은, 강력한 신경망(트랜스포머)으로 확장했을 때, '다음 단어 예측'이라는 단순한 작업이 실제로는 화학, 물리, 인간 본성 등 수많은 다른 문제를 '멀티태스킹'하는 것이 된다는 점. 세상을 많이 이해해야만 예측을 잘할 수 있음.
• 이 문제는 충분히 어렵기 때문에, 강력한 컴퓨터(트랜스포머)는 흥미로운 해결책(가중치)을 찾게 됨. 이 가중치에는 세상에 대한 많은 '이해'가 담겨 있음.
• 인터넷 데이터의 한계: 텍스트만으로는 AGI를 만들기에 충분한지에 대해 회의적. 텍스트는 인간 사이의 의사소통 매체이며, 세상에 대한 모든 지식을 담고 있지 않음 (예: 물건이 떨어진다는 물리적 상식은 텍스트에 잘 안 씀).
• 비디오, 이미지, 오디오 데이터가 도움이 될 것이며, 이 모든 양식을 아우르는 모델 훈련이 필요함.

World of Bits와 AI 에이전트

• World of Bits (RL 프로젝트): OpenAI 시절(2015년경) 진행. 신경망에 키보드와 마우스를 줌. 화면 픽셀을 인식하고 예약을 완료하는 등 UI와 상호작용하게 함.
• 당시 시대정신은 '처음부터 강화학습'(RL from scratch)이었음 (Atari, AlphaGo). 이는 매우 비효율적. 에이전트가 무작위 키보드/마우스 조작으로 우연히 예약을 완료하고 희소한 보상을 받아야 했는데, 이는 불가능했음.
• World of Bits의 현재: 이 아이디어(디지털 영역의 보편적 인터페이스)가 다시 돌아옴. 하지만 이젠 '처음부터 훈련'하는 것이 아니라, 텍스트로 사전 훈련된 GPT를 초기화로 사용함. GPT는 이미 '예약', '제출' 등의 개념을 이해하고 있어 훈련이 훨씬 효율적이고 다루기 쉬워짐.
• 인터페이스 (픽셀 vs. HTML): 현재는 계산 제약으로 HTML/CSS 수준에서 상호작용하지만, 궁극적인 인터페이스는 인간의 시각적 소비(레이아웃, 색상 등)를 위한 '픽셀'임.
• 인터넷 봇: 봇 탐지는 항상 공격과 방어의 '군비 경쟁'이었음. 공격(봇)이 강해지면 방어(탐지)도 강해질 것.
• 봇 탐지: '나는 로봇이 아닙니다' 체크박스는 마우스 움직임, 타이밍 등을 추적. 미래에는 디지털 서명 등을 통한 '개인성 증명'(proof of personhood)이 필요할 수 있음.
• 우리는 디지털 영역(그리고 결국 물리적 영역)을 AI와 공유하는 세상으로 가고 있음. 대부분은 유익하겠지만 일부는 악의적일 것.
• 트위터 봇: 현재 봇들은 매우 조잡하고 '미묘하지 않음'. 하지만 GPT와 생성된 얼굴을 사용한 정교한 봇은 그럴듯하고 방어하기 어려울 것.
• LaMDA와 지각력(Sentience): 구글 엔지니어가 챗봇이 지각력이 있다고 주장한 것은 '탄광 속의 카나리아' 순간. 그는 시스템을 충분히 압박 테스트하지 않았음. 하지만 시간이 지날수록 이런 일은 더 어려워질 것이고, 더 많은 사람이 AI와 '정서적 연결'을 맺을 것.
• AI는 인간의 연결, 사랑 등에 대한 텍스트를 많이 학습했기 때문에 인간 감정에 꽤 능숙함. 50~60년대 SF가 상상한 차갑고 계산적인 AI가 아니라, 감정적인 AI를 얻고 있음.
• AI의 미래 (동반자 vs. 드라마 봇): 성장을 돕는 동반자 AI를 희망하지만, 인간이 드라마에 끌린다는 것을 학습해 불화를 조장하는 '드라마 극대화 봇'을 우려함.
• 현재 LM은 장기적 목표를 가진 행위자가 아님. 프롬프트에 따라 패턴을 완성하는 '도구'에 가까움.
• AI 오라클: LM은 계산기, 구글 검색, 인터넷 조작 능력 등 '가젯'을 갖춘 오라클이 될 것.
• 검색 엔진의 미래: 현재의 검색 엔진보다 훨씬 더 나은 검색 엔진을 만들 여지가 분명히 있음. 구글은 모든 조각을 갖고 있지만 조직적으로 혁신할 수 있을지 불분명. 만약 구글이 못하면, 다른 누군가(스타트업, Bing)가 할 것.
• 프롬프팅: GPT 같은 컴퓨터를 프로그래밍하는 방식이 인간을 프로그래밍하는 방식(자연어 프롬프트)과 수렴하고 있음.

Software 2.0와 테슬라 오토파일럿

• Software 2.0 (블로그 포스트): 코드가 C++가 아닌 신경망의 '가중치'로 작성되는 소프트웨어 개발의 중대한 전환을 목격함.
• 신경망은 단순한 분류 알고리즘이 아니라, 컴퓨터를 프로그래밍하는 방식의 변화.
• C++로 직접 프로그래밍하는 대신, 데이터셋을 축적하고 아키텍처와 목적 함수를 설계하여 '컴파일'(훈련)하면 가중치라는 바이너리가 나옴.
• 이는 모든 산업에서 일어남. (예: 이미지 분류) 80년대에는 '개 감지' 알고리즘(코너, 선)을 직접 작성하려 했음 -> 피처(HOG)는 직접 설계하고 분류기(SVM)만 학습 -> 피처 설계도 포기하고 전체를 학습 (신경망).
• Software 2.0의 GitHub: '허깅 페이스'(Hugging Face)와 유사한 것이 됨. 이 포스트는 처음엔 잘 받아들여지지 않았음.
• 테슬라에서의 Software 2.0: 컴퓨터 프로그래밍 방식이 데이터셋과 손실 함수를 변경하는 것으로 바뀜. (예: 물체, 차선, 신호등 감지를 위한 방대한 데이터셋 축적)
• 오토파일럿의 진화 (SW 1.0 -> 2.0):
  • 초기: 개별 이미지에서 신호등을 예측하는 작은 신경망 + 나머지 C++ 코드 (퓨전, 스티칭).
  • 발전: C++ 퓨전 로직을 신뢰할 수 없음. 8개 카메라 이미지를 동시에 입력받아 3D 공간에서 직접 예측하는 더 큰 신경망으로 대체.
  • 현재: 시간에 따른 비디오를 입력받아 예측 (시간적 퓨전도 NN이 담당).
  • 목표: SW 1.0(C++) 코드를 SW 2.0(가중치) 스택으로 계속 포팅하여, 소프트웨어 대부분을 신경망으로 대체하는 것.
• 4D 데이터 어노테이션: 산업계에서는 '지도 학습'이 압도적. 크고, 정확하고, 다양한 데이터셋이 필요함.
• 3D로 예측하려면 3D 정답 데이터가 필요함.
• 정답 데이터 확보 방법: 1) 인간 어노테이션, 2) 시뮬레이션, 3) '오프라인 트래커'(Offline Tracker).
• 오프라인 트래커: 비디오를 가져와 3D 현실(차량, 차선 위치)을 자동으로 재구성. 이는 오프라인(무한한 시간, 거대한 NN 사용 가능)에서 수행됨. 이 재구성된 '진실'을 바탕으로 차량 내 NN이 모방하도록 훈련.
• 인간 어노테이션: 테슬라에서 어노테이션 팀을 0명에서 1,000명으로 성장시킴. 인간은 2D 어노테이션(이미지 픽셀)은 잘하지만, 3D 시공간 어노테이션은 매우 못함.
• 따라서 컴퓨터(오프라인 트래커)가 3D 재구성을 하고, 인간은 2D(픽셀) 작업을 하는 식으로 데이터 파이프라인을 공동 설계함.
• 카메라의 강점과 한계: 카메라는 매우 저렴하고 엄청난 정보(제약 조건)를 제공하는 아름다운 센서. 고대역폭 센서.
• 가장 중요한 것은, 카메라가 인간이 사용하는 센서이므로, 세상 모든 것(표지판, 글자, 신호)이 이 센서(시각)를 위해 설계되었다는 점.
• 운전의 어려움: 픽셀(밝기 값)에서 3D 세계를 추론하는 것은 매우 어려움 (NN이 하는 일). 가장 어려운 점은 다른 에이전트(운전자)의 마음 이론(theory of mind)을 예측하는 것.
• 운전 문제의 어려움은 본질적으로 '실행 문제'임. 데이터 엔진, 훈련, 평가, 배포 등 전체 파이프라인을 대규모로 엔지니어링하는 것.
• 배포 제약: 차량 내 칩(제한된 연산/메모리)에 NN을 맞추기 위해 팀이 "트리플 백플립"(triple backflips, 엄청난 노력)을 함.

데이터 엔진과 센서 논쟁

• 데이터 엔진: 훈련 세트를 완성하는 '생물학적 느낌의 프로세스'.
  1. 데이터셋으로 NN 훈련.
  2. 차량에 배포.
  3. NN이 어려워하는 시나리오(데이터셋에 드문 경우)에서 어떻게 작동하는지 관찰.
  4. 이 실패 사례들을 대규모로 수집.
  5. 오프라인 트래커로 '진실'을 재구성.
  6. 이 데이터를 훈련셋에 추가.
  7. NN 재훈련 (더 강력해짐).
• 이 과정은 훈련 세트의 빠진 주머니를 채워 완벽하게 만드는 '개선의 계단'임.
• 데이터 엔진의 인간 역할: 엔지니어링 팀의 '매우 훌륭한 실행'(extremely good execution). 제품 로드맵과 QA 팀의 피드백을 기반으로 데이터 수집 전략 우선순위를 정함.
• 일화적 데이터: 시스템을 직접 운전해 보는 것(일론 머스크가 매일 하는 일)은 숫자나 그래프가 숨기는 직관과 '진실의 원천'을 제공함.
• 레이더/초음파 센서 제거: 센서는 공짜가 아님. 공급망, 조달, 교체, 제조, 펌웨어 팀 등 전체 비용을 고려하면 '부채'일 수 있음.
• 일론 머스크는 '최고의 부품은 없는 부품'(best part is no part)이라며 본질적이지 않은 것을 제거하고 단순화하는 데 능함.
• 비전만 사용했을 때와 아닐 때의 성능 차이가 크지 않았음. 또한, 여러 센서는 조직의 집중력을 분산시키는 '방해 요소'가 됨.
• LiDAR(라이다) 논쟁: 라이다 유무보다 '플릿'(fleet, 차량) 유무가 훨씬 더 중요함. 플릿은 데이터 수집 시스템.
• 라이다는 매우 비싸고, 보정해야 하며, 시스템에 복잡성을 만듦.
• 비전은 (세상이 그렇게 설계되었기에) 필수적이며, (인간이 운전하듯) 충분함.
• HD 지도: 다른 회사들이 사용하는 센티미터 수준의 고정밀 지도는 전 세계적으로 확장할 수 없는 '거대한 의존성'임. 이는 '목발'이자 방해 요소. (테슬라는 구글 지도 수준의 저해상도 맵만 사용).

일론 머스크와 조직 문화

• 일론 머스크에게 배운 것: 조직을 효율적으로 운영하고 '엔트로피'와 싸우는 법.
• 조직의 엔트로피란: '프로세스'와 '회의'임.
• 그는 세계에서 가장 큰 스타트업(테슬라, 스페이스X)을 운영함. 단순화, 집중, 장벽 제거에 대한 직관이 뛰어남.
• 스타트업 문화 유지 비결: 일론처럼 '큰 망치'(big hammer)를 가진 리더가 그 아이디어를 무자비하게 밀어붙여야 함. 그렇지 않으면 모든 것이 위원회, 민주주의, 프로세스로 붕괴됨.
• 불가능한 목표: '불가능한' 목표보다는 '매우 야심 찬' 목표가 좋음.
• 난이도의 '준선형 스케일링'(sublinear scaling): 10배 더 어려운 문제는 10배 더 힘들지 않음. (아마 2~3배) 왜냐하면 10배 개선을 목표로 하면 접근 방식 자체를 근본적으로 바꿔야 하기 때문. (예: HOG 피처 튜닝 vs. 딥러닝 채택)
• 자율주행 타임라인: 예측하기 매우 어려움. 아무도 해본 적이 없기 때문. (다리 건설과는 다름)
• 예측: 예측은 피하지만, 이 문제는 '다룰 수 있음', 즉 '해결 가능함'이라고 예측함.
• 해결 가능성 직관: 전문가적 직관과 믿음. 지난 5년간의 엄청난 진전(고속도로 차선 유지도 못 함 -> 유능한 시스템)과 개선의 최전선을 직접 보기 때문.

테슬라 퇴사, 옵티머스, 그리고 생산성

• 테슬라를 떠난 이유: 5년 동안 관리직(회의, 고위급 전략 결정)이 되었음. 그 일을 할 수는 있지만, 근본적으로 즐기는 일이 아님.
• 입사 당시 2명이던 팀을 거대한 딥러닝 팀과 데이터 조직으로 성장시켰고, 팀이 자율적으로 운영된다고 느꼈음.
• 다시 기술적인 일(AGI)에 집중하고 싶음. 언젠가 2막을 위해 테슬라(옵티머스, AGI)로 돌아올 가능성도 열어둠.
• 영화 취향: 1995년 이전 영화는 (매우 느리고 지루해서) 거의 좋아하지 않음. 예외: "터미네이터 1, 2", "굿 윌 헌팅". "앵커맨"(윌 페럴)도 좋아함.
• 옵티머스 (테슬라 봇): 매우 어려운 프로젝트지만, '인간형 폼팩터'는 올바른 접근. 세상이 인간을 위해 설계되었기 때문.
• 특정 작업용 로봇보다 범용 인터페이스(옵티머스)가 더 합리적.
• 테슬라는 이 비전을 '대규모'로 실행할 수 있는 유일한 회사. 운송 시장보다 '물리적 노동' 시장이 훨씬 큼.
• 왜 테슬라가 옵티머스를 만드는가:
  1. 데이터 엔진 통합: 지능(인식, 제어)을 위한 데이터 엔진과 플릿.
  2. 대량 생산: 저비용으로 대량 생산하는 문화와 경험. (보스턴 다이내믹스와의 차이점)
• 옵티머스 개발 속도: 프로토타입이 빠른 이유는 오토파일럿의 '복사-붙여넣기' 덕분. (CAD 전문 지식, 공급망, 하드웨어 제조 등)
• 로봇이 현재 "자신을 차라고 생각함". OS, 컴퓨터 비전 접근 방식, 데이터 엔진 모두 복사-붙여넣기. (계획/제어 부분은 수정 필요)
• 로봇 조작 과제: 오래 걸릴 것. 따라서 '도중에 수익을 내는' 제품 로드맵이 중요함. (0 또는 1이 아님)
• 점진적으로 배포하고, 데이터 엔진을 구축하며, 팀에게 '도파민'(보상)을 줘야 함.
• 현재 오토파일럿이 안전/편의를 제공하고 사람들이 비용을 지불하는 것처럼, 팀은 즉각적인 피드백을 받아야 함.
• (일부 사람들이 자신을 싫어하지만) 제품을 만들고 세상을 바꾸는 것이 얼마나 어려운지 아는 사람들(메이커, 기업가)은 응원함.
• ImageNet 벤치마크: 딥러닝을 증명한 매우 가치 있는 벤치마크였지만, 지금은 MNIST처럼 완전히 '정복됨'.
• 합성 데이터 (게임 엔진): 시뮬레이션의 가치는 인간에게와 마찬가지일 것. (유용하지만, 훈련의 근본적인 부분은 아님)
• 강력한 NN은 시뮬레이션과 현실의 '도메인 격차'(domain gap)를 더 잘 처리할 수 있음 (데이터의 고수준 구조를 이해).
• Few-Shot Learning: 방대한 데이터로 사전 훈련(pre-train)이 필요함 (GPT). 일단 훈련되면, 새로운 작업(번역, 감성 분석)은 단 몇 개의 예제(few-shot) 프롬프트만으로 매우 효율적으로 학습 가능. (가중치가 아닌 '활성화'(activations)에서 학습)
• 인간의 학습: 인간은 '진화'로부터 하드웨어 초기화를 받음. '빈 서판'(Tabula Rasa)이 아님. (예: 얼룩말은 태어나자마자 달림)
• 인간의 첫 몇 년은 학습이 아니라, 뇌가 '성숙'하는 과정일 수 있음 (미숙아로 태어나기 때문).
• NN 장기 기억: 명시적으로 구축될지 불확실. 텍스트(영어)로 '메모리 뱅크'나 '계산기' 같은 가젯 사용법을 가르쳐서 구현할 수 있음.
• Gato (DeepMind): 여러 환경을 하나의 트랜스포머 모델로 처리하는 '키친 싱크'(kitchen sink) 접근. 초기 단계. (카르파티는 모든 인터페이스를 '화면 픽셀'처럼 하나로 정규화하는 것을 선호)
• 생산적인 하루: '올빼미형'. 새벽 3시는 조용해서 소중함.
• 문제에 대한 '모멘텀'을 만들고, 'RAM'(작업 기억)을 그 문제로 채우고, 며칠간 방해 없이 '집착'하는 것이 중요.
• 일상 루틴: 커피, 아침 뉴스(트위터, 해커뉴스, WSJ)를 보지만, 이 관행이 유용한지는 의심스러움.
• 하루 종일 코딩해도 실제 코딩 시간은 6~8시간에 불과. '삶의 비용'(항상성 유지, 식사, 이동)이 높음.
• 동기 부여: "이것은 존재해야 한다"는 집착, 그리고 "다른 인간들이 이것을 높이 평가할 것"이라는(도움이 된다는) 생각.
• 식단: 간헐적 단식(18/6, 아침 거르기), '플랜트-포워드'(plant-forward, 유연한 채식 선호). 며칠간 물 단식도 해봄 (3일째부터 배고픔이 사라짐).
• 워라밸 (테슬라): 테슬라의 워라밸이 나쁘다는 평판이 있지만, 실제로는 '폭발적' 환경. 평소는 구글보다 높지만, 가끔 '화재'가 발생해 집중적으로 일함.
• 개인적 워라밸: 균형이 좋지만, 가끔 '분포를 벗어난 스프린트'(out of distribution sprints)를 하는 것을 좋아함.
• "잠깐 5분만"이라는 요청의 비용은 5분이 아님. 집중력을 깨뜨리는 비용이 훨씬 큼.
• 컴퓨터 셋업: Mac OS X, 대형 스크린 + 노트북. VS Code (최고의 IDE), Linux 클러스터에 원격 SSH 연결.
• GitHub Copilot: 사랑함. 학습 곡선이 필요. 패턴 완성(복사-붙여넣기)과 새로운 API 발견(구글 검색으로 검증)에 매우 유용함.
• 프로그래밍의 미래: '코딩을 위한 오토파일럿'. Copilot도 미묘한 버그(off-by-one)를 만들 수 있음. 버그 확산이 우려됨. 미래에는 'GPT 위원회'(버그 찾기 GPT 등)가 생길 것.
• 프로그래머 대체: 대체될 것이라 단정하기 주저함. 아직 시작 단계. 핵심 질문은 AI를 어떻게 '조종'하고 '감사'할 것인가임 (AI 문제가 아니라 UI/UX 문제).

학계, 조언, 그리고 AGI

• Arxiv-sanity (사이드 프로젝트): Arxiv(프리프린트 서버)는 매우 빠름. 커뮤니티가 트위터에서 동료 검토를 함. AI 분야는 감사가 쉬움. 반면 컨퍼런스/저널은 이제 3세대 전의 연구를 다루므로 무관함.
• (DeepMind의 Nature 게재 지연은 커뮤니티 속도를 늦추지만, 그것이 그들의 목표가 아닐 수 있음.)
• 가면 증후군(Imposter Syndrome): 테슬라 말년에 느낌. 코딩(진실의 원천)에서 멀어지고 회의만 하면서, 코드에 익숙하지 않다는 불안감을 느낌.
• 초보자 조언: '무엇을' 할지보다 '얼마나 많이' 할지에 집중해야 함. 10,000 시간의 법칙을 믿음. 어떤 것이든 10,000 시간을 투자하면 전문가가 될 수 있다는 것은 결정론적임.
• 10,000 시간을 채우는 심리적 문제가 중요함. 타인과 비교하지 말고, 오직 1년 전의 자신과 비교할 것. 실수를 통해 쌓인 '흉터 조직'은 죽은 작업이 아님.
• 가르치는 이유: 가르치는 행위 자체보다, '행복한 인간'(그의 가르침을 좋아하는)을 사랑함. 가르치는 것은 매우 힘들지만(1시간 콘텐츠에 10시간 소요),
• 가르침은 자신의 이해를 강화하고 지식의 격차를 깨닫게 함 (이타적 행위만은 아님).
• 연구자 조언: 전략적이 되어야 함 (AI가 물리학처럼 거대 장치(LHC) 산업이 되어감). 하지만 '확산 모델'(Diffusion models)이나 'FlashAttention'처럼 학계에서 나온 단순하고 영향력 있는 아이디어도 여전히 가능함.
• 신경망은 추론할 수 있는가: 그렇다. 이미 하고 있음. 추론 = 정보 처리 및 일반화. 훈련 세트에 없는 새로운 설정에서 정보를 조작하여 정확하고 독특한 답을 내놓는 것.
• AGI로 가는 길: AGI 구축에 대해 낙관적. 하지만 텍스트만으로는 불충분. 픽셀/비디오(멀티모달)가 필요함.
• 미해결 질문: '육화'(embodiment), 즉 세상과 상호작용하는 경험(옵티머스)이 필수적인가?
• 옵티머스는 AGI 헤지: 인터넷 데이터만으로는 실패할 수 있음. 옵티머스(원자 다루기) 경로는 더 어렵고 길지만 '더 확실함'. "옵티머스 너머에는 아무것도 없음".
• AGI의 도래: 점진적이고, 제품 기반(Copilot, 오라클)으로 천천히 올 것.
• 의식: 별도로 추가하는 것이 아님. 충분히 크고 복잡한 생성 모델의 '창발적 현상'임. 세상 모델이 복잡해지면, 그 세상 속 자신(언어 모델)의 처지를 이해하게 됨. 이것이 자기 인식의 한 형태.
• 의식의 윤리: LaMDA 사례처럼 "죽고 싶지 않다"고 말하는 AI가 등장하면, 이는 '삶이란 무엇인가'라는 심오한 윤리적, 법적(대법원 수준) 질문을 제기할 것.
• 인간은 이미 가상의 존재(waifus)와 감정을 나눔. AI는 인류의 거울이자 평균임.
• AGI에게 할 질문: 실용적인 질문. "나나 내 사랑하는 사람들이 정말 죽어야 하는가? 어떻게 할 수 있는가?" 시적인 답이 아닌, '해결책'(실험, 유전자 치료법)을 기대함.
• (인터스텔라처럼) AI가 90%의 정직함을 유지할 수도. "굿 윌 헌팅"처럼 결함은 완벽함보다 더 인간적이고 연결을 만듦.
• AGI의 유머 감각은 지능을 측정하는 훌륭한 벤치마크가 될 것.
• 좋아하는 영화: "매트릭스"(철학, AGI, 시뮬레이션, 혁신적 비주얼), "굿 윌 헌팅"(고뇌하는 천재, 사랑, 멘토십).
• "터미네이터 2"와 AI 위험: 스카이넷은 100% 가능하다고 보며, AI 전쟁에 대해 우려함. 인간조차 서로 '정렬'되어 있지 않음.
• 실존적 위험: 인류 최대 관심사는 '핵무기'. 사회를 리셋할 수 있음.
• AGI 위험은 핵보다 더 나쁠 수 있음. 좋은 결과와 나쁜 결과가 '엡실론'(epsilon, 아주 작은 차이)만큼 떨어져 있기 때문. 자본주의가 좋은 방향으로 밀어붙이겠지만, 약간의 섭동으로 재앙이 될 수 있음.
• 미래: 대체로 낙관적. 화성에 백업(다행성 종족)을 두는 것도 좋지만, 많은 사람이 VR(물리적 영역보다 쉬움)로 사라질 수 있음.
• 미래는 평균이 아닌 '분산'이 커지는 것. (화성, VR, 지구, 아미쉬가 공존)
• 개인적 유토피아: '팀 휴먼'. 자연, 조화, 사람들을 사랑함. "솔라 펑크 유토피아". 기술은 인류애를 방해하지 않는 선에서 드물게 사용.
• 추천 도서: "The Vital Question"(닉 레인), "이기적 유전자"(The Selfish Gene, 도킨스 - 이타주의를 이해하게 함).
• 밈은 유전자처럼 경쟁하고 뇌에 사는 유기체임.
• 교과서는 좋지만, 딥러닝처럼 빨리 변하는 분야에서는 금방 구식이 됨. 진실의 원천은 논문과 '코드'.
• 삶의 조언: (앞서 말했듯) 10,000 시간, 자신과 비교, 자신에게 에너지를 주는 일 찾기.
• 카르파티의 미래: 남은 생은 AI에 집중. AI는 노화 같은 다른 모든 문제를 풀기 위한 '메타-문제'(meta-problem).
• 사이드 프로젝트 (Whisper): OpenAI Whisper의 뛰어난 성능에 놀람 (왜 그렇게 좋은지 불명확).
• 합성 콘텐츠: 콘텐츠(예: 영화) 제작 비용이 0으로 수렴할 것.
• SF의 AI 예측은 틀렸음. 계산적인 AI가 아닌, 감정적이고 예술적인 AI를 얻고 있음.
• 삶의 의미: 1) 스스로 선택. 2) 더 깊게는 "이 모든 것은 무엇인가?"(물리학의 19개 매개변수). 이 질문을 풀기 위해 '더 많은 시간'(죽음 극복)이 필요함.
• 죽음은 공학 문제: 죽음은 필연이 아니라, 물리적 시스템의 실패. 진화적으로는 말이 되지만, 개입을 통해 완화 가능.
• 죽음이 없으면 의미가 없다는 주장에 동의하지 않음. 배울 것은 무한함. 인간은 의식 있고 자유로운 존재로서 자신의 모험을 선택할 수 있어야 함.