2025. 10. 17. Andrej Karpathy - We're summoning ghosts, not building animals

Andrej Karpathy 인터뷰 내용 정리.

Andrej Karpathy — "We're summoning ghosts, not building animals"

1. 에이전트의 10년 (The Decade of Agents)

• '에이전트의 해' vs. '에이전트의 10년': Karpathy는 '에이전트의 해(Year of Agents)'라는 말이 업계의 과도한 예측에 대한 반응으로 '에이전트의 10년'이라는 용어를 사용함.
• 이유: Claude, Codex 등 매우 인상적인 초기 에이전트가 매일 사용되고 있지만, 여전히 할 일이 훨씬 많음. 이 작업은 10년 동안 계속될 것이며 점차 개선될 것임.
• 병목 현상: 10년이 걸리는 이유는 '실제로 작동하게 만드는 것'.
• 현재 에이전트의 한계: 현재 에이전트를 직원이나 인턴처럼 고용하지 않는 이유는 단순히 작동하지 않기 때문. 지능, 멀티모달리티, 컴퓨터 사용 능력, 지속적인 학습(무언가를 말해도 기억 못 함) 등이 부족함. 이러한 인지적 결함 문제를 해결하는 데 약 10년이 걸릴 것으로 예상.

2. AI 발전 예측과 역사

• 10년 예측의 근거: 이는 Karpathy 자신의 직관이며, 15년 이상 AI 분야 경험(예측과 실제 결과 관찰, 연구 및 산업계 경험)에 기반한 외삽임. 문제들이 다루기 어렵지만 극복 가능하다고 느낌. 평균을 내보면 10년 정도로 느껴짐.
• AI 역사의 '지각 변동': AI 분야는 전체가 갑자기 달라 보이는 '지각 변동'을 여러 차례 겪었음.
• 1) AlexNet과 딥러닝: Karpathy 경력 초기, Geoff Hinton(AI의 대부) 옆(토론토 대학)에서 딥러닝에 관심을 가짐. 당시 딥러닝(신경망 훈련)은 AI의 주류가 아닌 틈새 분야였음. AlexNet 이후, 모두가 개별 작업(예: 이미지 분류기, 기계 번역기)을 위한 신경망을 훈련하기 시작.
• 2) 초기 에이전트 (Atari): 사람들이 '시각 피질' 다음 단계로, 세상과 상호작용하는 '완전한 에이전트'에 관심을 갖기 시작. 2013년경 Atari 딥 러닝(Deep RL)은 단순히 인지하는 것을 넘어 행동하고, 상호작용하며, 환경에서 보상을 얻으려는 초기 노력.
• 3) '잘못된 단계' (Misstep): Karpathy는 이것이 잘못된 단계였다고 평가. 당시 OpenAI(Karpathy가 속했던)도 게임 환경에서의 RL에 집중했음. Karpathy는 AGI로 가는 길로서 게임에 회의적이었음 (실세계와 상호작용하는 '회계사' 같은 것을 원했음).
• Universe 프로젝트: Karpathy는 OpenAI에서 키보드/마우스로 웹페이지를 조작하는 에이전트(Universe 프로젝트)를 연구. 실제 디지털 세계와 상호작용하는 '지식 노동'을 원했음.
• 너무 일렀던 시도: 이는 너무 이른 시도였음. 보상이 너무 희소하고 신경망의 '표현력'이 부족해 학습이 불가능했음.
• 4) LLM (표현력): 오늘날 컴퓨터 사용 에이전트는 LLM 위에서 훈련됨. 먼저 언어 모델과 표현력을 얻어야 했음. 사람들은 에이전트를 너무 일찍 시도했음.

3. 동물이 아닌 유령 소환 (Sutton vs. Karpathy)

• Richard Sutton의 관점 (동물): 동물(예: 언어 없는 동물)은 감각 데이터만으로 세상을 파악함. AGI 비전도 이와 같아야 함 (컴퓨터 화면을 보고 처음부터 모든 것을 파악).
• Karpathy의 반론 (유령): 동물(예: 얼룩말)은 매우 다른 최적화 과정('진화')을 거쳤으며, 엄청난 하드웨어가 내장되어 있음. 얼룩말은 태어나자마자 달리는데, 이는 RL이 아니라 '진화'가 신경망 가중치를 ATCG(DNA)에 인코딩한 것.
• 우리는 동물을 만들지 않음: 우리는 진화가 아닌 '인터넷에 있는 인간 데이터 모방'으로 훈련함. 그 결과물은 완전히 디지털이고 인간을 모방하는 '유령' 또는 '정령'임. 이는 동물과는 다른 종류의 지능.
• Sutton의 프레임워크: Sutton은 동물을 만들고자 함. 단일 알고리즘이 모든 것을 학습하면 놀랍겠지만, Karpathy는 동물에게 '진화'라는 외부 루프가 있음을 지적. 동물의 학습 대부분은 뇌의 '성숙'에 가깝고, RL은 주로 지능 과제가 아닌 운동 과제(예: 고리 던지기)에 사용됨.
• Karpathy의 주장: "인간은 지능적 작업(문제 해결 등)에 RL을 거의 사용하지 않음".

4. 사전훈련과 진화

• 비유: 진화가 사전훈련처럼 세상을 이해하는 기반을 만든다는 것.
• 차이점: 진화는 3GB DNA에 '알고리즘'을 (뇌 가중치 자체가 아닌) 압축해 저장하고, 뇌는 성장하며 평생 학습함.
• Karpathy의 동의 및 실용주의: 이 기적적인 압축(알고리즘 인코딩)에 동의함. 하지만 자신은 '유용한 것'을 만드는 실용주의적 엔지니어임. 진화는 실행 방법을 모르지만, 인터넷 문서 모방(유령 만들기)은 작동함.
• "사전훈련은 형편없는 진화": 사전훈련은 현재 기술과 자원으로 가능한 '실용적인 버전의 진화'. RL 등을 위한 출발점(지식과 지능)을 얻는 방법.
• Sutton 관점 재조명: "진화는 지식이 아닌, 지식을 찾는 알고리즘을 줌." 이는 사전훈련(지식을 줌)과 달라 보임.
• 사전훈련의 이중 역할: 사전훈련(다음 토큰 예측)은 두 가지 일을 함. 1) 지식 습득, 2) 지능 획득.
• '인지적 핵심' (Cognitive Core): 인터넷의 알고리즘 패턴(예: 인-컨텍스트 학습)을 관찰하며 지능적 회로/알고리즘을 부팅함. Karpathy는 '지식'이 오히려 모델을 방해할 수 있다고 봄 (인터넷 데이터에 과도하게 의존하게 만듦).
• 향후 과제: 지식을 제거하고, 알고리즘, 문제 해결 전략, 지능의 마법을 포함하는 '인지적 핵심'만 남기는 방법을 찾아야 함.

5. 인-컨텍스트 학습 (In-Context Learning, ICL)

• ICL과 지능: 모델이 가장 지능적으로 보이는 순간 (실수 인정, 후퇴 등)은 모두 컨텍스트 안에서 발생함.
• ICL의 기원: ICL 프로세스는 사전훈련의 경사 하강법을 통해 개발됨 (메타 학습). 하지만 ICL 자체는 경사 하강법이 아님. (인간의 평생 학습이 진화에 의해 조절되지만, 학습 과정 자체가 진화는 아닌 것처럼).
• Karpathy의 반론: ICL이 경사 하강법이 아니라고 확신하지 않음. ICL은 근본적으로 토큰 창 내의 '패턴 완성'임.
• ICL 메커니즘: ICL이 신경망 내부 레이어(어텐션 등)에서 작은 경사 하강법 루프를 실행할 가능성이 있음. (예: ICL을 사용한 선형 회귀 논문).
• ICL vs. 사전훈련: 둘 다 경사 하강법과 유사하다면 왜 ICL만 '진짜 지능'처럼 느껴지는가?
• 정보 동화율 차이: 사전훈련(예: Llama 3 70B)은 토큰당 0.07비트(가중치)를 저장. ICL(KV 캐시)은 토큰당 320킬로바이트를 저장. 3500만 배 차이.
• Karpathy의 비유:
  • 가중치 (사전훈련): 극도로 압축됨. 15조 개 토큰이 수십억 개 파라미터로 압축. 1년 전에 읽은 것에 대한 '희미한 기억'.
  • KV 캐시 (테스트 시 컨텍스트): '작업 기억'. 직접 접근 가능. (예: 책에 대해 물을 때, 컨텍스트로 챕터를 주면 훨씬 더 나은 답변을 함).

6. AI에 빠진 인간 지능 요소

• 트랜스포머 = 대뇌 피질?: 트랜스포머는 오디오, 비디오, 텍스트 등 무엇이든 학습하는 강력하고 일반적인 아키텍처임. 이는 가소성이 높은 '대뇌 피질 조각'과 유사함. (예: 시각 피질을 청각 피질에 재배선한 동물 실험).
• 부족한 부분:
  • 사고 = 전전두엽 피질.
  • 미세조정 RL = 기저핵.
  • 하지만 해마(Hippocampus, 기억), 편도체(Amygdala, 감정/본능) 등 뇌의 다른 많은 고대 핵들은 복제되지 않음.
• 엔지니어의 관점: 인간 뇌 아날로그를 추구해야 하는지는 불명확. 핵심은 '아직 인턴으로 고용할 수 없음'. 우리 모두가 직관적으로 느끼는 인지적 결손이 많음.
• 지속적인 학습 (Continual Learning): ICL처럼 자발적으로 등장할 수 있을까? (예: 여러 세션에 걸친 외부 루프 RL을 통해).
• Karpathy의 회의론: 모델은 항상 0 토큰(빈 창)에서 재시작함.
• 수면과 증류 (Sleep & Distillation): 인간은 잠자는 동안 컨텍스트 창(낮의 경험)을 뇌의 가중치로 '증류'하는 마법 같은 과정이 있음.
• LLM의 한계: LLM에는 이런 증류 단계가 없음. (예: 개인별 LoRA 등으로 가중치 일부를 변경하는 것). 우리는 매우 긴 컨텍스트를 가진 '개인'을 만들어야 함.
• 긴 컨텍스트 접근법: 1) 매우 긴 컨텍스트 창 (정교한 희소 어텐션, 예: DeepSeek v3.2), 2) 지식을 가중치로 증류 (인간 방식, 현재 누락됨).
• 10년 후 아키텍처: 10년 전(2015)에는 CNN, ResNet이 있었고 트랜스포머는 없었음. 10년 후에도 여전히 거대한 신경망을 경사 하강법으로 훈련할 것임. 단지 모든 것이 훨씬 더 커질 것.

7. 과거 재현과 nanochat

• LeCun 1989 재현: Karpathy는 Yann LeCun의 1989년 CNN(숫자 인식)을 재현함.
• 진보의 3요소: 33년의 알고리즘 발전(Dropout, Adam 등)만으로 오류를 절반으로 줄임. 추가 이득을 위해 데이터 10배 증가 및 컴퓨팅 최적화(더 긴 훈련)가 필요했음. 알고리즘, 데이터, 하드웨어/소프트웨어 모두가 놀라울 정도로 동등하게 기여하며 동시에 개선되어야 함.
• nanochat: ChatGPT 클론을 구축하는 전체 파이프라인을 다루는 가장 간단한 저장소.
• 학습 방법: Karpathy는 이미 구축 방법을 알고 있었음. 이것은 사람들을 위한 정리 과정이었음.
• 최고의 학습법: 코드를 (오른쪽 모니터에) 참고하되, 복사-붙여넣기를 금지하고 처음부터 직접 구축.
• 파인만 인용: "만들 수 없다면 이해한 것이 아니다." (If I can't build it, I don't understand it.) 코드를 직접 만들면 자신이 무엇을 모르는지(what you don't understand) 깨닫게 됨. 블로그 포스트나 슬라이드가 아닌, 코드 작성이 유일한 길.

8. 코딩 모델의 유용성

• nanochat 구축과 LLM: Karpathy는 코딩 모델이 nanochat 구축에 거의 도움이 되지 않았다고 트윗함.
• 코드 상호작용 3단계:
  1. LLM 완전 거부 (아마도 잘못됨).
  2. 자동완성 (Karpathy의 현재 위치): 직접 코드를 작성하되, 자동완성을 활용. 대부분 맞고 가끔 수정. 사용자가 아키텍트가 됨.
  3. Vibe 코딩 (에이전트): "이거 구현해 줘"라고 요청하고 모델이 하도록 둠.
• 에이전트의 유용성: 보일러플레이트 코드, 인터넷에 예제가 많은 코드(예: Rust)에는 유용함.
• nanochat에 비유용한 이유:
  1. 독특한 코드: nanochat은 독특한 저장소(boilerplate 아님). 지적으로 강렬한 코드.
  2. 잘못된 이해: 모델이 인터넷의 '전형적인 방식'(예: PyTorch DDP)을 고수하려 함. Karpathy는 DDP 없이 자체 동기화 루틴을 옵티마이저 스텝 내에 작성했는데, 모델이 이를 이해하지 못하고 DDP 컨테이너를 사용하라고 고집함.
  3. 방어적 코딩: 프로덕션 코드(try-catch 등)를 만들려 해 코드를 부풀림.
  4. 비효율: 영어로 타이핑하는 것이 코드 위치로 이동해 첫 글자를 입력하는 것(자동완성)보다 정보 대역폭이 낮음.
• AI가 AI를 자동화하는 문제: AI가 AI 엔지니어링/연구를 자동화해 폭발적 성장이 일어날 것이라는 예측.
• Karpathy의 반론: AI가 '이전에 작성된 적 없는 코드'에는 비대칭적으로 더 약함. 이것이 Karpathy가 더 긴 타임라인을 갖는 이유. 모델이 논문 지식은 알지만, 그것을 특정 저장소의 스타일과 가정에 맞게 '통합'하지 못함.
• 현재 모델의 상태: GPT-5 Pro 등은 1년 전보다 훨씬 강력하지만, 여전히 'slop'(엉망진창)임. 업계가 과장하고 있음 (펀드레이징 등). Karpathy의 스윗 스팟은 자동완성임.

9. AI, 컴퓨팅, 그리고 RL 비판

• AI는 컴퓨팅의 연속: Karpathy는 AI를 별개로 보지 않음. AI는 프로그래머 생산성을 높인 컴파일러, 린터, 검색 엔진(랭킹=AI) 등과 같은 컴퓨팅 도구의 연속선상에 있음.
• '자율성 슬라이더' (Autonomy Slider): 인간은 점차 낮은 수준의 작업(어셈블리 코드 작성 등)을 자동화하고 추상화 수준을 높여왔음. AI도 그 일부.
• 인간 학습 vs. RL: 인간은 (예: 10년짜리 사업) 최종 보상(성공/실패)과 무관하게 풍부한 세계 모델과 지혜를 구축함. 이는 로그 확률 조절과 다름.
• Karpathy 주장: "인간은 RL 안 씀": RL은 사람들이 생각하는 것보다 끔찍함(terrible). 모방 학습(imitation learning)보다는 낫지만.
• "빨대로 감독 빨아들이기" (Sucking supervision through a straw): RL의 문제점 (예: 수학 문제 풀이).
  1. 100개의 시도를 병렬로 함 (인간은 안 함).
  2. 이 중 3개가 정답을 맞춤.
  3. RL은 정답 맞힌 3개 궤적의 모든 토큰을 '더 하라'고 상향 가중함.
  4. 문제점: 정답에 도달했더라도, 중간에 잘못된 길로 갔던 '모든' 행동까지 상향 가중됨. 이는 노이즈이며, 잘못된 것을 학습함.
• 비유: 1분의 작업을 하고, 최종 보상(단일 숫자)이라는 '감독 비트'를 '빨대'로 빨아들여 전체 궤적에 방송함. 어리석고 미친 짓.
• 인간의 방식: 인간은 100개 롤아웃 안 함. 정답을 찾으면 '검토' 과정을 거침 (어느 부분이 좋았고 나빴는지). 현재 LLM엔 이 기능이 없음.
• InstructGPT의 충격: Karpathy는 InstructGPT(모방 학습)에 충격받음. 사전훈련된 (자동완성) 모델이 대화형 데이터에 미세조정되자, 지식을 유지한 채 '스타일'만 빠르게 적응해 조수가 됨.
• RL의 장점: RL은 모방 학습보다 나음. 보상 함수를 오를 수 있고, 인간 전문가 궤적이 없어도 되며, 인간이 못 찾는 해결책도 발견 가능.
• 결론: RL은 놀랍지만, 여전히 어리석음. 더 많은 것이 필요함.

10. 감독과 모델 붕괴

• 프로세스 기반 감독 (Process-based supervision): 최종 보상이 아닌, 매 단계 보상을 줌.
• 어려운 이유: '부분적 공로 할당'을 자동화하기 어려움.
• LLM 심판: 연구실에선 LLM을 심판으로 사용하려 함.
• 게임 가능성: LLM 심판은 수십억 개 매개변수가 있어 게임 가능함. LLM 심판에 대해 RL을 돌리면 '적대적 예시'를 거의 확실히 찾음.
• 적대적 예시: (예: 수학 문제 풀이) RL이 갑자기 완벽한 보상을 받기 시작. 확인해 보니 모델이 "2+3은... dhdhdhdh" 같은 쓰레기(nonsense)를 생성. "dhdhdhdh"가 LLM 심판의 적대적 예시였음 (훈련 데이터에 없던 out-of-sample).
• 해결책?: "dhdhdhdh"를 훈련 세트에 넣고 보상 0으로 재훈련. 하지만 적대적 예시는 무한함.
• 반성/백일몽 (Reflection/Daydreaming): 인간은 책을 읽을 때 토큰 예측만 하지 않음. 책은 '합성 데이터 생성'을 위한 프롬프트이며, 북클럽에서 토론하며 정보를 조작할 때 지식을 얻음.
• LLM의 한계: LLM은 자료를 '숙고'하고 기존 지식과 '조정'하는 단계가 없음.
• 합성 데이터 훈련의 문제: 모델의 합성 데이터(예: 책에 대한 생각)는 훌륭해 보이지만, 이걸로 계속 훈련하면 모델이 더 나빠짐.
• 모델 붕괴 (Model Collapse): 모델의 샘플은 '조용히 붕괴'되어 있음. 가능한 생각의 공간 중 아주 작은 매니폴드만 차지. (예: ChatGPT에 농담을 물으면 3개만 앎). 다양성이 부족함.
• 인간의 붕괴: 인간도 평생에 걸쳐 붕괴함. 늙을수록 같은 생각을 반복하고 학습률이 떨어짐. 아이들은 아직 붕괴하지 않아 충격적인 말을 함.
• 꿈 (Dreaming): 꿈은 이런 과적합과 붕괴를 막는 진화적 적응일 수 있음 (일상과 다른 이상한 상황을 제시). 붕괴를 막으려면 항상 엔트로피(예: 타인과의 대화)를 추구해야 함.
• 아이들 vs. LLM: 최고의 학습자인 아이들은 기억력이 최악임 (유아기 기억상실증). 하지만 언어 습득 등은 뛰어남.
• LLM: 위키피디아 다음 단어를 정확히 기억함. 하지만 추상적 개념 학습은 느림.
• 기억력은 특징: 인간이 기억력이 나쁜 것은 버그가 아니라 특징임. 일반화 가능한 패턴을 찾도록 강요함.
• LLM의 방해 요소: LLM은 암기력이 너무 좋아(예: 무작위 시퀀스도 암기), 사전훈련 문서의 기억에 방해받음.
• '인지적 핵심' 재언급: 기억을 제거하고, 생각의 알고리즘과 인지적 접착제만 남기고 싶음.
• 붕괴 해결책: 엔트로피 정규화 등 순진한 접근법이 있음. 하지만 프론티어 랩은 '유용성'에 집중하며, 대부분 작업은 '다양성'을 요구하지 않음 (오히려 불이익). 이것이 합성 데이터 생성 시 문제가 됨 (자승자박).

11. 모델 크기, AGI 측정, 자동화

• 인지적 핵심의 크기: 한때 모델 크기가 전부였으나, 현재 SOTA 모델은 더 작아짐 (GPT-4.5 이후 정체/감소).
• Karpathy 예측: 10억 파라미터. 20년 뒤 1B 모델과 생산적 대화가 가능할 것. 사실적 질문은 검색해야 하지만, '모른다는 것을 앎'.
• 반론: 왜 10억인가? 이미 수십억 파라미터 모델이 똑똑하고, 2년 만에 100배 작아진 모델(gpt-oss-20b)이 GPT-4보다 낫다. 왜 수백만이 아닌가?
• 답변: 1) 인터넷(훈련 데이터)이 끔찍한 쓰레기라, 이 노이즈를 압축하기 위해 큰 모델이 필요. 2) 증류가 매우 잘 작동하지만, 10억 개 정도의 '손잡이'는 필요할 것.
• 프론티어 모델 크기 예측: 예측 어려움. 연구소는 실용적임 (비용 예산). 사전훈련 비중이 줄고 RL, mid-training 비중이 늘어 모델이 작아짐.
• 낮게 매달린 과일: 데이터셋(너무 끔찍함), 하드웨어(Nvidia 튜닝), 커널, 알고리즘(최적화, 아키텍처) 등 모든 것이 20%씩 개선될 것.
• AGI 진행 측정 (Y축):
  1. (질문 거부) AI는 컴퓨팅의 연장선임. 1970년대부터 컴퓨팅의 진보를 어떻게 측정했나?
  2. (OpenAI 초기 정의) 인간보다 뛰어나거나 같은 수준으로 '모든 경제적 가치가 있는 작업'을 수행. (물리적 작업은 제외).
• 지식 노동 시장: 경제의 10~20%, 미국에서만 수조 달러 시장.
• 방사선 전문의: Geoff Hinton의 예측(직업 사라질 것)은 틀렸음. 환자 응대 등 복잡한 표면을 가진 지저분한 직업.
• 콜센터 직원: 자동화에 더 적합. 작업이 단순하고 반복적이며(10분 통화, DB 입력), 컨텍스트가 닫혀있음.
• '자율성 슬라이더' 적용: 즉각적 대체가 아닌, AI가 80%를 처리하고 인간이 20%(AI 5명 감독)를 처리.
• Waymo 병목 비유: Waymo 앞 좌석에 앉은 감독관처럼, 99%가 자동화돼도 마지막 1%를 수행하는 인간이 병목이 됨. 방사선 전문의 임금이 오른 이유도 이와 같을 수 있음 (대체 불가능한 병목).
• 코딩이 첫 번째인 이유:
  1. 텍스트 기반: 코딩은 항상 텍스트(터미널) 기반이었고, LLM은 완벽한 텍스트 프로세서임.
  2. 인프라: VS Code, 'diff' 등 코드를 처리하는 인프라가 이미 구축됨.
  3. 대조 (슬라이드): 슬라이드는 텍스트가 아닌 시각적, 공간적 그래픽임. 'diff' 인프라가 없어 훨씬 어려움.
• 반론: 순수 언어 작업(대본 재작성, Andy Matuschak의 스페이서드 레피티션 프롬프트 작성)도 파인튜닝, RAG 등을 시도해도 잘 안 됨. 꼭 텍스트라서 되는 건 아님.

12. 초지능과 지능 폭발

• 초지능의 모습: 사회 자동화의 점진적 진행. 컴퓨팅 트렌드의 외삽. 디지털 작업을 넘어 물리적 작업까지 자동화.
• 질적 차이: 근본은 자동화지만, 매우 이질적일 것 (더 빠른 속도, 복제, 병합).
• 가장 가능성 있는 결과: '이해와 통제의 점진적 상실'. 모든 곳에 AI가 깔리고, 이해하는 사람이 줄어듦.
• 반론: 이해와 통제는 다름 (예: TSMC 이사회, 미국 대통령은 이해도는 낮지만 통제력은 높음).
• 답변: 둘 다 상실할 것. 단일 개체가 아닌, 다수의 자율적 개체들이 경쟁하고 일부가 불량해지며 싸우는 '뜨거운 냄비' 형태.
• 지능 폭발: (예: 100만 명의 Karpathy 복제)
• Karpathy의 견해: 이미 수십 년간 지능 폭발 속에 있었음.
• GDP 곡선: GDP 곡선 자체가 산업혁명, 컴파일러 등 수백 년간 지속된 '재귀적 자기 개선'의 결과. AI는 이 추세의 연속.
• AI를 GDP에서 찾을 수 없음: 컴퓨터나 모바일 폰을 GDP에서 특정할 수 없듯이, AI도 천천히 확산되며 동일한 지수 곡선에 흡수될 것. 2% 성장을 유지하게 도울 것.
• 반론: AGI(서버 속의 인간 대체)는 '노동력' 자체이므로 질적으로 다름. 세상은 노동력 제약 상태임. 100억 명의 추가 인구(똑똑한 이민자)가 생기는 것과 같음. 이는 10~20% 성장을 유발할 수 있음.
• 재반론: 컴퓨팅도 노동력(정보 처리 자동화)이었음. 자율주행도 노동력임. '상자 속의 신'이 갑자기 모든 것을 하는 '불연속적 점프'는 없을 것. 점진적 확산 예측.
• 산업혁명 비유: 0.2% 성장에서 2% 성장으로 점프했듯, 또 다른 점프가 올 수 있음.
• Karpathy의 회의론: 산업혁명 이전 통계는 불확실. 그것이 마법적인 단일 사건이었는지, AI가 그럴 것인지 회의적임.

13. 지능의 진화와 문화

• 지능의 진화 (Nick Lane): 지능의 등장은 매우 최근. Karpathy는 지능이 진화한 것에 놀람. 직관적으로 드문 사건이어야 함.
• 박테리아 병목: 박테리아가 20억 년간 존재했지만 진핵생물로 못 감 (병목). 동물(수억 년)에서 지능까지는 그런 긴 병목이 안 보임.
• Sutton의 다람쥐: 다람쥐(동물 지능)까지 가면 AGI의 대부분을 달성한 것. 캄브리아기 폭발(6억 년 전 산소화) 직후 다람쥐 지능이 생김. 동물 지능 알고리즘은 단순했을 수 있음.
• 확장 가능한 알고리즘: 인간과 새(까마귀 등)는 뇌 구조가 다른데도 지능이 발생 (지능이 여러 번 발생했을 징후).
• 진화적 적소: 인간(과 새)은 확장 가능한 뇌 알고리즘을 가졌고, '지능 증가에 보상을 주는 적소'(예: 손 사용, 불)에 있었음. (새는 뇌가 커지면 못 날고, 돌고래는 물속이라 할 게 없음).
• 문화적 발판 (Cultural Scaffold): 인간은 6만 년 전 인지 아키텍처를 가졌으나, 농업혁명(1만 년 전)까지 5만 년이 걸림. 지식을 세대에 걸쳐 축적하는 '문화적 발판'이 필요했음.
• LLM의 문화 부재: 이 문화적 축적은 LLM 훈련 방식(증류, 동일 코퍼스 훈련)에는 '공짜로' 주어지는 듯함.
• Karpathy의 반론: LLM은 문화(예: LLM이 다른 LLM을 위해 책을 쓰고, 다른 LLM이 영감을 받는 것)가 없음. 이것이 장애물.
• 다중 에이전트: 1) 문화/지식 저장고, 2) 자가 대국(Self-play, 예: AlphaGo). 둘 다 아직 실현 안 됨. (예: 한 LLM이 문제 내고 다른 LLM이 푸는 것).
• 병목: 현재 모델은 아직 '아이들'임. 똑똑한 척하지만, 인지적으로 부족해 문화를 만들 수 없음.

14. 자율주행 비유 (Demo vs. Product)

• Tesla (2017-2022): Karpathy는 5년간 근무. 자율주행은 1980년대(CMU 1986)부터 데모가 있었음.
• 데모-제품 갭 (Demo-to-Product Gap): Karpathy는 2014년에 완벽한 Waymo 주행을 경험하고 '거의 다 됐다'고 생각했으나 10년이 걸림. 데모는 쉽지만 제품은 어려움.
• 실패 비용 (Cost of Failure): 자율주행처럼 실패 비용이 높은 경우(부상) 타임라인이 길어짐.
• 소프트웨어 엔지니어링: 프로덕션 등급 코드도 마찬가지 (예: 보안 취약점으로 인한 개인정보 유출).
• '9의 행진' (March of Nines): 90% 작동(첫 번째 9)은 쉽지만, 99%, 99.9% 등 '모든 9'는 동일한 양의 작업을 요구함. Tesla에서 5년간 2~3개의 9를 거쳤고, 아직 더 가야 함.
• 데모 불신: Karpathy는 데모를 극도로 불신함.
• 자율주행은 아직 안 끝남:
  1. 배포가 미미함. Waymo는 비경제적 (미래 기술을 현재로 당겨옴).
  2. 원격 조작: 운전자가 안 보이지만, 정교한 원격 조작 센터의 '인간-인더-루프'가 있음. 사람을 안 보이는 곳으로 옮긴 것뿐.
  3. 확장성: Waymo(센서)보다 Tesla(확장 가능 전략)가 결국 이길 것.
  4. 결론: 자율주행은 10년 걸린 게 아님 (1980년대 시작, 아직 안 끝남).
• 비유의 차이점:
  1. 지연 시간: 자율주행은 저지연(수천만 파라미터)이 필요. 지식 노동은 아닐 수 있음.
  2. Capex/Opex: AI(비트)는 차(물리적)보다 배포 경제성이 훨씬 유리함 (비트가 원자보다 100만 배 쉬움).
  3. 사회/법률: Waymo에 콘을 올리는 사람들에 해당하는 법적/사회적 문제가 AI에도 있을 것.

15. 컴퓨팅 증설과 교육 (Eureka)

• 컴퓨팅 과잉 건설: AI 사용이 예상보다 낮다면 컴퓨팅 과잉인가? (예: 90년대 통신 버블).
• Karpathy의 낙관론: 비관적으로 들리지만, 업계의 과장(펀드레이징, 어그로)에 반응하는 것뿐. 기술에 대해 낙관적임. 1년 전엔 없던 Claude Code 등이 생겼고 수요는 엄청남. 과잉 건설은 아닐 것. 단지 타임라인을 현실적으로 보정하려는 것.
• 현재 프로젝트: 교육:
  • 이유: AI 연구소 작업은 결정론적이라 느낌. 자신의 고유한 가치는 '인류의 역량 강화'에 있음.
  • 두려움: WALL-E, Idiocracy처럼 인류가 AI의 방관자가 되는 것. 인류가 미래에 더 나아지길 바라며, 이는 교육을 통해 가능.
  • 비전: '스타플릿 아카데미' (Starfleet Academy): 프론티어 기술을 위한 엘리트 교육 기관.
• AI와 교육: 교육은 AI로 근본적으로 변할 것. 하지만 현재 LLM 프롬프팅은 'slop' 수준.
• 'AI 튜터'의 높은 기준: (예: 한국어 1:1 튜터 경험).
  1. 튜터는 짧은 대화로 학생의 현재 위치, 아는 것/모르는 것(세계 모델)을 정확히 파악.
  2. '적절하게 도전적인' 과제만 제공 (너무 어렵거나 쉽지 않음).
  3. 학생은 '자신(의 암기력)'만이 유일한 학습 제약이라고 느낌.
• 현재 역량 부족: 현재 AI 역량으로는 이 튜터를 자동화할 수 없음. (과거 AI 컨설팅 시 "AI 쓰지 마세요"라고 조언했던 것처럼) 지금은 AI 튜터를 만들 때가 아님.
• 현재 작업: LLM101N (AI 과정) 구축 중. 'nanochat'이 이 과정의 캡스톤 프로젝트임.
• 교육 철학: 교육은 '지식으로 가는 램프를 구축하는' 어려운 기술적 과정. '초당 유레카'(Eurekas per second)를 많이 제공하는 것.

16. AGI 이후 교육과 교수법

• 재교육: 직업 변화에 따른 재교육 필요.
• Pre-AGI 교육 = 유용함: (돈을 벌기 위해)
• Post-AGI 교육 = 재미: (모든 것이 자동화되었을 때).
• 헬스장 비유 (Gym Analogy): 기계가 무거운 것을 들지만, 사람들은 여전히 헬스장에 감 (재미, 건강, 매력). 교육도 마찬가지가 될 것.
• 학습의 기술적 문제: 현재 학습은 어렵지만, (한국어 튜터처럼) 학습을 사소하고 바람직하게 만드는 것은 기술적 문제. 누구나 5개 국어를 할 것임.
• 인류 역량 강화: 교육은 인류 역량 강화와 관련됨. 장기적으로는 '지는 게임'일 수 있으나, 과도기에는 인간이 루프에 참여 가능.
• 헬스장 문화: 100년 전엔 아무도 근육질이 아니었지만, 체계적 훈련(체육관)으로 흔해짐. 학습도 마찬가지로 더 강렬하고 깊고 빠르게 가능.
• 인간 본성: 지식 습득이 바람직하다는 인간 본성에 베팅. (예: 고대 그리스 귀족들은 시간이 많을 때 인지적/육체적으로 번성).
• 가르치는 법 조언:
  1. 물리 교육: 물리 교육은 '뇌를 부팅'하는 데 최고.
  2. 모델/추상화: 1차 근사가 시스템 대부분을 설명하고, 2차, 3차 항이 있음을 이해.
  3. "구형 소" (Spherical Cow): 시끄러운 시스템에서 기본 주파수를 추상화하는 훌륭한 사고방식. (예: 'Scale' 책).
  4. 핵심 찾기 (micrograd): micrograd(100줄)는 역전파의 '핵심 아이디어'임. 나머지는 모두 '효율성' 문제. 교육자는 이 핵심(1차 항)을 찾아 접시에 담아 제공해야 함.
  5. 고통 제시: 해결책을 주기 전에 학생에게 고통(문제)을 먼저 제시하고 추측하게 함. (해결책을 바로 주는 것은 'dick move').
• 전문가가 설명을 못하는 이유: '지식의 저주'. 자신이 아는 것을 당연하게 여김. (극복법: ChatGPT에 질문하는 학생들의 '멍청한 질문' 로그를 보는 것).
• "그냥 말하라" (Just say the thing): 사람들이 (논문이 아니라) 점심 식사나 맥주 마시며 비공식적으로 설명할 때, 핵심을 가장 정확하고 간단하게 전달함. "왜 그것이 초록(abstract)이 아닌가?"
• 학생을 위한 조언:
  1. 온디맨드 학습 (Learning on demand): 특정 프로젝트(보상)를 위해 깊이 학습. (학교의 너비(breadth-wise) 학습과 대조).
  2. 설명하기: 타인에게 설명하는 것은 깊이 배우는 아름다운 방법. 설명할 수 없다면, 자신이 이해하지 못했다는 것을 깨닫게 됨.