다리오 아모데이 — 지수곡선의 끝: AGI 1-3년 직감과 컴퓨트 경제학

개요

• Dwarkesh Patel 팟캐스트 3년 만 재출연, 약 2시간 20분 대담
• 핵심 주장: 기술 지수곡선은 예상대로 진행 중이며 곧 끝(포화)에 근접 — 가장 놀라운 건 이 사실에 대한 대중 인식 부재
• 축은 넷: 스케일링 가설의 현재형(RL 스케일링), AGI 타임라인, 확산·생산성 논쟁, 컴퓨트 경제학·산업구조. 후반부는 정책·미중·컨스티튜션·조직 운영

핵심 내용

스케일링 가설 — 빅 블랍 오브 컴퓨트

• 2017년 빅블랍오브컴퓨트 가설을 지금도 유지: 2017년 GPT-1 직후 작성한 The Big Blob of Compute Hypothesis 문서의 가설을 지금도 유지 — 기법·트릭보다 소수 요소만 중요
  • 7요소: 원시 컴퓨트, 데이터 양, 데이터 품질·분포(넓은 분포 필수), 훈련 기간, 무한히 스케일 가능한 목적함수(사전학습·RL), 수치 안정화(normalization·conditioning) 2가지
  • 2년 뒤 나온 Rich Sutton의 The Bitter Lesson과 같은 골자
• RL 스케일링도 사전학습처럼 로그선형 패턴 확인: RL 스케일링도 사전학습과 동일 패턴 확인 — AIME 등 수학경시 성능이 훈련량에 log-linear, 수학뿐 아니라 광범위 RL 태스크에서 동일
• RL 환경 목적은 스킬 주입 아닌 GPT식 일반화 전이: RL 환경 구축의 목적은 개별 스킬 주입이 아니라 일반화 — GPT-1(팬픽션 약 10억 단어, 좁은 분포, 일반화 실패)에서 GPT-2(Common Crawl·Reddit 링크 스크랩)로 넘어가며 일반화가 열린 것과 같은 전이가 RL에서 진행 중(수학경시 → 코드 → 광범위 태스크)
• 샘플 효율성 퍼즐(인간은 수조 토큰 안 봄)에 대한 답: 사전학습·RL은 인간의 진화와 개체 학습 사이의 중간 존재, 인컨텍스트 러닝은 장기 학습과 단기 학습 사이 — LLM의 학습 단계들이 인간 학습 스펙트럼의 다른 지점에 위치할 뿐

AGI 타임라인 — 데이터센터 속 천재들의 나라

• 10년내 AGI 확신 90%, 상한 95%: 10년 내 실현에 90% 확신 — 2019년엔 50/50이었음. 불가항력 리스크(복수 기업 내부 혼란, 대만 침공·팹 파괴 등) 감안하면 상한 95%
• 잔여 5%는 검증불가 태스크 코딩은 1-2년내 확신: 잔여 5%의 본질은 검증 불가 태스크 — 화성 미션 기획, CRISPR급 근본 발견, 소설 집필. 검증 가능 영역(코딩)은 1-2년 내 도달 확신, 검증→비검증 일반화는 이미 상당히 관측됨
• AGI 직감 1-2년 길면 1-3년 전망 유지: 직감(50/50)으로는 1-2년, 길게는 1-3년 — Machines of Loving Grace의 2026년, 늦으면 2027년 전망 유지, 1-2년 오차 가능성 인정
• 지금은 AGI 아님을 명확히 부인: 지금은 AGI 아님을 명확히 — 데이터센터 속 천재들의 나라가 있다면 이 방의 모두, 워싱턴의 모두가 알 것
• AI 에디터 무차별화 시점도 1-3년 직감: 6개월 근속 인간 에디터와 무차별해지는 AI(비디오 편집 사례) 시점도 1-3년 직감, 10년 내엔 95-99%
  • 전제 조건은 컴퓨터 유즈 숙련 — OSWorld 벤치마크 1년 3개월 만에 약 15%에서 65-70%로 상승, 아직 신뢰성 관문 통과 필요

코딩과 생산성 논쟁

• 코드 90% AI작성 예측 실현 SWE감소와는 별개: 8-9개월 전 예측(3-6개월 내 코드 90% AI 작성)은 Anthropic 내부 등에서 실현 — 단 이는 매우 약한 기준이며 SWE 90% 불필요와는 별개
  • 스펙트럼: 코드 90% 작성 → 100% 작성 → end-to-end SWE 태스크(컴파일·클러스터 셋업·테스트·메모 작성 포함) 90% → 100% → SWE 수요 90% 감소. 이 스펙트럼을 매우 빠르게 통과 중
  • end-to-end SWE(기술 방향 설정·문맥 이해 포함 전부)를 1-2년 내 모델이 수행 가능해질 수 있다고 전망
• 외부연구 생산성 하락 반박 내부는 순가속: 외부 연구(숙련 개발자가 체감상 생산성 상승을 보고했지만 실제 머지 기준 20% 하락) 반박 — Anthropic 내부에선 명백한 순가속
  • 생존 압박(10배 매출 곡선+안전 비용) 하에서 자기기만 여지 없음, GPU 커널·칩 코드를 Claude가 대신 작성, 코드 안 쓰는 엔지니어 존재
• 코딩 가속 15-20%로 상승 스노우볼식 전망: 코딩 모델의 total factor 가속 현재 15-20%, 6개월 전 5% — 스노우볼 모델로 10, 20, 25, 40%로 가속 전망. Amdahl 법칙상 루프를 막는 요소 제거가 관건
• 연속학습은 1-2년내 해결 가능성: 연속학습(continual learning)은 1-2년 내 해결 가능성 크고, 애초에 장벽이 아닐 수도
  • 사전학습·RL 일반화+긴 컨텍스트만으로 상당 부분 도달 가능 — 100만 토큰은 인간 며칠-몇 주 독서량, 컨텍스트 내 실질 학습 발생
  • 컨텍스트 연장은 연구 문제가 아니라 엔지니어링·인퍼런스 문제(KV 캐시 메모리 관리, 훈련 컨텍스트와 서빙 컨텍스트 불일치가 열화 원인)
  • ML 역사에서 장벽 주장(구문은 되나 의미는 안 됨, 추론 불가 등)은 대부분 컴퓨트 블랍 속으로 용해돼 온 전례

확산 속도 — 빠르지만 무한히 빠르진 않음

• 매출 궤적: 2023년 0에서 1억 달러, 2024년 10억, 2025년 90억-100억 달러로 연 10배 성장, 2026년 1월 한 달에만 수십억 달러 추가
• 확산은 변명이라는 지적에 반론: 확산은 코프(변명)라는 지적(AI는 Slack·드라이브 통째 흡수, 검증된 카피 고용 가능 — 인간 고용보다 쉬워야 하고 인간 임금 총액은 연 50조 달러)에 대한 반론
  • Claude Code조차 대기업 도입엔 법무·보안·컴플라이언스·조달 절차, 5,000만 달러 지출 설득, 3,000명 개발자 롤아웃 설계 필요 — 역대 기술 대비 최고 속도지만 무한속도 아님
  • AGI도 무한히 매력적인 상품은 아님 — 수천억 달러 매출 규모에서 연 3-5배 또는 10배 성장 정도가 상한이라는 스타일라이즈드 전망
• 기술곡선과 경제확산곡선 분리 최대 5년 지연: 기술 지수곡선과 그 하류의 경제 확산 지수곡선 2개가 분리돼 존재 — 천재들의 나라 등장에서 수조 달러 매출까지 1-2년, 최대 5년 지연 가능(회의적이지만). 그래도 2030년 전 수조 달러 매출 미달 시나리오는 상상하기 어려움
• 로보틱스는 인간형 학습에 비의존 확산은 1-2년 추가: 로보틱스는 인간형 학습에 비의존 — 시뮬레이션·게임·컴퓨터 제어 훈련의 일반화, 연속학습, 인컨텍스트 학습 어느 경로로든 가능. 로봇 설계와 제어 모두 혁명, 확산엔 1-2년 추가

컴퓨트 경제학 — 파산 리스크와 수익성의 구조

• 산업 전체 컴퓨트: 올해 10-15GW 구축, 연 3배 성장 — 내년 30-40GW, 2028년 약 100GW, 2029년 약 300GW, GW당 100억-150억 달러 → 2028-29년 연간 수조 달러 규모
• 선구매의 비대칭 리스크: 10배 성장 가정으로 2027년 말 1조 달러 매출을 믿고 연 1조 달러 컴퓨트(5년 5조 달러)를 계약했는데 실제 매출이 8,000억 달러면 파산을 막을 헤지는 지구상에 없음
  • 성장률이 10배가 아니라 5배거나 타이밍이 1년만 어긋나도 파산 — 그래서 수천억 규모로 절제, 강한 업사이드 일부 포기
  • 책임 있는 스케일링의 실체 = 절대액이 아니라 스프레드시트를 실제로 써봤는가. 엔터프라이즈 매출(컨슈머보다 안정)+높은 마진이 완충
• 수익성 토이 모델: 연 100억 달러 단위 컴퓨트를 절반 훈련·절반 인퍼런스에 배분, 인퍼런스 그로스마진 50% 초과 가정 시 수요 예측만 맞으면 구조적 흑자
  • 모델 단위론 이미 흑자 — 작년 10억 달러로 훈련한 모델이 올해 40억 달러 매출·10억 달러 인퍼런스 비용(마진 75%). 회사 적자는 차기 모델에 100억 달러를 쓰는 지수 스케일업 탓
  • 흑자·적자는 수요 예측 오차의 함수 — 과소예측이면 흑자·연구 컴퓨트 부족, 과대예측이면 적자·연구 컴퓨트 풍부. 2028년 흑자 계획도 이 불확실성 원뿔 안의 최선 추정
• 훈련투자 수확체감 훈련비중은 중간에서 균형: 훈련 투자엔 log-linear 수확체감 — 훈련 비중을 70%로 올려도 1.4배 컴퓨트는 모델을 조금만 개선, 그 돈은 인퍼런스 서빙·인력에 쓰는 게 나을 수 있음 → 훈련 비중은 5%도 95%도 아닌 중간 어딘가로 균형
• 경제성장률이 컴퓨트성장 상한, 지리적 격차: 경제성장률 전망은 연 10-20% — 컴퓨트의 연 300% 성장을 경제가 따라갈 수 없어 결국 경제 규모가 상한. 실리콘밸리 인접권만 50% 성장하고 나머지는 제자리인 지리적 격차 세계를 우려, 방지책 고민 중

산업구조·비즈니스 모델

• 과점 균형 전망: 클라우드처럼 진입비용(자본+전문성)이 만든 3-4사 구조, Cournot 균형이라 마진이 0으로 수렴하지 않음 — 게다가 모델은 클라우드보다 차별화 큼(코딩 스타일까지 상이)
  • 반례 가능성 하나: AI가 AI를 만드는 능력 자체가 확산되면 모델 커머디티화가 아니라 경제 전체의 해자 소멸 — 천재들의 나라 이후의 먼 문제
• API모델은 내구적 챗봇 한계는 제품표면 문제: API 모델은 생각보다 내구적 — 3개월마다 새 유즈케이스 표면이 생기는 지수 기술에선 베어메탈에 가까운 실험 접점이 항상 필요. 챗봇은 이미 지능 향상의 한계효용 저하, 이는 모델이 아니라 제품 표면의 한계
• 토큰 가치차등화 성과과금으로 진화 전망: 토큰 가치 차등화가 과금 진화의 방향 — Mac 재부팅 안내 토큰은 몇 센트, 제약사에 분자 구조 수정 조언하는 토큰은 수천만 달러 가치 → 성과 과금(pay for results)·시급형 노동 과금 실험 전망
• Claude Code 탄생: 2025년 초 자사 연구 가속 가능 판단 → 내부 실험 장려 → Claude CLI가 내부 전원 사용 도구화 → 내부 PMF 확인 후 출시. 수백 명 내부 개발자의 즉각 피드백 루프가 카테고리 리더의 배경

정책·지정학·거버넌스

• 주법 대 연방: 테네시의 AI 감정지원 금지 법안은 멍청하지만, 연방 계획 없이 주 규제만 10년 금지하는 모라토리엄은 미친 짓 — 연방이 실제 표준을 세우고 주가 이탈 못 하게 하는 프리엠션이면 지지
  • 순서: 투명성 표준 먼저 → 리스크 실증 시(이르면 올해 후반) 바이오분류기 의무화 등 표적 입법으로 신속 대응. Adolescence of Technology 집필 목적이 정책권의 속도 제고
  • 규제 걱정의 진짜 방향은 FDA — AI가 신약 발견을 가속하면 승인 파이프라인이 병목, 명확한 안전성·유효성 시대에 맞는 규제 개혁 필요
• 대중 수출통제: 국가안보상 명백한데도 팔리는 이유는 돈 — 반대 논리는 fishy. 칩·데이터센터는 중국에 불가, 치료제 판매는 가능, 아프리카 데이터센터는 중국 소유만 아니면 적극 찬성
• 미중 동시 AGI의 위험: 공격우위 세계에선 핵보다 위험, 양측이 서로 승률 90%로 오판하면 충돌 확률 급등. 핵억지 안정성·공세적 사이버 우위 같은 지수곡선 위의 임계점들을 민주주의 연합이 먼저 통과해 룰 세팅에서 강한 패를 쥐어야 한다는 입장
  • 권위주의 전복론은 탐색이었을 뿐 미지지 — 다만 AGI 시대의 권위주의는 더 중대한 문제가 되며, 산업화가 봉건제를 붕괴시켰듯 기술이 독재를 도덕적으로 구식화할 가능성에 희망. 개인용 감시 방어 AI 균형 같은 시도 10개를 던져보자는 태도
• 컨스티튜션 설계: 규칙 나열보다 원칙 학습이 일관성·엣지케이스 일반화에서 우월(실증적 결론). 모델은 대체로 corrigible하게 지시를 따르되 위해 요청만 원칙 기반으로 거부
  • 개선 루프 3중: 내부 반복 훈련·공개 업데이트, 회사 간 컨스티튜션 경쟁·상호 비교, 사회적 입력(Collective Intelligence Project 여론조사 반영 전례). 입법 강제 조항은 현시점 과도하다고 판단
• 미래 사가가 놓칠 것: 지수곡선 내내 외부 세계가 이해하지 못했다는 사실, 그리고 속도 — 하루 30개 결정이 쏟아지고, 2분 만에 내린 A/B 선택이 가장 중대한 결정이 될 수 있는 환경
• 운영 스타일: 2,500명 조직에서 시간의 3분의 1에서 40%를 문화에 투입 — 격주 1시간 전사 발표(DVQ, 3-4페이지 문서로 내부·제품·산업·지정학을 무필터 브리핑)+Slack 상시 코멘트로 진실 말하는 평판 구축

투자자 관점 시사점

• 컴퓨트 캐펙스 프레임 확보: 산업 10-15GW에서 연 3배, GW당 100억-150억 달러, 2028-29년 연 수조 달러 — 전력·데이터센터·반도체 밸류체인 수요 추정의 1차 근거로 CEO 본인 수치. 단 성장률 10배 대 5배, 타이밍 1년 오차가 선구매 주체(하이퍼스케일러·네오클라우드·AI 랩)의 파산급 리스크라는 비대칭도 함께 언급된 점이 핵심
• AI 랩 손익 해석법 변경: 적자는 구조 문제가 아니라 차기 모델 스케일업+수요 예측 오차의 산물, 모델 단위 그로스마진은 75% 스타일라이즈드 — Anthropic 2028년 흑자 가이던스는 수요 적중 가정의 함수로 읽어야 하며 흑자 전환 자체를 성숙 신호로 오독 금지
• 산업구조는 클라우드형 3-4사 과점+차별화로 제로마진 수렴 부정(Cournot) — 프론티어 랩 밸류에이션에 지속 마진 가정 가능하나, AI가 AI를 만드는 단계선 해자 전반이 흔들리는 꼬리 리스크 존재
• 매출 지수와 기술 지수의 분리: 천재들의 나라 도달 후에도 수조 달러 매출까지 1-5년 확산 래그 — 엔터프라이즈 조달·규제(FDA 병목 포함)가 변수. AI 수혜주 실적 반영 시점 추정 시 기술 마일스톤보다 확산 마일스톤 추적이 유효
• 과금 모델 진화 관찰 포인트: 토큰 가치 차등화 → 성과 과금·시급형 전환 시 API 단가 기반 TAM 추정은 하향 편향 — 고가치 버티컬(제약·금융) ARPU 리레이팅 가능성

기억할 발언

• (00:49) 가장 놀라운 것은 우리가 지수곡선의 끝에 얼마나 가까운지에 대한 대중적 인식의 부재다. 버블 안팎의 사람들이 똑같이 낡은 정치 쟁점을 논하고 있다는 게 나에겐 완전히 미친 일이다
• (51:49) 매출이 1조 달러가 아니라 8,000억 달러에 그친다면, 그만큼의 컴퓨트를 샀을 때 파산을 막아줄 힘은 지구상에 없다. 성장률 추정이 1년만 어긋나도 스스로를 파괴하게 된다