드와르케시 파텔이 보는 다음 AI 훈련 패러다임 — RLVR 베팅과 continual learning 병목

개요

드와르케시 파텔이 자기 블로그 포스트를 직접 내레이션한 비디오 에세이. 전편(모델이 인간 대비 100만분의 1 샘플 효율이라는 논지)의 후속
핵심 질문: 랩들이 베팅 중인 RLVR(verifiable reward 기반 RL) 대규모 스케일링이 AGI로 이어질지, 아니면 샘플 효율·continual learning이라는 별도 병목을 뚫어야 하는지
결론 방향: RLVR는 실세계 경험을 시작할 만한 에이전트를 만들어주는 부트스트랩이고, 진짜 도약은 세션 학습을 가중치로 되돌리는 레시피(OPSD·dreaming 등)가 도착할 때 발생

핵심 내용

RLVR 스케일링 베팅과 낙관론의 논리

모든 랩의 공통 베팅: 수천 개 다양한 RL 환경에서 수백만 개 verifiable task를 훈련시키면 사실상 AGI 완성 — 몇 주간 오류·모호함 속에서도 open-ended 과제를 진전시키는 문제 해결 에이전트 탄생
낙관론자 주장: 데이터 비효율·continual learning 부재 같은 근본 결함은 훈련 스케일로 밀어버릴 수 있음 — NLP의 근본 연구 문제들이 LLM에 컴퓨트를 쏟자 붕괴했던 전례와 동일
100만분의 1 샘플 효율 반박: 그건 훈련 때만의 문제 — 훈련은 1회성 비용이고 수십억 세션에 상각됨
세션 중 지능·샘플효율은 RL 확대로 명백히 개선 중: 진짜 중요한 건 세션 중의 지능·일반성·샘플 효율이고, 이는 RL 훈련 확대로 명백히 개선 중 — 코딩에서 에이전트가 점점 더 야심찬 문제를 더 긴 시간 지평에서 해결
continual learning 불필요론: in-context learning이 충분히 길어지면 배포 중 학습 내용을 가중치로 증류할 필요 자체가 소멸
직원 6개월 적응기를 컨텍스트에: 직원도 입사 6개월 이상 지나야 순생산적 — 그 6개월치를 컨텍스트 윈도우에 통째로 넣으면 된다는 논리
아키텍처 혁신으로 무한 컨텍스트 전망: transformer 컨텍스트 저장량을 극적으로 늘리는 아키텍처 혁신이 쏟아지는 중 — 몇 년 더 지나면 사실상 무한 컨텍스트 전망도 가능
파텔의 반박 실마리: Dario Amodei 인용 — 짧은 컨텍스트로 훈련하고 긴 컨텍스트로 서빙하면 성능 저하 발생. 짧은 호라이즌 RL 훈련이 긴 호라이즌 성능으로 일반화되지 않을 수 있다는 시사
짧은 호라이즌 일반화 실패시 장기 사업능력 전이도 의문: 짧은 호라이즌에서 긴 호라이즌으로 일반화가 안 되면, 화이트칼라 태스크 훈련이 Sam Walton급 사업 구축 능력으로 일반화될 근거도 약해짐

컴퓨터 사용의 교훈 — verifiable만으로 부족, grindable 필요

역설: 컴퓨터 사용은 명백히 verifiable(Etsy 주문 배송 여부·행사장 예약 여부·세금 신고 완료 여부 확인 가능)한데 코딩·수학보다 진전이 훨씬 느림
grindable 핵심은 병렬 롤아웃 대량실행: 표면적 이유는 사전학습 중 고품질 멀티모달 데이터 부족이지만, 과소평가된 진짜 이유는 grindable 조건 — 결정론적이고 재생 가능한 시뮬레이터에서 동일 시작점의 병렬 롤아웃을 대량으로 돌릴 수 있어야 함
코딩은 동일레포로 에이전트 1000개 병렬: 코딩은 미완성 기능이 있는 레포 컨테이너를 정의하고 동일 사본으로 1,000개 에이전트를 병렬 투입 가능
컴퓨터사용은 봇 대량투입시 차단당해 불가: 컴퓨터 사용은 불가 — Amazon 체크아웃 플로우에 봇 1,000개를 보내면 Andy Jassy가 차단
주요 앱 클론 제작이 해법이나 현재는 노동집약적: 해결책은 Slack·Gmail 등 주요 앱 클론 제작이지만 현재로선 극히 노동집약적·비확장적
AI 앱클론 제작으로 일석이조 해결: AI 코딩 능력이 충분해지면 고충실도 클론을 AI가 직접 제작 — 컴퓨터 사용 진전 가속 + 앱 전체를 처음부터 재구축하는 것 자체가 훌륭한 코딩 RL objective (일석이조)
일반화된 교훈: 재생 가능한 훈련 타깃을 만들 수 없는 도메인에서는 모델 진전이 어려움 — 훈련 중 극심한 샘플 비효율 때문
컴퓨터 사용 병목이 AI 발전 협곡 벽을 드러냄: 컴퓨터 사용은 곧 풀리겠지만, 현재의 느린 속도 자체가 AI 진보라는 강물이 천천히 깎아야 할 협곡의 벽을 드러냄

실세계 도메인의 근본 한계와 continual learning 병목

시뮬레이터로 못 만드는 스킬들: 맨손 사업 구축, 소송 승소, 수익 나는 하루 트레이딩, 후보 당선 캠페인 — 롤아웃이 실세계 상호작용을 요구하고 데이터센터 안에서 재현 불가
실세계 검증은 수개월-수년 소요돼 요인 격리 불가능: 외부 루프 검증에 수개월-수년의 실세계 행동 필요, 행동을 살짝 바꾼 수천 병렬 롤아웃으로 성공 요인 격리도 불가
reset-free 비정상성 환경은 RL의 미해결 난제: reset-free non-stationary 환경은 RL의 알려진 미해결 문제 — 세상 대부분 도메인의 데이터는 특이하고 희소해서 숙련에는 샘플 효율이 필수
LBJ·머스크급 RL환경 없어 일반화에 베팅: 1948년 텍사스 정치에 떨어뜨리면 LBJ보다 나은 상원 선거 조언, 2002년에 1억 달러를 주면 SpaceX를 지어준다는 기대. 이는 순수 실증 질문
컴퓨트 낭비 지적: 랩 컴퓨트의 30-50%가 인퍼런스에 쓰이는데 모델 개선에 아무 생산적 역할 없음
가장 가치있는 학습정보는 배포 현장에서만 드러남: 더 나쁜 건 가장 가치 있는 학습 정보(조직에서 실제 쓰이는 방식·실세계 실수 패턴·도메인별 암묵지)가 배포에서만 드러난다는 점 — 인턴십 한 번 못 해본 천재 대학원생에게 케이스 스터디만 계속 주는 격
KV cache 무한확장은 비확장적: KV cache를 무한정 키우는 방식은 비확장적이고 인간의 방식도 아님 — 뇌에는 파라미터와 activation의 깔끔한 구분이 없고, 학습은 압축을 동반해 일반화·grokking을 도움
서번트형 완전기억은 오히려 추상적 이해를 저해: 서번트형 완전 기억(무의미 숫자표를 수년 뒤 회상)은 오히려 추상·은유 이해를 저해 — 인간 continual learning의 본질은 핵심 직관을 가중치에 새기는 것
gradient update 샘플비효율, 대규모유저만 성공: 가중치 업데이트로 가면 in-context의 샘플 효율을 포기 — gradient update는 극히 샘플 비효율적이라, 성공한 온라인 러닝은 전부 수백만 유저가 동일한 것을 학습하는 구조
실례: Cursor Tab 모델은 일 4억 건 이상 요청에서 유저가 수락한 edit 예측이라는 단일 objective로 온라인 학습 — 유저별로 다른 내용을 학습하는 사례는 아직 없음
단일 세션 데이터로는 공유 훈련런 구축이 부족: 단일 세션 데이터는 인간에겐 충분하지만 더 유능한 AI를 훈련시키기엔 부족 — 각 직장·회사·문제가 다 다른데 공유 훈련 런에 쑤셔 넣을 수 없음
진짜 병목은 아키텍처 아닌 loss function: sparse attention·KV cache compaction 등 아키텍처 대안은 매주 쏟아짐 — 병목은 아키텍처가 아니라 loss function(세션에서 배운 것을 어떻게 가중치에 반영하나)

해법 후보 — OPSD와 dreaming

on-policy self-distillation(OPSD): 긴 세션의 축적된 컨텍스트를 가진 모델이 할 예측을, 컨텍스트 없는 base 모델이 실세계 문제에서 똑같이 하도록 훈련 — 세션 학습 내용을 가중치로 증류
Sasha Rush와 아이폰 즉석 칠판강의 녹화 공개: Sasha Rush와 아이폰으로 즉석 칠판 강의를 녹화해 링크로 공개
RLVR 대비 장점 1: 외부 루프 verifiable reward 불필요 — 컨텍스트 안에서 올바로 학습하는 모델만 있으면 됨
RLVR 대비 장점 2: 궤적 전체에 단일 reward를 투사하는 naive RL과 달리 토큰 단위 확률 불일치로 훈련 — 훨씬 조밀한 supervision 신호
SFT 대비 우위: 세션 토큰 전부를 예측하게 하는 naive SFT는 학습 타깃으로 무의미 — 업무 숙련은 매일의 트랜스크립트 완전 암기가 아니라 소수 핵심 인사이트의 응축
RL의 sparse update 속성 보존: 결과 달성에 필요한 만큼만 모델을 바꿈 — 직무 학습 중 base 모델의 기존 지식을 덮어쓰지 않는 데 결정적. RL이 샘플당 학습 정보가 적다는 건 오히려 장점일 수 있음
dreaming(투기적 아이디어): AI가 현실의 좋은 시뮬레이션을 스스로 구축해 신규 스킬 리허설·대안 전략 시험·효과 검증 — 같은 벽시계 시간에 자릿수 단위로 많은 시뮬레이션 샘플 경험
역사적 근거 EfficientZero: AlphaZero 몇 년 뒤 나온 데이터 효율 특화 모델 — 처음 보는 Atari 게임을 인간과 똑같이 2시간 연습하면 초보 인간을 이길 확률 높음. 단 실제 게임 1스텝마다 머릿속에서 수십 판의 시뮬레이션 게임 수행
세계시뮬레이션 성공시 제4의 스케일링축: 전체 세계 시뮬레이션은 바둑 에뮬레이션보다 훨씬 어렵다는 게 리스크 — 성공하면 pretraining·RL·inference-time compute에 이은 제4의 스케일링 축(test-time training)
사용 이미지: Codex·Cursor·Claude에서 소량 컴퓨트로 요약을 만드는 /compact(가짜 continual learning) 대신 /dream — 막대한 컴퓨트를 태워 모델이 목격 중인 현실의 비디오게임 버전을 구축하고 그에 맞서 훈련

2027-2028 시나리오 — 배포가 곧 훈련

RLVR의 진짜 기여: 낯선 문제에서 방향을 잡고, 전략을 바꿔 시도하고, 막히면 반복하는 에이전트 — 즉 실세계 경험을 시작할 최소 역량의 확보
에이전트 실전투입, 유효컨텍스트 1주로: 그 에이전트를 훈련 분포 밖 프로젝트에도 실전 투입, 유효 컨텍스트는 1주 wall-clock 협업이 가능한 수준으로 확장
주말 인간 평가로 base 모델이 세션 학습 내용 증류: 주말에 인간이 thumbs up/down으로 업무 평가 — up이면 base 모델이 세션 학습 내용을 증류
반복 구조: RLVR로 훈련된 인접 도메인에서 실력 향상 -> 다음 라운드엔 그 인접의 인접으로 — 스킬 범위가 원래의 verifiable 도메인을 훨씬 넘어 확장
3단 부트스트랩: pretraining이 base 지능 생성 -> RLVR가 배포 가능한 에이전트 생성 -> 광범위 배포에서 on-the-job 학습
이후 AI 개선 주 동력은 배포 경험 축적으로 전환: 그 시점부터 AI 개선의 주 동력은 출시 전 훈련이 아니라 경제 전반 배포에서 축적되는 경험
전세계 유저 상호작용에서 학습해 모델이 계속 똑똑해짐: 모든 상호작용마다 모델이 더 똑똑해짐 — 내 이전 세션뿐 아니라 전 세계 모든 유저와의 상호작용에서 학습하기 때문
파텔 자평: 지금의 AI 개선 방식과 매우 다르고, 무섭고 흥미로운 변화

투자자 관점 시사점

RL 환경 구축이 차기 지출 테마 — verifiable을 넘어 grindable(결정론적·재생 가능 시뮬레이터) 조건이 관건이라 앱 클론·시뮬레이터 제작 수요 발생. 단 AI 코딩이 좋아지면 AI 자체 제작으로 대체될 수 있는 한시적 구간
continual learning 레시피 성사 시 컴퓨트 수요 구조 변화 — 현재 낭비되는 인퍼런스 30-50%가 학습 루프에 편입되고, dreaming이 제4 스케일링 축이 되면 컴퓨트 수요에 추가 레그. 인퍼런스와 훈련의 경계 소멸은 가속기·전력 수요 전망 상향 요인
배포 규모가 곧 학습 데이터 우위로 전환되는 순간 최대 배포 플랫폼의 데이터 플라이휠 해자 강화 — Cursor Tab처럼 대량 동일 objective 온라인 러닝이 이미 도는 앱 레이어 주목
컴퓨터 사용 에이전트는 환경 제작 병목에 종속 — 단기 과대 기대 경계, 진전 신호는 고충실도 앱 클론 자동 생성 능력에서 먼저 확인

기억할 발언

(07:02) Dario 인용 — 훈련하는 컨텍스트 길이와 서빙하는 컨텍스트 길이는 별개고, 짧게 훈련해 길게 서빙하면 성능 저하가 생길 수 있음. 파텔은 이를 짧은 호라이즌 RL이 긴 호라이즌으로 일반화되지 않는다는 신호로 해석
(19:08) 그 시점이 되면 AI가 나아지는 주된 경로는 공개 전에 받은 훈련이 아니라, 경제 전반에 광범위하게 배포되어 온갖 과제에 참여하며 축적하는 경험이 됨