Reiner Pope가 칠판으로 푸는 GPT·Claude·Gemini의 실제 학습·서빙 구조

개요

• Dwarkesh Patel 팟캐스트의 신규 블랙보드 강의 포맷 1호 에피소드. 게스트는 칩 스타트업 MatX의 CEO Reiner Pope, 전직 Google TPU 아키텍처 담당 (Dwarkesh는 MatX 엔젤투자자 — 공개 고지)
• 주제: 트랜스포머가 클러스터에서 실제로 어떻게 학습·서빙되는지. 이를 이해하면 AI 아키텍처·API 가격·AI 진보 속도가 왜 지금 모습인지 설명된다는 것이 핵심 명제
• 방법론: Blackwell NVL72 랙 기준 루프라인 분석 (메모리 대역폭 vs 컴퓨트) + 모델의 두 요소(웨이트 처리 시간, KV cache 처리 시간)만으로 근사
• 출발 질문: Claude·Codex·Cursor의 Fast Mode는 왜 6배 가격에 2.5배 속도가 가능한가 — 답의 핵심은 배치 사이즈

핵심 내용

루프라인 분석 — 배치 사이즈가 지배하는 지연과 비용

• 추론 시간 하한은 컴퓨트 메모리 시간 중 최대값: 추론 시간 하한 = max(컴퓨트 시간, 메모리 시간)로 근사. 단순 모델인데도 예측력 강함
• 컴퓨트시간 = 배치×파라미터/칩FLOPs: 컴퓨트 시간 = 배치 사이즈 × 액티브 파라미터 수 / 칩 FLOPs. 어텐션 연산 자체는 상대적으로 작아 무시
• 메모리 시간은 파라미터와 KV cache 페치 시간 합: 메모리 시간 = 전체 파라미터 페치 시간 + KV cache 페치 시간
  • KV 페치는 배치 원소마다 컨텍스트 길이 × 토큰당 바이트를 읽어야 해서 배치에 비례
  • 예시 모델 스펙: DeepSeek V3 — 액티브 약 37B, 전체 약 700B
• 디코드는 KV 전체 페치라 메모리병목: KV cache = 과거 토큰들에 대해 모델이 만들어둔 내부 표현. 디코드 1스텝 = 새 토큰 1개의 풀 포워드 패스 + 과거 전체 KV에 대한 어텐션이며, 어텐션은 행렬곱보다 메모리 페치가 지배
• 지연 그래프: 배치를 키워도 초반엔 지연이 거의 안 늘다가 컴퓨트 항이 지배하면 선형 증가. 지연의 절대 하한 = 전체 파라미터를 메모리에서 한 번 읽는 시간
• 비용 그래프(토큰당 비용 = 시간/배치): 배치 1에선 웨이트 페치가 상각이 안 돼 비용이 사실상 무한대로 발산, 배치가 커지면 웨이트 페치가 상각되고 컴퓨트가 비용 하한을 형성
• 배치 미적용 시 경제성 최대 1000배 악화: 배치를 안 묶으면 경제성이 최대 1,000배 악화 — Fast/Slow Mode 가격 구조의 근원
• Slow Mode가 큰 폭 할인이 안 되는 이유: KV와 컴퓨트는 배치 원소별 고유라 더 큰 배치로도 상각 불가. 컴퓨트 하한선 위에서만 움직임
• 컨텍스트 길수록 compute→memory 전환: 컨텍스트 길이가 길어지면 KV 페치가 커져 compute-limited에서 memory-limited로 전환. 두 기울기가 만나는 컨텍스트 길이가 균형점이고 그 지점이 MFU 최적
• sparse attention, 컨텍스트 확장에 유리: 이 선형 스케일링은 dense attention 전제. sparse attention은 훨씬 유리 — DeepSeek 계열 논문은 해당 항에 제곱근이 붙는 수준
• 최적 배치 도출: 웨이트 페치 시간 = 웨이트 행렬곱 시간으로 놓고 풀면, 하드웨어 상수(FLOPs/메모리 대역폭)가 나옴
  • FP4 곱 = 0.5바이트로 무차원화하면 대부분 GPU에서 약 300. A100-H100-B100 세대를 거치며 FLOPs·대역폭 모두 늘었지만 비율은 안정적
• DeepSeek 희소성 8 기준 최적 배치 약 2400: 최적 배치 ≥ 약 300 × 희소성. DeepSeek은 256개 expert 중 32개 활성이라 희소성 8 → 배치 약 2,400. 실전은 루프라인보다 효율 낮아 2-3배 여유 → 시퀀스 2,000-3,000개
• 배치는 동시 생성 중인 고유 시퀀스 수: 배치 = 동시에 토큰 1개씩 생성 중인 고유 시퀀스 수. KV 페치까지 넣으면 최적 배치는 더 커짐
• 기차 시간표 모델: 정해진 배치 사이즈로 약 20ms마다 새 배치 출발. 자리가 비어도 출발 → 워스트 케이스 큐잉 지연은 놓친 직후 도착 시 최대 40ms
• 20ms 지연은 HBM 드레인 타임에서 도출: 20ms의 근거 = HBM 드레인 타임(용량/대역폭). 여러 HBM 세대에서 약 20ms로 일정, Rubin 세대는 288GB / 20TB/s = 약 15ms. 그보다 긴 지연을 잡으면 HBM을 두 번 읽는 셈인데 웨이트·KV를 두 번 읽을 이유가 없음
• HBM 접근은 웨이트 KV 모두 거의 read: HBM 접근은 거의 전부 read — 웨이트는 read-only, KV 접근도 대부분 읽기
• 시스템 처리량, Gemini 전체의 1/1000: 시스템 처리량 = 배치 × 초당 약 64회 = 배치 2,000 기준 약 128K tokens/s. 작년 Gemini 발표 기준 전세계 트래픽이 수억 tokens/s → 이 시스템 하나가 Gemini의 약 1/1000. 규모 경쟁의 최소 단위 감각

MoE 희소성 — 품질 대가와 랙 위 레이아웃

• 희소성 높이면 컴퓨트 절감되나 품질 대가는 실증 문제: 희소성을 높이면 토큰당 컴퓨트 절감. 품질 대가는 분석적으로 못 풀고 실증 문제
• MoE 액티브370M+64expert, dense1.3B와 등가: 액티브 370M + 64 expert 모델이 dense 1.3B와 등가 — 총 파라미터 64배로 유효 파라미터 4배. 수익 체감이 큼
• 그래도 루프라인 관점에선 순수 이득: 늘어난 웨이트 페치는 배치로 상각 가능 → 유저가 소진될 때까지 희소화가 유리. 단 메모리 용량을 잡아먹는 것이 실질 제약
• MoE 레이어 구조: 라우터가 토큰을 소수 expert(예: 32분의 1)로 분배 → 각 expert는 up/down projection의 일반 MLP → 결과 합산 + residual
• expert parallelism, GPU당 expert 4개 배치: 표준 배치법 = expert parallelism. DeepSeek 256 expert를 Blackwell 랙 72 GPU에 올릴 때 64개만 사용, GPU당 expert 4개
• MoE 트래픽은 all-to-all, 라우터 복제: 트래픽 패턴은 all-to-all — 어떤 GPU든 라우팅 결정에 따라 어떤 GPU와도 통신. 라우터는 GPU 수만큼 복제 실행
• NVL72 랙 구조: GPU를 바깥에, NVSwitch를 안쪽에 두고 전 GPU가 스위치 경유 2홉으로 전 GPU와 통신 — MoE의 all-to-all과 완벽 궁합
• 랙 경계 넘으면 병목, 랙이 expert 크기 상한: 랙을 벗어나는 scale-out 네트워크는 scale-up(NVLink) 대비 약 8배 느림. MoE를 2랙에 걸치면 토큰 절반이 랙 간 이동 → 심각한 병목. 즉 한 랙이 expert 레이어 크기의 상한이며, 이것이 인터커넥트 도메인 대형화를 견인
• 랙이 커지기 어려운 물리 제약: 전력 공급·무게(금속 보강과 중량 증가의 충돌)·냉각·케이블 밀도·백플레인 커넥터 밀도·케이블 굽힘 반경. GPU를 2배 넣으면 케이블 밀도도 2배
• 스케일업 도메인 진화: Hopper 8 → Blackwell 72 → Rubin 500+
  • Hopper→Blackwell은 트레이에서 랙 폼팩터로의 제품 결정이 대부분, 기술 장벽 아님
  • Rubin의 500+는 다소 Jensen식 계산이 섞였지만 실질 4배 증가, 훨씬 복잡한 신규 랙 설계 필요

병렬화 전략 — 파이프라이닝이 웨이트만 구제하는 이유

• 병렬화 선택지: expert parallelism(랙 내 all-to-all), pipeline parallelism(레이어를 랙 단위로 분할), data parallelism. tensor parallelism은 expert 소형화 추세로 사실상 퇴장
• 랙 경계에서 레이어를 넘기는 파이프라이닝의 병목 판정: scale-up 시간 / scale-out 시간 ≥ 1 필요
  • 비율 = 1/8(대역폭 격차) × 활성 expert 수 × 스테이지당 레이어 수 × 2(업/다운 all-to-all)
  • 활성 expert가 8개만 돼도 충족 용이 → 랙 하나가 레이어 몇 개씩 맡는 랙 파이프라인 성립
• 흥미로운 결과: 최적 커팅이 모델 아키텍처를 물리적으로 닮음 — expert는 GPU로, 레이어는 랙으로. 모델의 스케일 차원(레이어·모델 차원·FF 차원·expert 수) 중 큰 차원을 따라 자르는 것이 이득
• 추론 파이프라이닝은 지연 중립 랙당 메모리만 절감: 추론에서 파이프라이닝은 지연 중립(한 랙에 다 있어도 지연 동일), 이득은 오직 랙당 메모리 용량 절감
• 결정적 한계: 마이크로배치 수 = 파이프라인 스테이지 수여야 버블이 없는데, in-flight 시퀀스가 그만큼 늘어 KV cache 메모리 항은 스테이지 수로 나눠지지 않음 — 정확히 상쇄
  • 웨이트 항만 P로 감소. 2스테이지만 해도 웨이트 항은 충분히 작아지고, 이후엔 KV cache가 지배
  • 배치로도 상각 불가, 파이프라인으로도 샤딩 불가 — KV cache는 양쪽에서 구제 불능
• 실전 결론(DeepSeek 공개 사례): expert parallelism을 스케일업 도메인 한도까지 키우고 파이프라이닝은 0-2단 최소화
• 프론티어 랩 추론은 단일 스케일업 도메인 내 수행: 프론티어 랩의 추론은 단일 스케일업 도메인 안에서 수행. 랙 메모리를 초과하는 초대형·초희소 모델일 때만 소량 파이프라이닝
• 학습은 다름: 백워드 패스 전에 배치를 모아야 해서 하드스톱 발생 → 파이프라인 버블. zero-bubble, 1F1B 등 인터리빙 기법 존재. ML 수렴 관점 최적 배치는 작을수록 좋고 시스템 관점은 클수록 좋아 그 사이 트레이드오프
• 랙 HBM 여유, GPU당 HBM 축소설계 가능: 랙 HBM에는 사실 용량 잉여 존재 — Blackwell 랙 수십 TB에 1T 모델은 1TB면 충분. 파이프라이닝 전제라면 GPU당 HBM을 줄인 하드웨어 설계도 이론상 가능

스케일업 크기와 모델 스케일링 — 메모리 월의 실체

• GPT4 이후 파라미터 정체, Blackwell 스케일업 언락: Hopper 8개 = 640GB로는 부족, Blackwell의 10-20TB 스케일업이 나서야 5T 모델 + KV cache 서빙이 언락
• TPU 대형 스케일업, 프리트레이닝 우위 가설: Google TPU는 오래전부터 대형 스케일업 도메인 보유 → Gemini의 프리트레이닝 선행 우위 가설과 부합 (모델링·데이터 혁신과 분리 어렵다는 단서 포함)
• 액티브는 컴퓨트가, 총파라미터는 스케일업이 상한: 액티브 파라미터는 컴퓨트 비용이, 총 파라미터는 스케일업 크기가 상한을 정함
• 스케일업 대형화의 진짜 가치는 용량이 아니라 집합 메모리 대역폭: 웨이트 로드에 도메인 내 전 GPU 대역폭을 병렬 동원. GPU당 대역폭은 세대당 1.5-2배 증가에 그치지만 스케일업 크기는 Hopper 대비 8배 점프
• 대역폭 확대는 지연 하락과 긴 컨텍스트로 이어짐: 대역폭 확대 = 지연 하락 + 긴 컨텍스트 가능 → 에이전틱 워크로드일수록 중요
• 랙 간 홉 지연 누적으로 디코드 지연 유의미하게 악화: 랙 간 홉 지연은 대략 수 ms(자릿수 오차 가능). 4스테이지면 토큰당 약 10ms 추가 — 20ms가 30ms 되는 건 유의미한 악화. 디코드는 순차적이라 스테이지 지연이 누적
• 메모리 월 역설: 하이퍼스케일러 CapEx의 50%가 메모리라는 Dylan 발언(스마트폰 출하 30% 감소 전망까지) vs 랙 안 HBM 용량은 잉여 — 부족한 건 용량이 아니라 대역폭이라는 정리

컴퓨트 배분 경제학 — 100배 오버트레이닝의 역산

• 휴리스틱: 총비용 = 비용A + 비용B 형태의 최소화는 두 비용이 같아지는 지점 근처 — 프리트레이닝·RL·추론 3자 비용 균등(약 33%씩)을 가정
• 비용 공식: 프리트레이닝 = 6 × 액티브 파라미터 × 데이터. RL = 2-6 × N × RL데이터 × 비효율(롤아웃 전부를 학습에 안 쓰고, 디코드 MFU가 낮음, 약 30% 수준). 추론 = 2 × N × 추론데이터
• 계수 정리하면 추론 프리트레이닝 RL 토큰 수 균형: 액티브 파라미터는 소거되고 데이터 항 균형만 남음 → 계수 정리하면 추론 토큰 ≈ 프리트레이닝 토큰 ≈ RL 토큰(RL은 머신타임이 비효율적이라 토큰 수는 더 적어야 균형)
• 실측 추정: 전세계 약 5억 tokens/s 중 특정 모델 몫 약 5,000만 tokens/s × 배포 수명 2개월 = 약 200T 토큰
• 150T 토큰 루머와 퍼스트 프린시플 추정 자릿수 일치: 프론티어 프리트레이닝 150T 토큰 루머와 자릿수 일치 — 퍼스트 프린시플 추정이 실제와 부합
• 프리트레이닝, 최적대비 약 100배 오버: 액티브 약 100B 가정 시 Chinchilla 최적 = 약 2T 토큰 → 현행 프리트레이닝은 약 100배 오버트레이닝
• 함의: API 트래픽 규모만 알아도 프리트레이닝 데이터 규모를 역산 가능. 모델이 못 뜰 위험은 추론 토큰 기대값을 디레이팅하는 방향으로 작용
• 스트리밍 토큰량, 프리트레이닝 총량과 근접: 훈련 최적 모델이라면 유저에게 스트리밍되는 총 토큰 ≈ 프리트레이닝 총 토큰(인류 지식 총량)이라는 인상적 등식

API 가격표가 누설하는 인프라 원가

• Gemini 200K초과 할증, 크로스오버 반영: Gemini 3.1의 200K 토큰 초과 시 50% 할증 = 메모리-컴퓨트 크로스오버 지점을 가격에 반영한 2단 요금 구조
• 크로스오버 역산하면 토큰당 KV 약 1.7KB: 크로스오버 200K + 액티브 100B + 하드웨어 상수 1/300 가정으로 풀면 토큰당 KV 약 1.7KB
  • 정합 사례: d_head 128 × KV head 8, 전 레이어가 글로벌 컨텍스트 공유(Character AI 블로그·Gemma 방식 — long/short 교차) 또는 sparse attention 경유로도 도달 가능
  • Q head는 어텐딩 토큰이 임시 사용, KV head만 메모리 상주 — 통상 KV head 1-8개
• 가격차가 증명하는 디코드·프리필 병목차: input/output 가격차 3-5배 → 디코드는 극심한 메모리 대역폭 병목, 프리필은 컴퓨트 병목이라는 증거. 프리필은 패스 길이로 메모리 비용이 나눠떨어지고(flash attention이면 어텐션 중간값은 HBM에 안 감) 컴퓨트만 남음
• 캐시 가격: 캐시 히트가 약 10배 저렴, 캐시 쓰기는 더 비쌈 — 토큰 ID에서 재계산(remat)하는 비용 vs 메모리 티어에 보관하는 비용의 비율
• 메모리 티어별 드레인 타임: HBM 약 20ms / DDR 약 1-10초 / 플래시 약 1분 / 스피닝 디스크 약 1시간
• 캐시 옵션 드레인타임 매칭, HDD까지 동원: API의 5분·1시간 캐시 옵션은 각 티어 드레인 타임과 매칭 → 플래시와 스피닝 디스크로 추정. AI 추론 스택에 HDD까지 동원되는 것에 진행자도 놀람
• 보관·회수 비용 균형: 회수 시간 = 보관 시간 × 용량 점유율이 되는 티어가 최적 — 티어가 느려질수록 회수비 상승·보관비 하락
• API 가격은 원가 근접해야 해 인프라 정보를 누설: 가격이 원가에 근접해야 경쟁에서 안 뺏기므로 API 가격이 내부 인프라 정보를 대량 누설
• 컨텍스트 길이 정체의 구조적 해석: GPT-3 시절 8K에서 100-200K로 점프 후 1-2년째 정체 = 현행 비용 균형점. 병목은 컴퓨트가 아니라 메모리 대역폭이며 HBM 개선 속도로는 해결 경로가 안 보인다는 진단
• 무한 컨텍스트, 인프라 돌파구 필요: sparse attention은 제곱근 개선이라 크지만 무한 개선은 아님 — 과도한 희소화는 품질 훼손. Dario식 in-context learning AGI론(1억 토큰 컨텍스트 = 한 달 근무 동료)이 성립하려면 ML 인프라 차원의 돌파 필요

보너스 — 암호학과 신경망의 수렴 진화

• 둘 다 입력 전체를 섞는 믹싱·스크램블 구조로 수렴했지만 목적은 정반대: 암호는 구조를 랜덤처럼, 신경망은 랜덤해 보이는 것(단백질·DNA·텍스트)에서 구조 추출
• 좋은 암호의 avalanche가 신경망에선 적대적 공격: 암호 미분 = differential cryptanalysis. 좋은 암호는 입력 미소 변화가 출력을 크게 바꾸는 avalanche가 목표 — 신경망에선 그것이 적대적 공격이라는 바람직하지 않은 케이스
• residual·LayerNorm, 미분을 온순하게 유지: 신경망의 학습 가능성은 미분의 온순함에서 나옴 — residual connection과 LayerNorm이 미분을 단순하게 유지
• 기술 이식의 명확한 사례: Feistel cipher 구조(비가역 함수 f로 가역 함수 구성 — x 보존 + y에 f(x) 가산, z - f(x)로 역산) → RevNets 논문이 트랜스포머 레이어에 적용
• 가역 네트워크, 재계산으로 메모리 절감: 가역 네트워크는 포워드 액티베이션을 HBM에 저장할 필요 없이 백워드 중 역방향 재계산 → 학습 시 최대 메모리 풋프린트 제거
• 방향성 대비: RevNets = 컴퓨트를 써서 메모리 절약, KV cache = 메모리를 써서 컴퓨트 절약. 현행 하드웨어에선 후자가 일반적으로 이득
• 신경망을 암호로 쓰는 방향은 검증 부족으로 위험: 신경망을 암호로 쓰는 방향은 위험 — 10년 검증 없는 신규 암호는 99% 깨짐

투자자 관점 시사점

• HBM의 병목은 용량이 아니라 대역폭: 파이프라이닝이 용량 문제를 이미 해결해 랙 내 HBM 용량은 잉여인 반면, 컨텍스트 길이 정체·디코드 원가·지연 모두 대역폭이 규정. HBM 투자 판단 시 스택 고용량화보다 대역폭 세대 전환(HBM4 이후)과 실효 대역폭 개선 기술이 장기 수요의 본질 — 다만 단기적으로는 CapEx 절반이 메모리로 향할 만큼 총수요 자체가 강함
• 스케일업 도메인 대형화(NVL72 → Rubin 500+)가 구조적 메가트렌드: MoE all-to-all이 랙 크기를 강제하고, 대역폭 병합 효과가 지연·컨텍스트 경쟁력을 좌우. 백플레인·고밀도 커넥터·케이블(굽힘 반경·밀도 한계 돌파)·전력 전달·냉각 등 랙 물리 계층 밸류체인의 병목 프리미엄 지속. scale-up 8배 대역폭 격차가 유지되는 한 랙 단위 통합 설계 업체가 유리
• 추론 규모의 경제 문턱은 생각보다 낮음: 최적 배치 2,000-3,000 시퀀스 = Gemini 트래픽의 1/1000이면 원가 하한 도달. 초대형 사업자만의 배타적 해자는 아니며, 커스텀 실리콘·신규 추론 사업자(MatX 류)의 진입 여지 존재. 반대로 API 가격이 원가를 그대로 노출할 만큼 마진이 얇아지는 커머디티화 압력도 상수
• 오버트레이닝 100배 체제의 함의: 컴퓨트 배분이 프리트레이닝·RL·추론 3등분으로 수렴하면 추론 인프라 수요가 학습 수요와 같은 자릿수로 동행 성장. 모델 세대 교체(2개월 수명)마다 학습·추론 양쪽 CapEx가 재점화되는 구조라 AI 반도체 수요의 지속성 논거 강화
• 추론 스택의 메모리 티어링 확산: KV cache 캐싱이 HBM-DDR-플래시-HDD 전 계층을 편입 — 5분·1시간 캐시 가격이 플래시·스피닝 디스크와 매칭. AI 수요가 낸드·니어라인 HDD까지 파급되는 경로가 실재하며, 스토리지 업체의 AI 노출도를 재평가할 근거

기억할 발언

• (04:20) "많은 유저를 배치로 묶지 않으면, 얻게 되는 비용과 경제성은 묶었을 때보다 1,000배 나쁠 수 있다"
• (1:54:24) "그 문제를 풀 좋은 경로가 나는 보이지 않는다. HBM은 지금 있는 자리에 있고, 극적으로 좋아지지 않는다" — 컨텍스트 길이가 100-200K에서 정체된 이유에 대해