Dylan Patel 인터뷰 — HW-SW Co-Design이 만드는 100x

개요

• 게스트: Dylan Patel, SemiAnalysis 창업자. 진행: Sequoia의 Sean·Sonia Huang, SemiAnalysis 사무실 녹화
• 주제: InferenceX 벤치마킹, HW-SW co-design 논리, Nvidia vs TPU, 데이터센터 빌드아웃 이코노믹스, Neocloud 존재 이유, Jensen의 멀티폴라 전략

핵심 내용

배경 — SemiAnalysis의 정체성

• SemiAnalysis 90명, 기술·비용 논쟁 자생: 직원 90명 = 공급망 전반의 엔지니어 + 전직 헤지펀드 출신 혼합. "기술이 최고" vs "그래서 비용은?" 논쟁이 조직 안에서 자생적으로 벌어지는 구조가 강점. 매출 $100M 돌파 루머에 사실상 긍정
• Dylan Patel 성장기, 반도체 컨퍼런스 순회: 모텔·주유소 가족사업 출신, Xbox 360 레드링 수리로 하드웨어 입문 → 12살부터 레딧 하드웨어 포럼 모더레이터 → 퀀트 2년 → 2020년 24세 생일에 블로그 시작. 연 40개+ 컨퍼런스 순회, SPIE 리소그래피·포토마스크급 초심층 학회는 3회 가도 75%만 이해될 정도로 arcane
• 공급망 리스크 일화: 1980년대 특정 케미컬 세계 유일 공장 화재 → 메모리 가격 2-3배. "지금과 다르지 않음"

InferenceX — 살아있는 벤치마크와 핵심 커브

• 문제의식: 인퍼런스 벤치마크는 point-in-time이라 즉시 낡음. 모델·PyTorch·vLLM·SGLang·드라이버가 주 2회 업데이트 → 동급 품질 기준 모델 비용 연 60x 하락 중
• 해법: 상시 자동 벤치마크. CoreWeave·Crusoe·Nebius·Oracle·Microsoft·Amazon·Google·OpenAI가 컴퓨트 기부($50M+ 하드웨어, TPU·Trainium 추가 시 $100M+), 약 15개 칩 타입에서 매일 실행. 중국 5개 랩(Moonshot·Alibaba 등)+미국 오픈소스(GPT-OSS·Nemotron) 최신 모델 대상, 결과·설정 전부 공개
• 핵심 기여: 파레토 최적 커브 공개. 남의 suboptimal 포인트를 자기 optimal과 비교하는 관행 차단, 최적 설정 컨테이너를 오픈소스로 배포
• throughput-interactivity 커브가 최중요 지표: throughput vs interactivity 커브가 업계에서 가장 중요한 커브 — 하드웨어·인프라·모델·앱 레이어 전부 이 커브의 다운스트림
  • 예시: 배치 100명 x 10 tok/s = 총 1,000 tok/s vs 1명 250 tok/s. 같은 하드웨어에서 4x 비용 차이 → 배치 워크로드는 싼 쪽, 사람·피드백 루프가 비싼 워크로드는 4x 지불
  • 현재는 one-size-fits-all이지만 분화 필연. 사례: Claude Code fast mode 프리미엄, OpenAI priority queue

스케일 전망 — 전력·우주·와트당 지능

• 우주 데이터센터: 3-5년 내 무의미(2030년 비중 1% 미만), 20년 뒤엔 컴퓨트 대부분이 우주로. 2040년 증분 컴퓨트의 절반 이상 우주 전망
• 인퍼런스 전력 전망: 2030년 OpenAI+Anthropic 합산 100GW 초과, 2040년엔 테라와트 단위
• 와트당 지능: 비용은 연 60x 하락, 전력 효율은 연 40x 개선. 인간 뇌 대비 수 자릿수 뒤지지만 무관 — 컴퓨터에 전력 붓는 게 뇌보다 쉬움

Co-Design 논리 — 이 에피소드의 핵심 테제

• 3계층 분해: 하드웨어 / 커널·시스템 / 모델. Hopper→Blackwell 3년간 DeepSeek 최적 배포 기준 30x 개선, 그런데 모델 레이어 개선이 더 큼 — 3년 전 GPT-4보다 지금 Qwen 27B(active 2B)가 더 나음
• DeepSeek expert shape, 하드웨어 이식 불가: DeepSeek V3의 expert shape은 Hopper에, V4는 Blackwell·Huawei 칩에 최적화. 그래서 객관적으로 훌륭한 TPU도 DeepSeek는 못 돌림 — attention의 arithmetic intensity, 네트워크 IO, collective 패턴까지 모델-인프라-칩이 얽혀 있어 이득 분해 불가
• 중국 co-design 우위론 반박, GPT-4o 사례: "중국이 co-design 앞선다"는 통념 반박: 서방은 공개 안 할 뿐. GPT-4o는 DeepSeek V3보다 약간 작은 정도 규모에 더 일찍 출시
• 레이어 관통 co-design이 100x 만든다: 핵심 명제: 레이어별 2x·2x·2x는 곱해서 8x가 아니라, 레이어를 관통해 co-design하면 100x가 됨. Nvidia는 모델→실리콘 방향으로, TSMC는 소재·장비→고객 설계 방향으로 같은 게임 중
• 랩별 매핑: Anthropic = TPU로 프리트레인 + Trainium·GPU로 인퍼런스. Google = Gemini 2는 TPU v6e, 차기 Gemini는 TPU v7 최적화. 모델을 구세대 하드웨어로 옮기면 성능 급락

기술 병목 — 메모리와 전력밀도

• 메모리: NAND 셀 발명 25년, DRAM 셀 40년 — 셀 레벨 혁신 부재. 최근 5년은 HBM 스택 수·속도만 늘림. 향후 수년 내 메모리를 칩 위에 직접 적층하는 혁신 → 대역폭 폭발, 관련 스타트업 존재
• 전력밀도: 20년간 데이터센터 칩은 1W/mm2 상한 고정. 최신 칩 1,400W → Rubin 2,000W → Rubin Ultra 약 4,000W는 실리콘 면적 증가일 뿐. 1W/mm2 돌파 기술이 개발 중 — 성사 시 실리콘 소요량 자체가 감소 (열·전기 간섭이 난제)
• 에너지 병목 반론: 미국이 연 수백만 대 만드는 디젤 트럭 엔진을 가스 발전기로 개조 + 자동차 정비공 인력 활용 — "단순한 해법이 존재"

Nvidia vs TPU — CUDA moat의 재정의

• 규모: 2년 후 Google TPU 연 1,000만 개+($100B+ 가치), Nvidia는 수천만 개($500B+ 수준). 둘 다 공존
• Nvidia vs TPU 논쟁 무의미, co-design 결론: 승자 논쟁은 무의미 — co-design이 결론. OpenAI 모델 방향엔 TPU가 끔찍한 선택일 수 있고, Anthropic·Google 모델 방향엔 GPU 훈련이 끔찍할 수 있음
  • OpenAI 모델은 더 sparse, Anthropic은 상대적으로 dense. matmul 유닛 크기·attention 구조·expert 구조가 칩에 맞춰 다름
  • 네트워크 토폴로지: NVLink는 스위치로 72 GPU 연결 vs Google ICI는 스위치 없이 8,000칩 연결(단 칩 경유 필요)
• CUDA moat 약화: 모델이 커널 코딩을 잘해 소프트웨어 moat는 부분 해체. 진짜 락인은 오픈소스 모델 생태계 — DeepSeek·Kimi·Zhipu·Alibaba·Tencent·Xiaomi 모델이 전부 GPU에 co-design됨 → 인퍼런스 API·RL 커스터마이징 업체 등 다운스트림 전체가 Nvidia 종속
  • 역으로 Google이 진짜 좋은 모델을 오픈소스하면 "TPU 렌트가 답"이 됨 — Gemma가 그 포석
  • 대형 랩은 PyTorch 포크(OpenAI 등)로 오픈소스 비의존 → 최적 하드웨어 골라 관통 co-design + AI가 소프트웨어 작성
• Cerebras 평가: 초고속 인퍼런스는 큰 시장(SemiAnalysis도 fast mode 거의 전용). 리스크는 fast mode 수요가 최상위 모델에 몰리는데 SRAM 기반 칩(Cerebras·Groq)은 10조+ 파라미터·백만 토큰 컨텍스트를 못 담음
  • 매출은 최상위 모델에 집중 — Fable·Mythos 출시 직후 훨씬 비싼데도 대규모 전환. "토큰 볼륨이 아니라 달러가 중요"
• 엔드스테이트: 현재는 모든 칩이 동일 구조(중앙 로직 다이 + 좌우 HBM + 상단 네트워킹 + 하단 PCIe). 앞으로 하드웨어·모델 아키텍처 분화 → ASIC은 local minima 리스크. 랩들조차 1년 뒤 자기 모델 아키텍처를 모름 → 범용 컴퓨트 수요 존속
  • 증거: TPU 보유한 Google이 xAI에서 GPU를 시간당 $11에 렌트
  • Google TPU 설계 프로그램 3개 병행 — Broadcom·MediaTek·비공개 1개, 서로 다른 아키텍처. 신약·Waymo류 워크로드 일부는 TPU 아닌 GPU 사용

데이터센터 빌드아웃 — 크런치와 이코노믹스

• 공급: 올해 20GW, 내년 30GW+ 신규 가동(지연 반영 후). 그래도 크런치 지속 — 모델의 TAM(수행 가능 작업 가치) 확장 속도가 컴퓨트 증설 속도를 추월 중
• Anthropic Q2 흑자, Opus 마진 80%대: Anthropic 수익성: Q2 SBC 제외 순이익 흑자, Q3엔 SBC 포함 흑자 가능성. Opus 4.8 토큰의 API 마진 80% 이상 (Bedrock·Vertex 딜로 전사 GM은 다소 희석)
  • 함의: GM 75%면 컴퓨트 비용 2배 내도 GM 50% — 시장가 이상으로 GPU를 무한정 살 수 있는 구조. 실제 SpaceX에서 시장가 이상(단 Google보다 저렴, 조기 계약 덕)에 GPU 구매
• 렌탈 가격 벤치마크: Trainium은 GW당 $10B 미만(Anthropic·OpenAI향), GPU는 통상 $12-13B/GW, SpaceX-Google 딜은 약 $25B/GW($25M/MW/년)로 극단적 프리미엄
• 코로케이션(전력만): 과거 $60/kW/월 → 현재 $120-160 체결, 저신용 고객은 $200까지, 인도 저품질은 $80 — GW의 질적 차별화 이미 존재
• Google의 power sloshing: 1GW 데이터센터에 1.5GW 하드웨어 탑재. 통상 60-70%인 전력 이용률을 워크로드 제어로 100% 근접. 유틸리티와 "연 3일만 차단 조건 2GW" 딜 후 그 3일을 배터리·가스로 커버
• GW의 가치 격차: Anthropic에 준 1GW가 OpenAI에 준 1GW보다 객관적으로 매출 창출 큼. 둘 다 현재 전량 소진 가능(레이트리밋 문제, Codex 5.5 이후 특히)
• 자본이 진짜 병목: Google은 SpaceX 지분 약 5%(약 $100B, Larry Page가 $10B 밸류에 $1B 투자한 유산)를 갖고도 증자 단행. Meta도 조달 발표 후 주가 급락

Neocloud와 Jensen의 큰 그림

• Neocloud 존재이유, 하이퍼스케일러 강점의 역효과: 하이퍼스케일러의 전통 클라우드 강점이 AI에서 역효과 — Nitro NIC(테넌트 격리)는 성능 저해, 랙 통째·장기계약 렌탈이라 시분할·보안 노하우 무의미. Microsoft는 수요 2배 국면에서 자체 데이터센터 팀이 실패해 Neocloud 용량 조달
  • CoreWeave GPU 성능·신뢰성은 실측상 Amazon·Google·Microsoft보다 우위. 단 Google은 6개월 선판매 계약서로 부채 조달 가능한 반면 Neocloud는 "지금 돌아가는 것"만 팔 수 있음 — 밸런스시트가 MW당 매출 격차 만듦
  • 속도의 인센티브: 하이퍼스케일러 조직에선 아무도 빨리 지어서 부자 안 됨, Crusoe류는 하이퍼레버드 에쿼티 오너라 납기가 곧 부
• Jensen의 전략: 하이퍼스케일러가 컴퓨트를, 3대 랩(OpenAI·Anthropic·Google)이 모델을 독점하는 세계 = Nvidia가 지는 세계. 그래서 Neocloud 백스톱·Neolab 투자·중국 랩 응원 전부 멀티폴라 세계 만들기 — 오늘 GPU 가격은 어디 팔든 같지만 5년 뒤 Crusoe·CoreWeave의 생존이 TPU·Trainium을 약화시킴
  • Neolab 근황: Thinking Machines의 Tinker가 출시 6개월 미만에 ARR 수억 달러

투자자 관점 시사점

• 칩 단품 스펙 비교는 낡은 프레임 — 모델-인프라-칩 관통 co-design이 100x를 만들고, 랩·칩 궁합(OpenAI-GPU, Anthropic·Google-TPU·Trainium)이 벤더 물량을 결정. ASIC 성공 여부는 스펙이 아니라 "누구 모델에 맞췄나"로 판단해야 함
• Nvidia의 진짜 해자는 CUDA가 아니라 오픈소스 모델 생태계의 GPU 종속 — 중국 오픈소스 랩들의 하드웨어 선택과 Google의 Gemma급 오픈소스 강화 여부가 해자 추적 지표
• Anthropic의 토큰 마진 80%+ 구조는 컴퓨트 가격 상방 지지 — 프론티어 랩은 시장가 이상으로도 GPU를 사는 게 합리적이라 크런치는 모델 진보 정체 전까지 지속. 데이터센터·전력 체인의 가격 강세 논거
• GW는 동질 상품이 아님 — Trainium 10 미만 vs GPU 12-13 vs SpaceX 25($B/GW), 코로케이션 80-200($/kW/월)의 스프레드. power sloshing·밸런스시트·납기 능력이 사업자별 MW당 매출을 가름 — Neocloud 옥석 가리기 기준
• 메모리 온칩 적층·1W/mm2 돌파·CPO(2027-2030) 가 다음 사이클 기술 변곡점 후보 — HBM 중심 메모리 서플라이체인 구도에 중기 리스크·기회 양면

기억할 발언

• (28:20) "각 레이어에서 2x씩 얻으면 곱해서 8x가 될 수 있었던 걸, 레이어 몇 개를 건너뛰어 함께 최적화하고 co-design하면 갑자기 100x가 됨. 그게 랩들에서 벌어지는 진짜 돌파구"
• (42:29) "'AI는 ROI가 없다'는 말이 제일 화남. 모델 능력 라인은 이 기간 내내 우상향이었음. '이 벤치마크 안 올랐잖아'라고? 그건 90%로 포화됐기 때문 — 새 벤치마크를 보면 지금 치솟는 중"