Dylan Patel(SemiAnalysis) 인터뷰 — 하드웨어·소프트웨어 Co-Design이 AI의 진짜 100x

제공된 팟캐스트 전체 내용을 발생 순서대로 빠짐없이 상세히 정리. Why Hardware-Software Co-Design Is AI's Real 100x: Dylan Patel of SemiAnalysis

진행: Sonya Huang·Sean (Sequoia) · 게스트: Dylan Patel (SemiAnalysis 창업자·CEO·Chief Analyst) · 2026-06-30

1. 오프닝 & Dylan 배경

• 패텔: SemiAnalysis 90명 — 공급망 전반의 엔지니어·기술자 + 헤지펀드 출신이 섞임. "이 기술이 제일 멋지다" vs "비용" 논쟁이 조직문화. 포럼 모더레이터 출신이라 내부 슬랙 분위기가 짐작됨
• 진행자: 5년 전 반도체는 서구에서 안 섹시했음(동양은 예외). Dylan은 안 잊고 롱 잡아 이 분야 최고 리서치 회사 구축. 매출 1억달러 돌파 루머, 벤처펀드 설립 루머
• 패텔 성장기:
  • 모텔+주유소 하는 집. 손님 프로필(나이·인종 등) 보고 담배 미리 집던 걸 "첫 신경망 훈련"이라 농담
  • 8살 즈음 Xbox 360 red ring of death(하드웨어 결함) 직접 뜯어 온도센서 쇼트로 고침 → 하드웨어 입문
  • 12살에 Reddit android·apple·hardware 포럼 모더레이터. Intel·NVIDIA·AMD 추적. 스몰비즈 출신이라 늘 경제성(마진) 관점. "AMD GPU 인기였지만 NVIDIA가 작은 칩으로 더 나은 성능·전력효율·마진"이라 주장
  • StarCraft 북미 그랜드마스터. 뭐든 집착적으로 파는 성향
  • 퀀트 2년. 2020년 보너스 뜯김+조모 별세+COVID 겹쳐 방황 → 형 집(Nashville) → 익명계정 도배하다 doxx → 실명 블로그 semi-analysis 시작(24세 생일)
  • 노숙하며 트럭+텐트로 전국 국립공원 순회, 반도체 교과서·오디오북 독학. 연 40+ 컨퍼런스. 반도체 업계는 다 boomer라 젊은 열정에 다들 알려줌
  • 컨퍼런스 인사이트: NeurIPS(2만 AI 연구자, 또래) vs 일본 화학 컨퍼런스(300명, 영어 소수). SPIE는 초심층(첫 방문 90% 못 알아들음). 핵심은 논문이 아니라 "이 회사가 저 회사에 납품"·"화학물질 단가" 같은 비공개 공급망 지식. 1980년대 화학물질 공장 화재로 메모리값 2-3배 폭등 일화(오늘과 다르지 않음)

2. Inference 시장 전망 & InferenceX 벤치마크

• 진행자: "inference가 지구 최대 시장 된다" 동의하나?
• 패텔: 토큰 사용(tokenomics)·AI 채택이 가장 중요한 흐름. inference는 석유보다 큰 시장, GDP의 몇% 차지할 것
• InferenceX 벤치마크:
  • 기존 inference 벤치는 point-in-time이라 무의미 — 모델(주간 새 모델)·소프트웨어(PyTorch·vLLM·SGLang 주 2회 업데이트)가 끊임없이 변함
  • 그 끝없는 효율 개선으로 동급 품질 모델 비용이 연 60x 하락
  • 해결: "살아있는" 벤치 — 매일 최신 하드웨어·모델에서 자동 실행
  • 하드웨어 $50M+ 기부받음 (CoreWeave·Crusoe·Nebius·Oracle·MS·Amazon·Google·OpenAI). TPU·Tranium 추가 시 $100M+, 약 15종 칩. SGLang·vLLM·RadixArc·Infraact와 협업
  • 중국 모델(Moonshot·Alibaba 등 5종)·미국 오픈소스(GPT-OSS·Nemotron) 매일 벤치
  • 산출: Pareto 최적 곡선 = interactivity(응답속도) vs batch size(동시 유저). 보통 남의 최적점과 자사 최적점을 불공정 비교(포르쉐 vs 레이스카드라이버)하는데, 최적점 컨테이너를 오픈소스로 공개해 누구나 재현

3. Throughput-Interactivity 커브 & 비용 구조

• 패텔: 이 커브가 하드웨어·인프라·모델·앱 모든 것의 상류
  • 저지연 필요(speculative decoding·MTP 등, 비쌈) vs 배치처리(밤새 돌려도 됨, 4배 저렴)
  • 현재는 one-size-fits-all이지만 앞으로 워크로드별 분화. Anthropic Claude Code fast mode > regular mode, OpenAI priority queue가 예
• 비용 예시: batch 100×10tok/s=1000tok/s(느림) vs 1유저 250tok/s(빠름). 중간이 cradle optimal. 어떤 워크로드는 4배 저렴 택, 어떤 건 사람·피드백이 비싸서 4배 지불

4. 우주 데이터센터 & 전력·intelligence per watt

• 진행자: 10-15년 뒤 inference 컴퓨트의 몇%가 우주에서?
• 패텔: 3-5년은 미미(1% 미만). 20년 뒤면 컴퓨트 대부분 우주. 2040년 증분 컴퓨트 절반+ 우주(지상 전력·부지 비용 함수). SpaceX 비전 극찬("투자 조언 아님" 반복 — Sequoia가 SpaceX 대주주)
• 전력 전망: 2030년 OpenAI+Anthropic 합쳐 100GW+, 2040년 테라와트급
• intelligence per watt: 비용 연 60x, 전력효율 연 40x 개선(일부는 비전력 요인). 인간 뇌보다 수십 자릿수 낮지만 무관 — 컴퓨터는 전력 공급이 쉬움(뇌는 수면·질병·식성 제약)

5. 하드웨어·소프트웨어 Co-Design = 진짜 100x

• 진행자(Sean): 지난 3년 게인은 대부분 하드웨어에서 온 것 같다
• 패텔: "Sean, 완전히 동의 안 함." 3계층 — ① 하드웨어 ② 커널·시스템 최적화 ③ 모델 알고리즘
  • Hopper→Blackwell(3년): DeepSeek 최적화 기준 약 30배
  • 근데 모델 계층 게인이 더 큼 — 3년 전 GPT-4 vs 지금 27B(활성 2B) 소형모델이 더 나음
  • DeepSeek이 대표 사례: expert의 shape를 Hopper에 맞춰 설계, V4는 Blackwell+화웨이칩에 맞춤. 그래서 TPU는 DeepSeek을 잘 못 돌림(NVIDIA용 co-design), 반대로 TPU가 잘 돌리는 모델도 있음
  • 곱셈의 마법: 계층마다 2x면 곱해서 8x인데, 계층 뛰어넘어 co-design하면 100x. 이게 최고 랩의 진짜 실력
  • "중국이 서방보다 co-design 잘한다"? → 아니, 서방(OpenAI 등)이 공개를 안 할 뿐. GPT-4도 sparse 정도 비공개, 크기는 DeepSeek V3와 비슷

6. NVIDIA vs TPU & CUDA 모트

• NVIDIA는 항상 가장 general purpose(고객 다양·피드백 많음). 2년 뒤 Google TPU 1000만개+, NVIDIA 수천만개, 둘 다 연 $100B+
• co-design 때문에 OpenAI 모델은 TPU 쓰면 안 되고, Anthropic·Google 모델은 GPU로 하면 손해
  • matrix multiply unit 크기 차이 → attention·expert 구조가 갈림. OpenAI는 더 sparse, Anthropic은 상대적 dense
  • 네트워크: NVIDIA NVLink는 스위치로 72 GPU / Google ICI는 스위치 없이 8000칩(다른 칩 거쳐감)
• CUDA 모트 약화: 모델이 코딩 잘해 커스텀 커널 부담 줌(Claude·Codex가 최적화 대행). 큰 랩은 이미 PyTorch 포크(OpenAI)·자체구축(Anthropic)이라 오픈소스 의존 없음
  • 진짜 남은 "모트"는 CUDA가 아니라, 중국 오픈소스 모델들이 GPU에 co-design돼 TPU서 잘 안 돌아가는 것. Anthropic은 TPU로 주로 학습, Tranium+GPU로 inference

7. Cerebras·병목·에너지·ROI

• Cerebras: fast inference 강점(SemiAnalysis도 fast mode 거의 전용). 단 10T+ 파라미터·롱컨텍스트 대형 모델은 SRAM 기반 칩(Cerebras·Grok)서 어려움 → 대형 모델 시대엔 리스크
• 병목 2가지:
  • 메모리 대역폭 — NAND 셀 25년·DRAM 셀 40년 전 발명 이후 근본 혁신 없음. HBM도 적층만. 칩 위에 메모리 직접 적층하면 대역폭 폭증 [29:26-30:26, 44:00 재언급]
  • 전력 밀도 — 20년간 1W/mm² 한계. Rubin 2000W, Rubin Ultra 4000W. mm²당 전력을 더 밀어넣는 기술 개발 중(발열·전기간섭 난제) → 실리콘 덜 쓰게 됨
• 에너지: 미국 대량생산 가능한 디젤 트럭 엔진을 발전기로 역구동 → 자동차 정비공이 유지보수
• ROI: "AI는 ROI 없다"는 주장에 분노. 능력 곡선은 계속 우상향, 벤치 포화되면 새 벤치가 다시 치솟음

8. ASIC 생태계 종착점

• 하드웨어·모델 아키텍처 분화(bifurcation)로 각자 co-optimize. 위험은 local minima(당장 최적이나 결국 틀린 방향)
• 랩들은 1년 뒤 자기 아키텍처도 모름 → 5년짜리 특화 ASIC 올인 못 하고 general purpose 버킷 필요
• Google은 xAI에 GPU 시간당 $11 지불(자체 TPU 있는데도). Google TPU만 3개 다른 설계(Broadcom·MediaTek·세번째)
• 결론: 모두 자체 ASIC 수십억-수천억달러 배포. 그래도 파이 대부분은 NVIDIA·TPU·Tranium. 시장이 커져 니치로도 돈 됨

9. 데이터센터 빌드아웃 & 컴퓨트 크런치 & Anthropic 수익성

• 매분기 컴퓨트 급증. 올해 20GW, 내년 30GW+(지연 감안). 지연은 하드웨어 숙명
• 컴퓨트 크런치 원인: 모델이 좋아져 "AI가 할 수 있는 유용한 일의 TAM"이 컴퓨트 증가보다 빨리 늘어남 → 가격 상승. Fable 5·Mythos 5(당일 출시) TAM은 Opus 대비 2배+
• Anthropic 수익성: Q2 순이익 흑자(SBC 제외), Q3엔 SBC 포함도 흑자 가능. Opus 4.8 토큰 API 마진 80%+(bedrock·vertex 딜로 전사 총마진은 다소 깎임)
  • 그래서 시장가 위로 GPU 사도 됨. 75% 마진서 컴퓨트 비용 2배여도 50% 마진
• 경고 신호: Crusoe 고객이 데이터센터 건설 중단 요청(트윗). Sonya가 고레버리지·고성장 우려 → 패텔은 "지분 소액에 큰 업사이드"로 반박
• 재귀적 자기개선 유사: 모델이 인프라 코드 짜서 다음 모델 더 빨리 출시 → 오히려 가속
• 자본 문제: Google도 자본 조달(SpaceX 지분 5%+, 은행에 $100B 있는데도 추가 offering). Meta도 주식 발행

10. 데이터센터·컴퓨트 품질 이질성

• 오일 비유(Sean): 사우디 저비용·저불순물처럼, GW마다 가치 다름. Google GW가 neocloud보다 2배 가치?
• 렌탈 단가 스프레드: Tranium $10B/GW 미만(Anthropic·OpenAI) vs GPU $12-13B/GW vs SpaceX-Google 딜 $25B/GW(엄청난 격차)
• 데이터센터 co-location($/kW/월): 예전 $60 → 지금 $120-160. 신용 낮은 고객 $200, 인도 $80
• Google 트릭: 1GW 데이터센터에 1.5GW 하드웨어 넣고 전력 슬로싱. 유틸리티와 "연 3일 빼고 2GW" 딜
• 1GW 가치: Anthropic에 준 1GW가 OpenAI 1GW보다 매출 가치 높음. 둘 다 rate limit 때문에 가진 GW 다 팔 수 있음(Codex 5.5 뒤 더)

11. Neocloud & Jensen의 multipolar 전략 (62:00 - 끝)

• SpaceX: Starlink(네트워킹)+Tesla(전력관리) 경험 → 하드웨어 활용 최상위일 것(분석에서 과소평가)
• CoreWeave: GPU 성능·신뢰성 최고인데, 밸런스시트 부족으로 "지금 돌아간다, 사라"를 SpaceX처럼 못함(Google은 6개월 선판매→부채조달→PO 지불)
• Neocloud가 존재하는 이유: AI 클라우드에선 하이퍼스케일러 전통 강점(Nitro NIC·테넌트격리·커스텀 SSD·Graviton)이 오히려 성능에 해. GPU는 랙 통째·장기계약이라 그 전문성 무의미. 관건은 time-to-market — Crusoe 같은 고레버리지 지분 보유팀(비트코인 출신)이 빨리 딜리버
• Jensen의 체스: 하이퍼스케일러 독점 세계를 싫어함 → neocloud·중국랩에 돈 뿌려 multipolar 세계 조성. Crusoe·CoreWeave가 살아남아야 Google TPU·Amazon Tranium이 약해져 NVIDIA에 유리. "미끼 뿌리면 최고 물고기가 살아남는다". Thinking Machines의 Tinker도 수억달러 ARR

핵심 요약

• 프레임: 성능 게인은 단일 계층이 아니라 하드웨어-소프트웨어 co-design(100x). "NVIDIA vs TPU" 이분법은 무의미 — 모델·칩이 짝지어 감
• 관전 포인트: ① inference가 최대 시장(비용 연 60x↓) ② Anthropic 80%+ 토큰 마진·흑자전환 ③ 컴퓨트 크런치는 "모델 TAM > 컴퓨트 증가" 유지 한 지속 ④ GW 렌탈 단가 스프레드($10B-25B)가 사업자 품질 시그널 ⑤ NVIDIA general-purpose 해자 + Jensen multipolar 전략으로 neocloud 생존 유도