Reiner Pope의 상향식 AI 칩 설계 해부 — 논리 게이트에서 시스톨릭 어레이까지

개요

• Dwarkesh Patel 팟캐스트에서 AI 칩 스타트업 MatX의 CEO Reiner Pope가 칩 내부 동작을 최소 단위부터 상향식으로 해설 (Dwarkesh는 MatX 엔젤투자자임을 공개)
• 경로: 논리 게이트 -> 곱셈-누산 회로 -> mux와 레지스터 파일 -> 시스톨릭 어레이(Tensor Core) -> 클록·파이프라인 -> FPGA vs ASIC -> GPU vs TPU
• 관통 테마 = 스택 전 계층에서 통신(데이터 이동) 대비 연산을 극대화하는 것. 정밀도 선택·어레이 크기·클록 속도·아키텍처 선택 모두 같은 트레이드오프의 변주

핵심 내용

밑바닥 — 곱셈-누산 회로

• AI칩 원자연산은 곱셈-누산(MAC): 칩의 최소 프리미티브 = AND·OR·NOT 논리 게이트, 물리적 금속 배선으로 연결. AI 칩의 목표 함수 = 행렬곱, 그 원자 연산 = multiply-accumulate
  • 행렬곱은 i·j·k 3중 루프의 매 스텝이 output[i,k] += input[i,j] x input[j,k] — 모든 스텝에 곱셈-누산 등장
• 누산 정밀도는 곱셈 정밀도보다 높아야 하는 AI칩 설계: 누산 정밀도는 곱셈 정밀도보다 높아야 함 (시연: 4bit 곱 + 8bit 누산). AI 칩 특유의 설계
  • 곱셈은 체인당 1회지만 합산은 j회 반복 -> 반올림 오차가 누산 쪽에 누적
• 회로 구성: 부분곱 생성 = p bit x q bit 곱에 AND 게이트 p x q개(4x4=16개), 합산 = full adder(3bit 입력 -> 2bit 출력, 3-2 compressor) 반복 적용 = Dadda multiplier
  • 필요한 full adder 수도 정확히 p x q개 (입력 24bit - 출력 8bit = 16개) — 면적 효율 표준 방식

비트폭 제곱 스케일링과 저정밀 연산

• 곱셈기 면적은 비트폭 제곱 비례라 저정밀 연산이 유리: 곱셈기 면적은 비트폭의 제곱에 비례 -> 정밀도 절반이면 면적 4분의 1. 저정밀 연산이 뉴럴넷에서 통한 단일 최대 이유
• 정밀도별 전용회로, 비중배분이 설계 핵심: FP4·FP8 회로는 상호 호환 불가 — 각 정밀도별 전용 회로 필요. 비중 배분이 칩 설계의 핵심 선택 (고객 요구 기준 또는 전력 예산 균등화 기준)
  • 4bit 2개를 8bit 저장공간에 패킹 가능 -> 메모리·버스 폭 설계가 깔끔하게 정합 (2배 비율의 데이터 이동 측면 근거)
• Nvidia B300부터 FP4/FP8 비율 3배 표기: Nvidia는 B100·B200까지 정밀도 절반 = FLOPs 2배 공식이었으나, B300부터 FP4를 FP8의 3배로 표기 — 제곱 스케일링을 스펙에 반영하기 시작 (이론값은 4배)

데이터 이동의 숨은 비용 -> 시스톨릭 어레이

• CPU 레지스터파일 구조의 mux 선택 비용 문제: CPU·구형 CUDA 코어 구조 = 레지스터 파일 + ALU. 레지스터 선택용 mux 비용 = n입력 p bit 기준 n x p개 AND + (n-1) x p개 OR
  • 8엔트리 파일에서 입력 3개를 읽으면 데이터 이동에 24p 게이트 vs 곱셈-덧셈 회로 자체는 4p — 전체 비용의 약 8분의 7이 레지스터 파일 읽기·쓰기
• Tensor Core, 행렬곱 루프 하드웨어 고정: 이 비효율이 Volta 세대 Tensor Core(범용 명칭 시스톨릭 어레이) 도입 동기 — 행렬-벡터 곱 루프를 통째로 고정기능 하드웨어에 베이크해 입출력 세금 축소
• 시스톨릭 어레이, 가중치 내부 상주 재사용: 핵심 트릭 = 가중치 행렬을 어레이 내부 레지스터에 상주시키고 다수 입력 벡터에 재사용 -> 연산은 xy로 늘리면서 레지스터 파일 통신은 x로 제한
  • 가중치 로딩은 daisy chain 트리클 피드 (1클록에 맨 윗행 주입 + 나머지 한 칸씩 하향 시프트) — 드문 로딩에 대역폭(=면적) 최소화
  • 구형 TPU는 128x128 어레이. 행렬곱 구현에 알려진 가장 효율적인 회로
• 칩 설계는 데이터이동과 어레이 면적 예산 배분이 핵심: 칩 설계 결정의 대부분 = 사이징. 예: 데이터 이동에 면적 10%·어레이에 90% 예산을 먼저 정하고 레지스터 파일 크기를 역산. 파일이 클수록 유연하지만 어레이 면적 잠식

클록 사이클과 파이프라인

• 칩 동기화는 나노초 글로벌 클록 락스텝: 1,000억 트랜지스터의 동기화 = 나노초 단위 글로벌 클록으로 칩 전체가 락스텝 진행 (SW의 mutex와 대조되는 방식)
  • 클록 한계 = 레지스터 사이 로직 클라우드의 전파 지연. 표준 설계는 클록 대비 25% 여유 마진 -> 사실상 결정론적 (clock domain crossing만 확률 추론 필요)
  • 동기화가 필요한 이유 = 제조 편차. 경로 f·g가 h에서 만날 때 도착 시점이 어긋나면 이전·다음 값과 잘못 결합 — 같은 3nm 공정에서도 크리티컬 패스 최적화에 따라 칩별 클록이 달라지는 이유
• pipeline register insertion: 로직을 반으로 쪼개 레지스터 삽입 -> 클록 2배, 대신 면적 증가. 자기 자신에 피드백하는 루프(누적 합산 등)는 단순 분할 시 짝수·홀수 합이 갈라져 계산이 달라짐 — 클록 사이클을 결정짓는 최난점
• 클록 과속시 레지스터 면적이 스루풋 갉아먹음: TSMC PDK 프리미티브(AND·full adder급)는 약 10ps — 클록당 직렬 10-30개 배치가 일반적. 극단으로 몰면 4-6GHz 이상도 가능하지만 면적 대부분이 파이프라인 레지스터(게이트 1개 대비 약 8배 면적)로 소모 -> 스루풋 오히려 하락
  • 스루풋 = 클록당 작업량 x 초당 클록 수. 낮은 배치 사이즈의 레이턴시-스루풋 트레이드오프와 동형 구조

FPGA vs ASIC, 결정론적 레이턴시

• ASIC 10배 효율, 초기비용은 훨씬 높음: 개념 모델은 동일하나 ASIC이 약 10배 저렴·고효율. 단 초기 비용은 FPGA $10,000 vs ASIC 테이프아웃 포함 $3,000만 — 워크로드가 월 단위로 바뀌는 HFT 등에서 FPGA 선택
• FPGA는 LUT+mux 제어비트로 프로그래밍: FPGA 내부 = 레지스터 + 4입력 1출력 LUT(truth table 16엔트리를 설정 비트에 저장) + 모든 유닛 앞의 mux 스웜. 프로그래밍 = mux 제어 비트 설정
  • LUT 1개 = 약 32게이트인데 4-way AND(ASIC이면 3게이트)를 구현 -> 10배 오버헤드 법칙의 출처. 장거리 배선 토폴로지는 FPGA 제조사(AMD 등)가 사전 결정
• CPU 캐시가 비결정성의 최대 원인: CPU 비결정성의 최대 원천 = 캐시. DDR 대비 100배 빠르지만 히트 여부가 동시 실행 프로그램 등 환경 의존 — 캐시 없으면 프로그램이 100배 느려져 제거 불가
• TPU scratchpad 철학, 결정론적 레이턴시: TPU는 scratchpad 철학 — 로컬 메모리 접근과 HBM 접근을 별도 명령으로 SW에 노출해 하드웨어 판단 제거 -> 결정론적 레이턴시 (Groq·TPU 코어가 이를 광고)

GPU vs TPU 아키텍처, 그리고 MatX

• CPU 다이 대부분은 캐시가 차지: CPU 병렬성 = 약 100코어 x 16-way 벡터 = 약 1,000-way. 다이 대부분은 캐시·레지스터 파일·branch predictor가 차지, ALU는 극소
  • 분기 처리(판정·PC 갱신·명령 fetch)에 약 5ns = 200MHz 상당 -> 1-2GHz로 돌리려면 5사이클 선행 분기 예측 필수. GPU는 branch predictor 제거 + 레지스터 파일 압축으로 밀도 이득
• 최상위 구조: GPU = 거의 동일한 SM 타일 격자 + 중앙 L2, TPU = 소수의 대형 matrix unit(시스톨릭 어레이) + 중앙 vector unit. GPU는 사실상 초소형 TPU 다수의 타일링 (SM 내 tensor core가 MXU에 대응)
• TPU는 상각 유리, GPU는 이동거리 우위: TPU식 대형 어레이 = 레지스터 파일 비용 상각에 유리. 대신 vector-matrix 간 데이터가 좁은 경계 2개 라인으로만 이동 — GPU는 16개 라인으로 이동량 우위 + SM 내부에서 완결되면 이동 거리·에너지 절감
• MatX, 분할가능 시스톨릭 어레이 절충설계: MatX는 splittable systolic array를 공개 언급 — 큰 시스톨릭 어레이가 작은 어레이들로도 동작하는 절충 설계 (GPU식 유연성 + TPU식 상각 효율 동시 추구)
• 뇌 비교: 칩 에너지의 대부분 = 스위칭 전력(커패시터 충방전). 클록을 1,000배 낮추면 에너지도 약 1,000배 줄 뿐 연산당 효율 우위는 없음 — 높은 클록은 배치 1,000 스루풋을 위한 선택. 뇌는 비구조적 sparsity·메모리-연산 결합이라는 별개 차원의 구조

투자자 관점 시사점

• 저정밀 전환(FP8 -> FP4 이하)은 마케팅이 아니라 물리학(면적 제곱 스케일링)이 미는 구조적 추세 — B300의 FP4 3배 표기가 증거. 저정밀 포맷 지원·메모리 패킹 역량이 가속기 세대 경쟁의 핵심 축으로 지속
• 칩 성능의 병목은 연산기가 아니라 데이터 이동 — 회로 비용의 8분의 7이 레지스터 파일 수준에서도 이동 비용. HBM·인터커넥트·SRAM 등 통신 계층 밸류체인의 구조적 지위를 게이트 수준에서 재확인
• 고정 대형 행렬곱 워크로드에서는 TPU형 대형 시스톨릭 어레이가 GPU 대비 면적 효율 우위 — 추론 특화 ASIC(MatX·Groq 등)의 침투 논리. 단 워크로드 유연성 희생이 전제라 모델 아키텍처 안정화 여부가 변수
• 동일 공정 노드에서도 크리티컬 패스·파이프라인 설계로 클록과 효율이 갈림 — 공정 미세화 둔화 국면에서 설계 역량(팹리스·EDA·검증)의 상대 가치 상승 논거
• FPGA는 $3,000만 테이프아웃 회피가 필요한 니치(HFT·프로토타이핑)에 한정 — 10배 비용 열위로 AI 학습·추론 주류 경쟁에서는 배제, AI발 FPGA 수요 기대는 과대평가 경계

기억할 발언

• (15:38) 비트폭에 대한 제곱 스케일링이 존재하고, 이것이 저정밀 연산이 뉴럴넷에서 그토록 잘 작동한 단 하나의 이유 — Reiner Pope
• (36:12) 시스톨릭 어레이는 행렬곱 구현에 알려진 가장 효율적인 회로이며, 칩 설계 결정의 대부분은 결국 사이징 결정 — Reiner Pope