개요
2026년 4월 GTC에서 구글 수석과학자 제프 딘과 엔비디아 수석과학자 빌 달리가 진행한 대담. 검증 가능한 보상 영역(수학·코딩)에서의 모델 성능 급증, 초저지연 추론 아키텍처, 자기개선형 에이전트의 가능성, Chinchilla 스케일링 법칙 이후의 학습 전략, 학습·추론용 하드웨어의 분화, AI를 활용한 칩 설계 자동화, 에너지 효율화 기술까지 폭넓게 다룸.
핵심 내용
최근 1년의 모델 진전
- 검증 가능한 보상 영역 급성장: 수학·코딩처럼 정답 검증이 가능한 문제에서 성능이 크게 개선. Gemini는 IMO(국제수학올림피아드)와 ICPC(코딩 경진대회)에서 금메달 수준 성과
- 에이전트 워크플로 전환: 과거엔 모델에 작업을 맡기고 몇 분마다 다음 지시를 줘야 했지만, 이제는 수시간에서 수일 걸리는 과업을 자율적으로 수행하고 스스로 교정하는 단계에 진입
저지연 추론을 위한 하드웨어 아키텍처
- 에이전트 성능과 지연의 연결: 제프 딘은 백그라운드 에이전트가 자율적으로 문제를 푸는 속도가 추론 지연에 직접 좌우된다고 설명. 수백 토큰이 아니라 수천·수만 토큰을 빠르게 생성하는 것이 에이전트의 반복 실험과 교정 주기를 단축하는 핵심 조건이라고 봄
- 처리량-지연 트레이드오프: 배치 크기를 키우면 초당 토큰당 비용·전력 효율이 좋아지지만 지연이 늘고, 지연을 줄이려면 처리량을 희생
- 온칩 지연: 정적 스케줄링으로 라우팅·큐잉·조정 오버헤드를 제거하면 칩 한쪽 끝에서 반대쪽까지 약 30나노초로 이동 가능(2mm/ns 속도)
- 오프칩 지연: 현재 PHY는 최대 대역폭(예: 페어당 400Gbps)에 최적화돼 신호 검출·전진 오류 정정에 heroic한 디지털 신호처리가 필요. 대역폭을 200Gbps 수준으로 다소 낮추면 단순 전압 검출만으로 비트를 읽어 지연이 대폭 감소
- 목표치: 이런 라우터 설계(빌 달리가 2006년 Cray Black Widow에서 구현한 방식과 유사)로 50나노초 미만 라우터를 만들면, 대형 모델도 사용자당 초당 10,000-20,000 토큰까지 가능하다고 전망
자기개선 에이전트, 아직 완성 전
- 상위 지시로 50개 실험 자동 실행 후 선별: Dean은 모델이 "이 방향의 아이디어를 탐색해보라"는 상위 수준 지시만으로 50개 실험을 돌리고 40개는 폐기, 10개를 정밀 검토하는 방식이 이미 나타나고 있다고 설명
- 자연어로 탐색공간 지정하는 사실상 자연어 NAS: 2017년 신경망 아키텍처 탐색(NAS)이 코드로 탐색 공간을 지정했다면, 지금은 자연어로 탐색 공간을 지정할 수 있어 사실상 "자연어 NAS"에 해당. 연구자 생산성의 강력한 배수 효과
- 완전 재귀적 자기개선은 아직 미도달: 다만 Dean은 "모델이 스스로 데이터 큐레이션·학습·다음 버전 학습까지 전부 자동 수행"하는 완전한 재귀적 자기개선까지는 "아직 완전히 도달하지 못했다"고 명시
다중 에이전트와 도구 지연의 병목
- 희소한 보상 신호: 수학·코딩처럼 정답을 검증하기 쉬운 영역과 달리, 검증이 어려운 다른 영역에서는 긴 작업이 끝난 뒤 드문 보상만 주어지는 문제가 남아 있음. 이를 풀면 에이전트가 다룰 수 있는 과업과 전문 분야가 크게 넓어질 것이라고 전망
- 모델 밖 도구가 병목: 에이전트가 인간보다 50배 빠르게 움직여도 C 컴파일러, 문서·스프레드시트 처리 도구가 인간 속도에 맞춰 CPU에서 시작되면 전체 지연을 지배하게 됨. 모델만 무한히 빨라져도 도구가 시간을 차지하면 체감 속도는 2-3배 개선에 그칠 수 있다는 암달의 법칙식 제약을 지적
- 소프트웨어 스택 재설계 필요: 코드 도구뿐 아니라 문서에서 정보를 추출하고 환경과 상호작용하는 도구까지 에이전트 속도에 맞게 다시 만들어야 함. 추론 하드웨어 성능만으로는 장기 실행 에이전트의 생산성을 온전히 끌어낼 수 없다는 결론
하드웨어 미래 예측의 어려움과 대응
- 하드웨어 개발 2년 소요돼 2-5년 뒤 예측 필요: 하드웨어는 개발부터 데이터센터 투입까지 약 2년, 이후 수년간 사용돼 결국 2-5년 뒤 AI 방향을 예측해야 하는 구조
- 범용 개선: 더 나은 수 표현 방식, 온칩 데이터 이동 축소 등은 어떤 모델에도 유리
- 프로비저닝 문제: grouped-query attention에서 multi-latent attention으로의 전환처럼 연산량·메모리 대역폭·메모리 용량·통신량 비율이 바뀌는 아키텍처 변화는 예측이 특히 어려움. 향후에는 서로 다른 프로비저닝의 SKU를 여러 종 준비해 헤지하는 방향도 검토
구글의 TPU 공동설계 실무
- 하드웨어·모델 공동 설계: 제프 딘은 구글의 머신러닝 연구자가 1-3년 뒤 많이 쓸 연산을 제안하면 하드웨어 연구자가 구현 가능한 변형을 되묻고, 다시 모델 쪽에서 프로토타입을 만드는 반복 대화가 중요하다고 설명
- 작은 실험 블록의 옵션 가치: 구글은 2-4년 뒤 유용할 기능을 실리콘의 작은 영역에 먼저 넣는다. 실패해도 일부 면적이 덜 쓰이는 데 그치지만, 예측이 맞으면 해당 작업을 10-20배 가속할 수 있어 불확실한 모델 로드맵에 대한 옵션으로 기능
- 엔비디아의 비교: 빌 달리는 이를 그래픽용 GPU마다 일부 면적을 배정하는 엔비디아의 "CUDA tax"와 비슷하다고 설명. 쓰이면 큰 이익을 얻고 쓰이지 않아도 전체 칩에 미치는 비용은 제한적이라는 의미
Chinchilla 이후 스케일링과 데이터
- 훈련 최적과 추론 최적은 다름: Dean은 Chinchilla 스케일링 법칙이 훈련 연산 관점의 최적 비율을 제시할 뿐, 학습된 모델의 추론 성능과 비용까지 고려하면 반드시 그 비율을 따를 필요는 없다고 전제. 작은 모델을 더 오래 학습하는 선택이 추론 단계에서는 유리할 수 있다는 의미
- 데이터 고갈론에 반박 비디오 오디오 로보틱스 풍부: Dean은 "데이터가 고갈되고 있다"는 전제에 동의하지 않음. 아직 학습에 쓰이지 않은 비디오·오디오 데이터, 실세계 로보틱스·자율주행 데이터가 풍부하다고 지적
- 합성 데이터 유효성 두고 재생산 우려 반문: 합성 데이터는 생성 모델이 충분히 강력하면 여전히 유효하다고 평가하나, Dally는 "결국 같은 것을 재생산하는 것 아니냐"고 반문
- 과적합 방지 기법 활용 부족해 개선 여지 큼: 이미지 모델 시대의 data augmentation, dropout, distillation 같은 과적합 방지 기법을 아직 충분히 활용하지 않고 있어 연산을 늘려 모델을 개선할 여지가 크다고 봄
사전학습에 행동 개입 가능성
- 사전학습에 행동 개입 인터리빙 방식 효율 전망: Dean은 현재 사전학습이 "인터넷 데이터를 순서대로 흘려보내며 관찰만 하는" 방식이라며, 시뮬레이션 로보틱스나 질의응답 같은 환경에서 실제 행동을 취하고 그 결과를 다시 학습에 반영하는 인터리빙 방식이 학습 효율을 크게 높일 수 있다고 전망
- 행동 기반 학습 향후 사전학습 단계로 통합 가능성: 현재는 이런 행동 기반 학습이 사후학습 단계에 국한돼 있으나, 향후 사전학습 단계로 더 깊이 통합될 가능성 언급
추론이 이제 "본업"
- Groq 인수 맥락: 제프 딘은 엔비디아가 저지연 추론 하드웨어 기업 Groq를 인수하고 최신 GPU와 결합한다고 발표한 사실을 언급하며 학습용과 추론용 하드웨어의 차이를 질문
- 빌 달리: 데이터센터 전력의 약 90%가 이미 추론에 쓰이고 있어 "추론이 이제 본업"이라고 규정
- 학습 추론 수 표현 공통점 있으나 메모리 요구 상이: 추론용으로 개발한 NVFP4 같은 수 표현이 학습에도 효과적으로 작동하는 등 학습·추론 간 공통점이 있으나, 활성화값 저장 필요 여부(학습은 역전파용으로 보관, 추론은 즉시 폐기) 등 메모리 요구가 근본적으로 다름
- 추론 단계별 이질성: prefill은 병렬 처리가 많아 학습과 유사하게 연산 집약적, decode는 행렬-벡터 곱 중심으로 메모리 대역폭·지연에 극도로 민감
- 순차성 완화 수단: 디코드는 토큰 하나를 전체 모델에 통과시킨 뒤 다음 토큰으로 넘어가는 순차 작업이지만, 추측 디코딩은 한 번에 약 8개 후보를 처리하고 확산형 언어모델은 수백 토큰 블록까지 병렬화할 가능성이 있다고 설명
- 하드웨어 학습 어텐션 디코드용으로 분화 전망: Dally는 향후 하드웨어가 최소 3가지 유형(학습+prefill용, attention용, decode용)으로 분화하고, decode용은 다시 attention decode와 feed-forward decode로 세분화될 수 있다고 전망
어텐션 구조의 진화
- 희소 모델 확산에 배칭 효율 저하 문제: 대규모 파라미터·희소 모델로의 전환이 이어지는 중. 배치 내 서로 다른 전문가가 활성화되며 배칭 효율이 떨어지는 문제 존재
- 이차복잡도 어텐션 대안들 품질손실 트레이드오프: 이차 복잡도의 어텐션은 품질은 우수하나 토큰 수가 커지면 비용이 급증. 청크 단위로 어텐션을 수행한 뒤 관련 청크만 정밀 탐색하는 방식, 어텐션 상태를 클러스터링해 근접 클러스터만 보는 방식(n log n 수준) 등이 대안으로 거론되나 완전한 이차 복잡도 방식 대비 품질 손실 트레이드오프 존재
- 계층적 attention/검색: context window가 아무리 커도 결국 유한하므로, 가벼운 검색 메커니즘으로 조 단위 토큰 중 관련 문서(예: 1000만-2000만 토큰)를 선별한 뒤 그 안에서 다시 정밀 검색해 최종 attention 대상(약 100만 토큰)을 좁히는 단계적 방식을 제안
연속학습과 유기적으로 변하는 모델 구조
- 질문의 전제: 제프 딘은 고정된 파라미터 집합 대신 파라미터를 추가·제거하거나 기존 파라미터를 압축하는 연속학습 모델이 늘어날 때, 불규칙한 구조가 하드웨어 활용률을 떨어뜨리지 않으려면 무엇이 필요한지 질문
- 블록 단위 실행: 빌 달리는 불규칙성이 충분히 큰 블록 단위라면 각 블록을 기존 방식으로 효율적으로 실행하고, 완료 후 크기가 다른 다음 블록을 동적으로 선택할 수 있다고 답변. 핵심은 블록 사이의 빠른 동기화와 통신
- 최소 작업 단위: 병렬 처리할 블록이 약 10,000개 연산보다 작아지면 오버헤드가 커져 CPU식 실행으로 돌아갈 수 있다고 경고. 유기적으로 변하는 모델도 하드웨어가 효율적으로 스케줄링할 수 있는 최소 입도를 유지해야 한다는 조건
AI를 활용한 칩 설계 자동화
- NVCell: 표준 셀 라이브러리를 새 반도체 공정에 이식하는 작업(약 2,500-3,000개 셀, 기존엔 8명 팀 10개월/80인월 소요)을 강화학습으로 GPU 1개에서 하룻밤 만에 처리, 크기·전력·지연 지표에서 인간 설계와 동등하거나 우수
- PrefixRL: 1950년대부터 연구된 carry look-ahead 덧셈기 설계 문제에 강화학습 적용. 인간이 만들지 않을 기이한 설계를 도출하지만 크기·전력 지표에서 인간 설계보다 20-30% 우수
- ChipNeMo/BugNeMo: 엔비디아 전체 GPU의 RTL·아키텍처 문서로 파인튜닝한 LLM. 주니어 설계자 교육(선임 인력 시간 절감), 버그 리포트 요약·귀책 자동화에 활용
- 현재 자동화의 경계: 일반적인 텍스처 유닛 설계안은 만들 수 있어도, Blackwell 세대의 기존 텍스처 유닛에 Rubin의 새 기능과 폐기 기능을 반영하면서 코드 변경을 최소화하는 실제 세대 전환 작업은 아직 어렵다고 설명. 완전 자동 설계와의 거리를 보여주는 구체적 사례
- 에이전트 기반 탐색: NVIDIA Research는 아키텍처 파라미터 공간 탐색, 간이 실험 실행, 설계 공간 축소에 에이전트를 활용 중이나, "GPU 설계해줘"라고 맡기고 완전 자동화되는 단계와는 "거리가 멀다"고 명시. 검증 단계가 가장 긴 병목
- 에이전트 설계팀 구상: 향후에는 인간 칩 설계팀처럼 에이전트별로 칩의 서로 다른 부분을 맡기고, 잘 정의된 인터페이스 변경을 서로 협상하게 할 수 있다고 전망. 두 사람은 이를 에이전트 사이의 회의라고 표현
- 배치 라우팅 최적화 강화학습 AlphaChip 사례: 제프 딘은 유사 사례로 배치·라우팅 최적화에 강화학습을 적용한 AlphaChip을 언급
에너지 효율화: 핵심은 데이터 이동 최소화
- HBM 데이터 읽기가 연산보다 1000배 에너지 소모: NVFP4 곱셈-덧셈 연산 자체는 약 10펨토줄인데, HBM4에서 해당 수를 읽어오는 데는 약 15피코줄이 소요 — 외부 메모리 접근이 연산 자체보다 약 1,000배 많은 에너지 소모
- SRAM 내 연산 검토하나 비트당 면적비용 10배: SRAM 내에서 행렬 행과 활성화 벡터의 dot product를 직접 계산해 데이터 이동을 없애는 설계를 검토 중이나, SRAM은 비트당 면적 비용이 DRAM보다 약 10배 비쌈
- 스택형 DRAM: 연산 칩 위에 DRAM을 직접 적층해 배선 이동 없이 비트를 바로 아래로 전달하는 방식이 아직 완성되지 않았으나 유망한 방향. 대역폭은 약 10배 늘고 비트당 에너지는 약 10배 줄어 동일 전력에서 성능이 크게 향상
- 희소성: 2:1 구조적 희소성은 이미 활용 중이나, 더 일반적인 희소성 활용은 연산의 규칙성을 깨뜨려 제어·라우팅 오버헤드를 키우는 문제로 다음 단계 진전이 열린 과제로 남아있음
- 룩업테이블 수 표현: 각 심볼을 원하는 위치에 배치할 수 있지만 사용할 수 있는 심볼 수가 제한되는 룩업테이블 방식도 검토. 연산 로직이 복잡해지는 비용이 있으나 경우에 따라 가치가 있을 수 있다고 평가
네트워크 토폴로지 트레이드오프
- 구글 TPU는 커스텀 토러스 네트워크 채택: 구글 TPU는 2D/3D 토러스 같은 점대점 커스텀 네트워크를 채택, 수천 개 칩까지 확장
- 핀 대역폭 증가로 토러스에서 고radix 스위치로 전환: 빌 달리는 자신이 1980년대 말-90년대 초 3D 토러스(Cray T3D) 설계를 주도했으나, 2000년대 이후 핀 대역폭 증가로 fat tree, dragonfly 같은 고radix 스위치형 토폴로지로 전환했다고 설명
- 어느 쪽이 우월한지는 트래픽 패턴에 좌우: 국지적 워크로드는 저radix 직접연결 네트워크(토러스)가 유리, MoE처럼 전문가가 분산돼 여러 홉이 필요한 경우는 스위치 경유가 유리. 엔비디아는 국지 통신은 flattened butterfly로 직접 연결하고 전역 통신은 스위치 계층을 쓰는 하이브리드 실험 사례도 있음
사회적 임팩트: 교육과 헬스케어
- AI 영향 7개영역 논문 shapingai.com: Dean은 공동저자들과 함께 AI가 영향을 미칠 7개 영역(교육, 헬스케어, 노동·고용, 과학, 미디어 등)을 분석한 논문 shapingai.com을 소개
- 개인화 튜터 표준편차 1-2단위 학습효과 몇년내 실현: 개인화 튜터는 학습 성과를 그룹 교육 대비 표준편차 1-2단위 높인다는 근거를 들며, 모달리티 전환(텍스트→팟캐스트, 인터랙티브 시뮬레이션 등)이 가능한 현재 모델이 몇 년 내 이런 튜터를 실현할 수 있다고 전망. 26년간 교수로 일한 빌 달리도 개인화 튜터를 가장 기대하는 응용 중 하나로 직접 꼽음
- 계산기 도입과의 비교: 학교가 AI 사용을 제한하기보다 효과적인 사용법을 가르쳐야 한다고 주장. 계산기가 처음 도입됐을 때 기초 연산을 못 배우게 된다는 반발이 있었지만, 실제로는 계산 병목을 없애 더 높은 수준의 수학을 가르칠 수 있게 됐다는 사례를 제시
- 웨어러블 유전자 데이터 활용한 개인 건강코치 구상: Dally는 식습관을 조언하는 개인 건강코치 개념을 먼저 제시. 이어 Dean은 웨어러블 심박 데이터와 유전자 정보를 실제 임상 판단에 반영해야 한다는 논거를 덧붙이고, 프라이버시·규제 문제는 있으나 과거 헬스케어 결정을 미래 결정에 활용하는 방향을 지향해야 한다고 강조
대형 연구조직의 규모와 실행 속도
- 엔비디아 1000명땐 관료제 부재: 빌 달리는 2003년 엔비디아가 약 1,000명일 때는 필요한 사람을 대부분 알고 의사결정에 관료제가 거의 없었지만, 4만 명 이상이 되면서 공동체의 암묵적 규범만으로 운영하기 어려워져 규칙이 늘었다고 회고
- 구글 규모 두배마다 이전 방식 하나씩 작동 정지: 제프 딘도 소규모 구글에서 약 18만 명 조직으로 성장하는 동안 규모가 두 배가 될 때마다 이전 방식 하나씩이 작동하지 않게 됐다고 평가. 필요한 절차를 추가하되 조직 전체가 과도하게 관료화되지 않게 하는 것이 공통 과제
- 대형 조직 자본력이 초기 불가능한 공동투자 가능케 함: 동시에 대형 조직의 자원과 규모 덕분에 초기에는 불가능했던 칩·모델·인프라 공동 투자가 가능해진다는 장점도 강조. 스타트업식 실행 속도와 대규모 자본의 결합 여부가 연구 생산성을 좌우한다는 시사점
투자자 관점 시사점
- 매출 동인: 빌 달리는 데이터센터 전력의 약 90%가 이미 추론에 쓰인다고 언급. 추론이 데이터센터 AI 워크로드의 중심이 됐다는 진단은 엔비디아의 저지연 추론 SKU 다변화(prefill/attention/decode용 분리)가 향후 제품 로드맵의 핵심 축이 될 가능성을 시사
- 경쟁 지위: 엔비디아는 스택형 DRAM, SRAM in-place 연산, 저지연 라우터(50ns 미만 목표) 등 물리 계층 혁신에 집중 — 알고리즘(NVFP4 등 수 표현)보다 하드웨어 파이프라인 재설계가 경쟁 우위의 핵심이라는 빌 달리의 진단은 반도체 설계 역량이 곧 AI 인프라 경쟁력임을 재확인
- 비용·마진 구조: AI 칩 설계 자동화(NVCell, PrefixRL, ChipNeMo)로 셀 라이브러리 이식이 8명×10개월에서 GPU 1개×하룻밤으로 단축됐다는 사례는 엔비디아의 R&D 생산성·설계 사이클 단축이 마진 방어에 직접 기여할 수 있음을 시사
- 자본집약도: 대형 모델을 초당 10,000-20,000 토큰까지 서빙하려는 목표는 온칩·오프칩 통신 재설계, 스택형 DRAM 등 새로운 패키징·공정 투자를 요구 — 차세대 GPU 세대의 자본지출 방향성을 가늠할 단서
- 밸류에이션 함의: 제프 딘이 재귀적 자기개선 에이전트(모델이 스스로 다음 버전을 훈련)가 "아직 완전히 도달하지 못했다"고 명시적으로 선을 그은 점은, 이 서사를 근거로 한 극단적 낙관 시나리오에 대해 시장이 과도하게 앞서갈 위험을 경계할 근거가 됨
기억할 발언
- "추론이 이제 본업이다. 데이터센터 전력의 90%가 추론에 들어간다고 봐도 된다." — 빌 달리
- "에너지를 줄이는 핵심은 데이터를 움직이지 않는 것이다. 반드시 그렇게 해야 한다." — 빌 달리
- "당신이 묘사한 전체 그림에는 아직 완전히 도달하지 못했다. 하지만 그런 현상이 나타나기 시작했다는 신호는 보인다." (완전 자율 재귀적 자기개선 질문에 대한 답) — 제프 딘
- "데이터가 고갈되고 있다는 주장에는 동의하지 않는다. 아직 모델 학습에 사용되지 않은 데이터가 세상에 아주 많이 남아 있다고 본다." — 제프 딘
- "모든 트래픽 패턴에 다 적합한 네트워크는 없다." — 빌 달리