2024. 6. 15. NVIDIA CEO Jensen Huang's Caltech 2024 Commencement Speech

1. 도입 및 축하

• 본인 소개에 대해 쑥스러움을 표현함.
• 청중에게 엔비디아와 GPU에 대해 아는지 질문함.
• 2024년 칼텍 졸업생들에게 축하를 전하며, 더 기뻐할 것을 주문함.
• 칼텍이 리처드 파인만, 라이너스 폴링, 그리고 본인에게 큰 영향을 준 카버 미드의 학교임을 언급함.
• 오늘은 졸업생들뿐만 아니라, 그들의 부모와 가족들에게도 엄청난 자부심과 기쁨의 날이며 꿈이 이루어진 날이라고 말함.
• 졸업생들에게 이 순간을 빌어 부모님과 가족들에게 감사하고 사랑한다고 전할 것을 조언함 (언제까지 부모님 집에 살게 될지 모른다는 농담 포함).
• 본인도 부모로서 자녀들이 집을 떠나지 않았을 때 매일 볼 수 있어 좋았지만, 지금은 떠나서 슬프다고 이야기함.
• 졸업생들의 여정은 그들의 인격, 결단력, 꿈을 위한 희생 의지를 증명하며, 자부심을 가져야 한다고 말함.
• 희생하고 고통을 견디는 능력은 인생에서 필요한 자질이라고 강조함.

2. 공통점 및 채용 제안

• 엔비디아의 최고 과학자 두 명이 칼텍 출신임을 밝힘.
• 오늘 연설의 이유 중 하나가 '채용'임을 솔직하게 말하며, 엔비디아는 훌륭한 회사이고 자신은 보편적으로 사랑받는 좋은 상사라고 어필함.
• 졸업생들과 과학 및 공학에 대한 열정을 공유한다고 말함.
• 약 40년의 차이가 있지만, 졸업생들과 본인 모두 '커리어의 정점'에 있다고 말함.
• (엔비디아와 본인에게 관심을 가져온 사람들은 이 의미를 알 것이라며) 졸업생들은 앞으로 더 많은 정점을 맞이할 것이고, 본인은 오늘이 자신의 마지막 정점이 아니길 바라며 열심히 일하고 있다고 덧붙임.

3. 조언에 대한 소회 및 과거 연설

• 작년 대만대학교 졸업 축사 경험을 언급함.
• 엔비디아의 여정과 교훈에 대해 몇 가지 이야기를 공유했다고 말함.
• 특히 남의 자녀에게 조언하는 것을 좋아하지 않으며, 오늘의 조언도 이야기 속에 감춰서 전달할 것이라고 함.
• 자신이 현재 세계에서 가장 오래 재임 중인 기술 CEO(31년)라고 생각하며, 그동안 파산하지 않고, 지루해하지 않고, 해고당하지 않았다고 말함.
• 엔비디아를 무에서 현재의 모습으로 일구기까지 많은 경험을 즐길 특권을 가졌다고 함.
• 대만대 연설에서 다룬 내용:
  • 20년 이상 발명에 전념하여 오늘날 컴퓨팅을 혁신하고 있는 프로그래밍 모델 'CUDA'를 만든 긴 여정.
  • 공개적으로 취소했던 '세가' 게임 콘솔 프로젝트. 당시 '지적 정직성'과 '겸손'이 회사를 구했다고 말함 (리처드 파인만이 중요하게 여긴 가치).
  • '전략적 후퇴'가 최고의 전략 중 하나였음.
  • 졸업생들에게 우리 시대의 가장 중요한 기술인 AI에 참여할 것을 권장했음.
• AI에 대해 조금 더 이야기할 것이며, 졸업생들 모두 AI에 대해 알고 몰입하고 있을 것이라 말함.
• 모두가 AI를 사용하고 가지고 놀면서 놀랍거나, 실망스럽거나, 마법 같은 결과들을 경험하길 희망함.
• AI는 매우 빠르게 발전하고 있으므로 즐기고 참여해야 함. 여러 지수에서 동시에 발전하는 유일한 기술임.
• 대만대 학생들에게 AI 혁명에 "걷지 말고 달려라(run, don't walk)"라고 조언했음.
• 불과 1년 만에 믿을 수 없을 만큼 많은 것이 변했다고 함.
• 오늘 연설의 목적: 자신의 관점에서 졸업생들이 마주하게 될 중요한 변화들에 대한 직관적인 이해를 공유하는 것.

4. 컴퓨팅의 대변혁과 가속 컴퓨팅

• 컴퓨터 산업은 문자 그대로 기초부터 변혁하고 있으며, 모든 계층에 걸쳐 변화 중임.
• 곧 모든 산업이 변혁될 것임. 컴퓨터는 오늘날 지식의 가장 중요한 도구이자 모든 산업과 과학 분야의 기초이기 때문임.
• 현대 컴퓨팅은 IBM System 360에서 시작됨 (본인이 배운 아키텍처 매뉴얼).
• System 360의 기본 아이디어와 아키텍처 전략은 오늘날까지도 컴퓨터 산업을 지배하고 있음.
• 본인은 80년대 VLSI 엔지니어 1세대로, 칼텍 카버 미드의 선구적인 연구에 기반한 '미드와 콘웨이(Mead and Conway)'의 교과서로 칩 설계를 배움.
• 이 교과서는 IC 설계를 혁신했고, 우리 세대가 초거대 칩과 궁극적으로 CPU를 설계할 수 있게 함.
• CPU는 컴퓨팅의 기하급수적 성장(무어의 법칙)을 이끌었고, 정보 기술 혁명을 촉발함.
• 이 산업 혁명은 '소프트웨어'라는 보이지 않고 복제하기 쉬운 것의 대량 생산을 이끌었고, 이는 3조 달러 규모의 산업이 됨.
• 본인이 졸업할 때만 해도 IT 산업은 미미했고 소프트웨어를 팔아 돈을 번다는 것은 환상이었음.
• 문제 발생: 데너드 스케일링(Dennard scaling)과 명령어 수준 병렬 처리의 한계로 CPU 성능 향상이 둔화됨.
• 동시에 컴퓨팅 수요는 기하급수적으로 증가함.
• 이 격차(수요와 성능 간)를 해결하지 않으면, 컴퓨팅 에너지 소비와 비용 인플레이션이 모든 산업을 질식시킬 것임. ('컴퓨팅 인플레이션'의 징후가 명확함)
• 해결책: 엔비디아 CUDA, 즉 '가속 컴퓨팅'이 앞으로 나아갈 길을 제시함.
• 시간이 많이 걸리는 알고리즘을 병렬 처리에 특화된 GPU로 오프로드함으로써, 일상적으로 10배, 100배, 때로는 1000배의 속도 향상을 달성함 (비용과 에너지 절약).
• 가속화 영역 예시: 컴퓨터 그래픽스, 유전자 시퀀싱, 과학 컴퓨팅, 천문학, 양자 회로 시뮬레이션, SQL 데이터 처리, 데이터 과학 등.
• 가속 컴퓨팅은 '티핑 포인트'에 도달했음.
• 이것이 엔비디아의 첫 번째 위대한 기여임: 지속 가능한 컴퓨팅.

5. 딥러닝 혁명과 엔비디아의 변신

• 가속 컴퓨팅이 가져온 100배의 시간/비용/에너지 절감은 '딥러닝'이라는 새로운 발전을 촉발함.
• 결정적 순간 (빅뱅): 2012년 제프 힌튼(Jeff Hinton) 등이 엔비디아 CUDA GPU를 사용하여 AlexNet을 훈련, ImageNet 챌린지에서 우승하며 컴퓨터 비전 커뮤니티에 충격을 줌.
• AlexNet 이후 엔비디아의 결정이 회사를 변화시킴.
• 딥러닝의 잠재력을 보았고, 이것이 다른 가치 있는 함수도 학습할 수 있다고 믿음 (원칙적 사고와 확장성 분석을 통해).
• 딥러닝이 '보편적인 함수 학습기(universal function learner)'일 수 있으며, 근본 원리로 표현하기 어렵거나 불가능한 많은 문제가 있음을 깨달음.
• 도전 과제: 당시 (2012년 직후) 딥러닝의 한계를 탐구하려면 거대한 GPU 클러스터가 필요했으나, 당시 엔비디아는 작은 회사였고 수억 달러의 비용이 들 수 있었음.
• 또한 그것이 효과가 있을 것이라는 보장도 없었음.
• 딜레마: "그것을 만들면 그들이 올 것인가?(If you build it, will they come?)"
• 엔비디아의 논리: "우리가 만들지 않으면, 그들은 올 수 없다.(If we don't build it, they can't come.)"
• 제일 원칙에 기반하여 딥러닝에 전념하기로 함.
• 향후 10년간 GPU 자체를 포함한 모든 컴퓨팅 계층(인터커넥트, 시스템, 네트워킹, 소프트웨어)을 체계적으로 재창조함.
• 수십억 달러를 미지의 영역에 투자. 수천 명의 엔지니어가 10년 동안 딥러닝 발전에 매달림.
• 딥러닝과 AI의 한계를 탐구하기 위해 슈퍼컴퓨터를 설계하고 구축함.
• 2016년, 최초의 AI 슈퍼컴퓨터 'DGX-1'을 발표함.
• 첫 번째 DGX-1을 샌프란시스코의 한 스타트업, 당시 아무도 몰랐던 'OpenAI'에 직접 전달함.

6. AI의 대중화와 새로운 산업의 출현

• 2022년 (AlexNet 이후 10년, 컴퓨팅 성능 100만 배 증가 후), OpenAI가 'ChatGPT'를 출시하며 AI가 주류가 됨.
• 이 기간 동안 엔비디아는 그래픽 회사에서 거대한 데이터센터 규모의 슈퍼컴퓨터를 구축하는 AI 회사로 변모함.
• 컴퓨팅 방식 자체가 근본적으로 변화함:
  • 과거: CPU가 프로그래머가 작성한 명령어를 처리함.
  • 현재: GPU가 슈퍼컴퓨터에서 훈련된 대규모 언어 모델(LLM)을 처리함.
• 우리는 이제 인간이 작성할 수 없는 소프트웨어, 10년 전에는 상상도 못 할 일을 하는 소프트웨어를 만들고 있음.
• 컴퓨터는 이제 '명령어 기반'이 아닌 '의도 기반'이 됨. (무엇을 원하는지 말하면 컴퓨터가 방법을 알아냄)
• AI 애플리케이션은 인간처럼 임무를 이해하고, 추론하고, 계획하며, LLM 팀을 조직하여 작업을 수행할 것임.
• 소프트웨어와 소프트웨어가 할 수 있는 일이 완전히 바뀌었고, 산업 자체도 변화하며 또 다른 산업을 창출함.
• 'AI 공장'이라는 세상에 없던 새로운 산업이 형성되고 있음.
• AI의 입력과 출력은 '토큰'임 (지능을 내장한 부동 소수점 숫자).
• 기업들은 지능 토큰 생산에 특화된 새로운 유형의 데이터센터를 구축 중임.
• 과거 산업 혁명의 '교류 발전기'처럼, 'AI 토큰 생성기'는 새로운 산업 혁명의 공장이 될 것임.
• 제일 원칙에서 추론하고, 미래에 대한 신념을 형성하고, 실행에 옮겼기 때문에 이 모든(새로운 컴퓨팅 모델, 새로운 산업)이 등장함.
• AI의 다음 물결: 언어 모델뿐만 아니라 물리적 세계 모델을 갖춘 '로보틱스'임.
• 엔비디아는 로봇, 로봇 차량, 집게 팔, 휴머노이드 로봇, 심지어 거대한 로봇 창고를 구축하는 수백 개의 회사와 협력 중임.

7. 로보틱스 여정과 좌절의 교훈

• AI 공장 전략(추론과 의도적 행동의 산물)과 달리, 로보틱스 여정은 '일련의 좌절'에서 비롯됨.
• 엔비디아는 GPU를 발명했고(2000년 프로그래머블 셰이더가 첫 기여), 모든 컴퓨터에 GPU를 통합하고자 했음.
• 좌절 1: AMD CPU용 통합 그래픽 칩셋을 출시해 즉각적인 성공(0에서 10억 달러)을 거둠. 그러나 AMD가 ATI를 인수하며 엔비디아가 더 이상 필요 없게 됨.
• 좌절 2: 인텔로 방향을 틀어 라이선스 협상을 함. 애플과 협력하여 최초의 '맥북 에어'를 만듦. 인텔이 이를 보고 계약을 종료시킴.
• 좌절 3: 다시 방향을 틀어 ARM 라이선스를 받고 저전력 모바일 SoC(세계 최초의 완전한 컴퓨터 칩)를 만듦. 구글과 협력하여 '안드로이드' 모바일 기기를 만듦. 퀄컴이 모뎀 연결을 원치 않았고(다른 LTE 모뎀 회사도 없었음), 모바일 기기 시장에서 퇴출당함.
• 이 일들은 거의 매년 일어났음. (무언가를 만들고 → 엄청난 성공 → 1년 후 시장에서 쫓겨남)
• 더 이상 갈 시장이 없자, '고객이 없는' 시장을 만들기로 결정함. (고객이 없으면 경쟁자도 없고 아무도 신경 쓰지 않기 때문)
• 그 시장이 바로 '로보틱스'(00억 달러 시장)였음.
• 당시 아무도 이해하지 못했던 '딥러닝' 알고리즘을 처리하는 세계 최초의 로보틱스 컴퓨터를 만듦 (10여 년 전).
• 10년이 지난 지금, 우리가 만든 것과 AI의 다음 물결을 창조할 기회에 매우 만족함.
• 더 중요한 교훈: '민첩성'과 '회복탄력성의 문화'를 개발함.
• 좌절에 좌절을 거듭했지만, 훌훌 털어버리고 다음 기회로 스케이트를 타고 나아감. 매번 기술을 얻고 인격(기업의 특성)을 강화함.
• 엔비디아는 이제 '주의를 분산시키기 어렵고 실망시키기 어려운' 회사가 됨.
• 어떤 좌절도 기회처럼 보임.
• 아이러니: 오늘날 만드는 로보틱스 컴퓨터는 애초에 이 여정을 시작했던 이유인 '그래픽스'조차 필요하지 않음.
• 교훈: 세상은 불확실하고(리처드 파인만의 말), 불공평하며 힘든 카드를 줄 수 있음.
• 조언: "신속하게 털어버리세요.(Swiftly Shake It Off)" (본인 농담에 웃음) 다른 기회가 있거나, 하나 만드십시오.

8. 정원사 이야기와 삶의 업

• 일화: 10대 자녀들과 일본 교토의 긴카쿠지(은각사, Silver Temple) 이끼 정원을 방문함.
• 숨 막히게 덥고 습한 교토의 여름날이었음.
• 거대한(this Courtyard 크기) 이끼 정원에서 한 명의 정원사가 쪼그리고 앉아 대나무 핀셋으로 이끼를 조심스럽게 골라내어 대나무 바구니에 담는 것을 봄.
• 바구니는 비어 보였고, 상상의 이끼를 줍는 것 같아 보였음.
• 젠슨 황: "무엇을 하고 있나요?(What are you doing?)"
• 정원사: "죽은 이끼를 줍고 있습니다. 정원을 돌보고 있습니다.(I'm picking dead moss. I'm taking care of my garden.)"
• 젠슨 황: "하지만 당신의 정원은 정말 넓은데요.(But your garden is so big.)"
• 정원사: "저는 25년 동안 제 정원을 돌봐왔습니다. 저는 시간이 많습니다.(I have cared for my garden for 25 years. I have plenty of time.)"
• 심오한 배움: 그 정원사는 자신의 기술과 삶의 업에 헌신했음.
• 교훈: "당신이 그렇게 할 때 (당신의 삶의 업을 할 때), 당신은 충분한 시간을 갖게 됩니다.(When you do that, you have plenty of time.)"
• 젠슨 황의 적용:
  • 매일 아침 가장 우선순위가 높은 일부터 시작함.
  • 출근하기도 전에 이미 하루는 성공적임 (가장 중요한 일을 끝냈기 때문).
  • 남은 하루는 다른 사람들을 돕는 데 헌신할 수 있음.
  • 사람들이 방해해서 미안하다고 할 때, 항상 "저는 시간이 많습니다.(I have plenty of time)"라고 말하며, 실제로 그렇다고 함.

9. 결론 및 최종 조언

• 칼텍 졸업생들은 헌신하고, 열심히 일했으며, 세계 최고 명문 학교에서 세계적 수준의 교육을 받았기에 누구보다 미래에 잘 대비되어 있다고 칭찬함.
• 다음 단계로 나아가는 졸업생들에게 자신의 배움을 공유함:
  1. 신념: 관습에 얽매이지 않고 탐험되지 않은 무언가를 믿되, 그것이 정보에 입각하고 이성적인 것이 되도록 하라. 그리고 그것을 실현하기 위해 헌신하라. (당신의 GPU, CUDA, 생성형 AI, 엔비디아를 찾을 수도 있음)
  2. 회복탄력성: 좌절을 새로운 기회로 보라. 고통과 고난은 당신의 인격, 회복탄력성, 민첩성을 강화할 것이며, 이것들은 궁극적인 초능력임. (자신이 가장 가치 있게 생각하는 능력은 지능이 아니라, 고통을 견디는 능력, 오랜 기간 무언가를 하는 능력, 좌절을 기회로 보는 능력이라고 함)
  3. 기술/업: 평생을 바쳐 완성하고 기술을 연마하고 싶은 '업'을 찾길 희망함. (당장 결정할 필요는 없지만, 찾길 바람)
  4. 우선순위: 삶의 우선순위를 정하라. 그러면 중요한 일들을 할 '충분한 시간'을 갖게 될 것임.
• 2024년 졸업생들에게 축하를 전하며 "Go get them"으로 마무리함.