240418 Mark Zuckerberg - Llama 3, $10B Models, Caesar Augustus, & 1 GW Datacenters

인터뷰 주요 내용

1. Llama 3 출시 및 Meta AI 업데이트

• Meta AI의 핵심 업그레이드: Llama 3 모델을 기반으로 Meta AI가 가장 지능적인 무료 AI 어시스턴트가 되었다고 발표.
• Llama 3 모델 상세:
  • 80억(8B), 700억(70B) 파라미터 모델 우선 출시 (오픈소스). 4050억(405B) 파라미터 모델은 훈련 중.
  • 8B 모델은 이전 Llama 2의 가장 큰 모델만큼 강력.
  • 70B 모델은 MMLU 82점 수준, 수학 및 추론에서 선도적인 성능.
  • 405B 모델은 훈련 중 MMLU 85점 도달, 다수 벤치마크에서 선도적 성능 기대.
• 새로운 기능:
  • 구글 및 빙 검색 통합으로 실시간 정보 제공.
  • 페이스북, 메신저 등 앱 상단 검색창을 통한 손쉬운 접근.
  • 이미지 애니메이션 기능.
  • 실시간 이미지 생성: 사용자가 입력하는 프롬프트에 따라 이미지가 실시간으로 생성 및 업데이트됨. (예: "들판에서 마카다미아 넛을 먹고 맥주를 마시는 소 그림")
• 향후 로드맵: 멀티모달리티, 다국어 지원 강화, 더 큰 컨텍스트 창 제공 예정.
• 출시 지역: 일부 국가에서 시작하여 점진적으로 확대 예정.

2. AI 모델 개발 및 GPU 확보 전략

• H100 GPU 확보 배경:
  • 2022년 주가 하락 및 메타버스 투자에 대한 비판 속에서도 AI용 GPU 확보에 막대한 투자.
  • 릴스(Reels) 추천 알고리즘 고도화: 기존 팔로우 기반 콘텐츠 랭킹에서 벗어나, 사용자가 팔로우하지 않는 콘텐츠까지 추천 범위를 확대 (수천 -> 수억). 이 과정에서 GPU 부족 문제 직면.
  • 저커버그는 "다시는 이런 상황에 처하지 않겠다"는 생각으로 릴스에 필요한 GPU 이상으로, 예상치 못한 미래의 기술 발전을 위해 두 배의 GPU를 주문했다고 밝힘. 당시에는 AI가 될 것이라고 특정하지는 않았지만, 대규모 모델 훈련과 관련된 것일 거라 예상.
  • 이 결정은 뒤처졌던 상황에서 비롯된 것이며, 과거의 실수를 반복하지 않으려는 의도였다고 설명.

3. 과거의 중요한 결정: 페이스북 매각 거부 (2006년)

• 10억 달러 매각 제안 거부 당시, 정교한 재무 분석보다는 자신이 하는 일에 대한 깊은 신념과 가치에 기반한 결정이었다고 회고.
• "회사를 팔더라도 결국 비슷한 회사를 다시 만들 것 같았고, 지금 하고 있는 일이 좋다"는 생각.
• 가장 큰 베팅은 종종 분석보다는 신념과 가치에 기반한다고 강조.

4. AGI(일반인공지능) 추구와 Llama 모델의 진화

• FAIR (Facebook AI Research) 설립 (10년 전): 처음에는 제품이 아닌 연구 그룹으로 시작. AGI로 가는 과정에서 나오는 혁신들이 모든 제품을 개선할 것이라는 아이디어.
• GenAI 그룹 신설: ChatGPT, 이미지 생성 모델 등 등장 후, 이러한 기술을 제품에 통합하고 선도적인 파운데이션 모델을 구축하기 위해 별도 그룹 조직.
• AGI 필요성 인식:
  • 초기에는 소셜, 크리에이터, 비즈니스 상호작용, 스마트 글래스, VR 등 특정 사용 사례에는 완전한 AGI까지는 필요 없을 것으로 생각.
  • 코딩 능력의 중요성 발견: Llama 2 개발 시 코딩을 우선순위에 두지 않았으나, 코딩 데이터 학습이 모델의 엄밀함과 다양한 영역에서의 추론 능력을 향상시킨다는 것을 발견. Llama 3에서는 코딩 데이터 학습에 집중.
  • 추론 능력의 중요성: 고객과의 다단계 상호작용, 고객의 숨겨진 의도 파악 등은 단순 응답을 넘어선 추론 문제. 다른 회사가 추론에서 앞서나가면 메타 제품은 뒤처질 수밖에 없다고 판단, AGI 수준의 투자를 결정.
• AGI와 인간 프로그래머의 미래: AGI가 인간을 대체하기보다는, 인간에게 더 많은 것을 할 수 있는 도구를 제공할 것이라고 전망. Llama 10 시대에는 프로그래머 생산성이 10배 이상 향상되기를 희망.
• AGI의 다면적 능력: 멀티모달리티(이미지, 텍스트, 비디오, 3D 등), 감정 이해, 추론, 기억력 등 다양한 능력이 중요.
• 모델 크기와 효율성: 서버 기반의 Meta AI뿐 아니라, 스마트 글래스 등 작은 기기에서도 효율적으로 작동하는 소형 모델도 중요.

5. 대규모 추론(Inference)의 활용처

• 모든 제품의 변화: Meta AI와 같은 범용 어시스턴트는 단순 챗봇에서 복잡한 작업을 수행하는 에이전트로 발전할 것.
• 다중 에이전트 상호작용: 여러 AI 에이전트(개인, 비즈니스, 크리에이터) 간의 상호작용이 핵심. 단일 AI가 아닌, 각자의 이익을 대변하는 다수의 AI가 존재할 것으로 예측.
• 크리에이터 AI: 2억 명의 크리에이터들이 자신의 AI를 훈련시켜 커뮤니티와 소통. 시간 제약 없이 팬들과 교류 가능.
• 과학 및 헬스케어: 챈 저커버그 이니셔티브(CZI)를 통해 과학, 헬스케어 분야 AI 연구 지원.

6. AI 모델 진화 방식 (Llama 3 -> Llama 4)

• 애플리케이션 특화 코드와 모델 자체 능력 통합:
  • Llama 2에서는 외부 도구(구글/빙 검색) 연동을 위해 수작업 코드를 많이 사용.
  • Llama 3는 이러한 도구 사용 능력을 모델 자체에 더 많이 통합.
  • Llama 3에서 에이전트 같은 행동을 구현하기 위해 일부 수작업 코딩을 하지만, Llama 4에서는 이마저도 모델 자체 능력으로 통합하는 것이 목표.
  • 새로운 가능성이 보이면 일단 수작업으로 구현해보고, 이를 통해 얻은 직관을 다음 버전 모델 훈련에 반영하여 더 일반화된 능력을 갖추도록 함.

7. Llama 3 오픈소스 커뮤니티에 대한 기대

• 예상치 못한 혁신 기대: 커뮤니티가 어떤 창의적인 결과물을 만들어낼지 예측하기 어렵지만, 그것이 오픈소스의 묘미.
• 소형 모델의 잠재력: 8B 모델보다 더 작은 1-2B, 500M 파라미터 모델 개발에 대한 기대. 분류 작업이나 사용자 의도 파악 후 대형 모델에 전달하는 역할 등.
• 현재는 405B 모델 훈련에 GPU가 집중되어 있지만, 향후 메타도 소형 모델 개발 고려.

8. GPU 자원 현황 및 활용

• GPU 총 보유량: 연말까지 35만 개 예상. 22,000~24,000개 규모의 대형 클러스터 2개 운영.
• 주요 활용처: 릴스, 뉴스피드, 인스타그램 피드 랭킹 모델 훈련, 그리고 방대한 사용자 규모로 인한 추론 작업에 막대한 자원 소모. (추론/훈련 비율이 다른 회사보다 훨씬 높을 것)
• 데이터 학습량: Llama 3 70B 모델은 15조 개 토큰으로 훈련. 예상보다 데이터 포화도가 낮아 더 많은 토큰을 학습할 수 있었을 것으로 보임. 자원 배분의 현실적 문제로 현 단계에서 마무리.

9. AI 발전의 미래와 병목 현상

• 지수적 발전의 지속 가능성: 현재의 AI 발전 속도가 계속될지는 미지수. 하지만 그 가능성 때문에 수백억~수천억 달러 규모의 인프라 투자 가치가 있다고 판단.
• 예상되는 병목 현상:
  • 과거: GPU 생산량 부족. 현재는 완화.
  • 향후: 자본 투자 한계보다 에너지 제약이 더 큰 문제로 대두될 가능성.
  • 기가와트(GW)급 단일 훈련 클러스터 건설은 아직 전례가 없으며, 발전소 건설 및 송전선 설치 등은 정부 규제가 심하고 수년의 시간이 소요되는 장기 프로젝트. (1GW는 의미 있는 규모의 원자력 발전소와 맞먹는 수준)

10. 분산 훈련과 합성 데이터 생성

• 분산 훈련의 가능성: 대규모 훈련이 반드시 한곳에서 이루어질 필요는 없을 수 있음.
• 합성 데이터의 역할: 미래에는 대형 모델 훈련의 상당 부분이 추론을 통해 합성 데이터를 생성하고, 이를 다시 모델에 공급하는 형태가 될 수 있음. (합성 데이터 생성은 추론에 가깝다고 봄)
• 오픈소스 모델의 한계와 발전: Llama 3 70B 같은 오픈소스 모델도 추가 데이터 학습이나 파인튜닝으로 개선될 수 있지만, Llama 3 405B 같은 세대적 발전(step function)을 이루는 데는 한계.

11. AI의 근본적 영향력 (컴퓨팅의 발명과 유사)

• AI는 웹이나 모바일폰 등장과 같은 앱 수준의 변화를 넘어, 컴퓨터의 발명 자체와 유사한 근본적인 혁신으로 보고 있음.
• 급격한 지능 폭발(overnight AGI)보다는 물리적 제약으로 인해 점진적인 변화 예상. 인류가 적응할 시간을 가질 것.

12. AI와 인류의 미래 (지능과 생명의 분리 가능성)

• 인류 역사는 인간의 독특성에 대한 생각이 계속 수정되어 온 과정. (예: 지구 중심설)
• 지능이 반드시 생명이나 의식과 연결되는 것은 아닐 수 있음. 현재 AI는 의식이나 주체성(agency)과 분리된 지능의 형태로 발전하는 것처럼 보이며, 이는 AI를 매우 가치 있는 도구로 만듦.

13. 오픈소스 공개의 조건과 책임

• 기본적으로 오픈소스 지향: 커뮤니티와 메타 모두에게 이익.
• 공개 중단 가능성: 모델이 질적으로 변화하여 오픈소스 공개가 무책임하다고 판단될 경우 중단 가능. (구체적인 기준 제시는 어려움)
• 위험 완화의 중요성: 현재 모델의 유해한 행동(폭력 조장 등)을 완화하는 데 집중. 현재까지는 자율적 에이전트 수준은 아님.
• 오픈소스의 철학적 근거 (힘의 균형): AI가 소수에게 집중되는 것은 AI가 널리 퍼지는 것만큼 위험할 수 있음. 특정 기관(정부, 기업)이 압도적인 AI를 보유하는 것은 큰 위험.
• 보안 유추: 과거의 보안 취약점을 아는 사람이 시스템을 해킹할 수 있듯, 강력한 AI는 시스템의 허점을 찾아낼 수 있음. 오픈소스 소프트웨어는 더 많은 검토를 통해 빠르게 개선되고 표준화되어 전체 시스템을 함께 업그레이드하는 방식으로 보안을 강화해 왔음. AI도 마찬가지로 널리 배포되고 점진적으로 강화되는 것이 더 건강한 방식.
• 실존적 위험 vs. 현재적 위험: 현재는 허위 정보 생성, 사기 등 일상적인 유해성 완화에 더 집중. 국가 차원의 선거 개입 시도 등은 이미 AI를 활용한 공방전이 벌어지고 있으며, 메타는 방어 AI를 더 빠르게 발전시켜 대응 중.

14. 합성 데이터의 되먹임 루프와 모델 한계

• 더 똑똑한 모델이 더 나은 합성 데이터를 만들고, 이를 통해 다시 더 똑똑해지는 선순환 가능성 존재.
• 하지만 현재 8B 모델이 수천억 파라미터 모델만큼 좋아질 수는 없듯, 모델 아키텍처 자체의 근본적인 제약은 여전히 존재. 칩, 에너지 등 물리적 제약도 작용.

15. 메타버스와 AI의 교차점: 물리적 제약 극복

• 메타버스의 핵심 가치: 어디에 있든 사람들과 함께 있는 것처럼 느끼게 하는 것.
• 기술의 교훈: 물리적 제약을 가능한 한 소프트웨어 영역으로 옮기는 것이 중요 (개발, 진화, 민주화 용이).
• 메타버스는 현실적인 디지털 존재감을 구현하여, 물리적으로 함께 있어야 할 필요성을 줄여줄 것. 이는 사교, 연결감, 업무, 산업, 의료 등 모든 분야에 강력한 영향.

16. 저커버그의 동기: 끊임없는 새로운 도전

• 새로운 것을 만드는 것에 대한 근원적 욕구: 페이스북 매각 거부, 메타버스 및 AI에 대한 막대한 투자는 이러한 성향에서 비롯.
• 컴퓨터 과학과 심리학의 교차점에 대한 오랜 관심.
• 새로운 것을 만들지 않으면 뭔가 잘못하고 있다고 느끼며, 이는 회사를 운영하는 방식뿐 아니라 개인적인 삶(카우아이 목장 운영 등)에도 적용됨.

17. 고전(Antiquity)에서 얻은 교훈: 아우구스투스와 새로운 개념의 창조

• 아우구스투스 황제의 '평화' 개념 재정의: 당시 사람들은 평화를 '적이 공격하기 전 잠시 쉬는 시간'으로 이해. 아우구스투스는 평화를 적극적이고 긍정적인 상태(positive-sum)로 전환하려 함. 이는 당시로서는 매우 새로운 발상.
• 오픈소스에 대한 현재의 몰이해와 유사: 투자자들이 오픈소스의 가치를 "독점 기술을 만들기 전 임시방편" 정도로 이해하는 것은, 아우구스투스 시대 사람들이 새로운 평화 개념을 이해하지 못했던 것과 비슷하다고 비유.
• 기술은 사람들이 생각하는 것보다 더 많은 합리적인 모델과 승자를 만들어낼 수 있다고 강조.

18. 오픈소스 모델의 경제적 가치와 모바일 생태계 비판

• 100억 달러 모델 오픈소스 공개 여부: 회사에 도움이 된다면 공개.
• 오픈소스의 경제적 이점:
  • 모델 실행 비용 절감: 커뮤니티가 효율적인 운영 방법을 찾아내면 수십억 달러 절약 가능.
  • 질적 향상: 파인튜닝, 앱 특화, 도구 연동 등 커뮤니티의 기여로 제품 개선.
• 모바일 생태계 비판 (애플, 구글): 두 회사가 게이트키퍼 역할을 하며 개발자들이 무엇을 만들 수 있는지 통제. (경제적 수수료 문제보다, 기능 출시를 막는 질적 통제가 더 문제라고 지적)
• AI 생태계에서 통제 회피: 메타는 다른 회사들이 자신들이 무엇을 만들지 결정하는 상황을 원치 않으며, 이것이 자체 모델을 구축하는 이유 중 하나. 많은 개발자들도 이러한 통제를 원치 않을 것.
• 모델 자체가 제품이 되는 경우의 경제적 계산: 모델이 제품의 핵심이 된다면 오픈소스 공개는 어려운 경제적 결정일 수 있으나, 현재는 그런 상황은 아니라고 판단.

19. 클라우드 제공업체와의 라이선스 수익

• Llama 라이선스는 대형 클라우드 회사(MS Azure, Amazon 등)가 모델을 재판매하여 수익을 올릴 경우, 메타와 협의하여 수익을 공유하도록 하는 조항 포함. 이것이 주 수입원은 아니지만 합리적인 조치라고 설명.

20. 메타의 자체 맞춤형 실리콘 개발

• 1단계: 랭킹 및 추천(릴스, 뉴스피드 광고 등)용 추론 칩을 먼저 개발하여 NVIDIA GPU를 대규모 모델 훈련에 집중할 수 있도록 함.
• 향후: 점차 단순 모델 훈련부터 시작하여, 결국 대규모 모델 훈련에도 자체 칩을 사용할 수 있기를 희망. 현재 프로그램은 순조롭게 진행 중.

21. Google+ 성공 가능성에 대한 질문 (가상 시나리오)

• Google+ CEO가 되었다면 성공시킬 수 있었을까? -> "매우 어려운 가정"이라며 즉답 회피.
• Google+ 실패의 근본 원인은 "집중"의 부재였을 것으로 추측. 대기업은 자본보다 경영진의 관심과 집중력이 더 희소한 자원일 수 있다고 지적. "주요한 것을 주요하게 유지하라(keep the main thing, the main thing)"는 벤 호로위츠의 말을 인용.

이 인터뷰에서 마크 저커버그는 Llama 3를 통해 AI 기술의 새로운 지평을 열고, 이를 오픈소스 방식으로 공유함으로써 더 넓은 혁신을 촉진하겠다는 의지를 명확히 보여줍니다. 동시에 AI 발전의 현실적인 제약(에너지, 규제)과 위험성(악용, 집중화)을 인지하고 있으며, 장기적으로는 메타버스와 AI의 결합을 통해 인간의 소통과 경험을 근본적으로 변화시키려는 야심찬 비전을 제시합니다.