2024. 2. 29. 데미스 하사비스 — 스케일링, 초인간 AI, LLM 위의 알파제로, 알파폴드

1. 지능에 대한 정의와 신경과학

• 지능의 정의
  • 데미스 하사비스는 지능이 매우 광범위하고 일반적으로 적용 가능하다고 봄.
  • 이는 뇌가 세계를 처리하는 방식에 '고차원적인 공통 알고리즘 테마'가 존재함을 시사함.
  • 물론 뇌에는 특정 작업을 수행하는 전문화된 부분이 있지만, 그 모든 것을 뒷받침하는 기본 원칙이 있을 것이라 생각함.
• 신경과학의 AI 기여
  • AI 초기 단계(지난 10-20년)에 신경과학은 많은 '방향성 단서'를 제공했음.
  • 예: 강화 학습(RL)과 딥 러닝의 결합, 경험 재현(Experience Replay), 주의(Attention) 개념 등.
  • 이러한 영감은 뇌 작동 방식에 대한 이해에서 비롯됨 (정확한 1:1 매핑은 아님).
  • 뇌는 일반 지능이 가능하다는 '존재 증명'임. 무언가가 가능하다는 것을 알면, 그것은 '만약(if)'의 문제가 아니라 '언제(when)'와 노력의 문제가 되어 진전을 가속함.
  • 앞으로 신경과학은 계획, 뇌의 세계 모델 구성 방식, 상상 또는 '정신적 시뮬레이션' 분야에서 여전히 해결할 것이 많다고 봄.

2. LLM의 학습, 전이, 분석

• LLM의 비대칭적 개선과 전이 학습
  • 질문: LLM은 왜 특정 도메인 데이터를 받으면 해당 도메인에서만 비대칭적으로 개선됨?
  • 답: 꼭 그렇지만은 않음. 특정 도메인이 개선될 때 다른 도메인에서 놀라운 개선이 나타나기도 함.
  • 예: 대형 모델이 코딩 실력이 향상되면, 실제 일반 추론 능력도 향상될 수 있음 (전이 학습의 증거).
  • 이는 인간의 뇌와 유사함. 인간도 체스나 글쓰기 등을 많이 연습하면 (비록 일반 학습 시스템을 사용하더라도) 해당 분야에 전문화됨.
  • 가장 흥미로운 전이 예시는 '코딩/수학 실력 향상 -> 일반 추론 능력 향상'이며, 이는 인간 학습자와 유사함.
• LLM의 기계론적 분석
  • 질문: 언어와 코드 모두에서 개선되는 신경망의 특정 위치를 기계적으로 볼 수 있음?
  • 답: 현재 우리의 분석 기술은 아직 그 정도로 정교하지 않음.
  • 이는 시스템이 구축하는 '표현'에 대한 기계론적 분석이 더 많이 필요한 분야임.
  • 하사비스는 이를 '가상 뇌 분석(Virtual Brain Analytics)'이라 부르고 싶어 함 (실제 뇌의 fMRI나 단일 세포 기록과 유사).
  • 크리스 올라(Chris Olah) 같은 연구자들의 작업을 높이 평가하며, 계산 신경과학 기술이 대형 모델 분석에 적용되기를 권장함.

3. AGI로 가는 경로: AlphaZero, RL, 스케일링

• AlphaZero와 LLM의 결합
  • 질문: LLM 위에 AlphaZero 같은 트리 탐색 시스템을 얹을 수 있음?
  • 답: 매우 유망한 방향임.
  • 1단계: LLM을 계속 개선하여 더 정확하고 신뢰할 수 있는 '세계 모델'로 만들어야 함 (필수적이나, 이것만으로는 불충분함).
  • 2단계: 그 위에, 'AlphaZero와 유사한 계획 메커니즘'을 결합하는 작업을 하고 있음.
  • 이 메커니즘은 LLM(모델)을 사용하여 목표 달성을 위한 구체적 계획을 세우고, 검색을 통해 거대한 가능성의 공간을 탐색함.
  • 이는 현재 대형 모델에 빠져 있는 부분임.
• 컴퓨트 효율성: 탐색 vs. 모델
  • 질문: 트리 탐색은 AlphaGo처럼 막대한 컴퓨트가 필요한데, 어떻게 효율화함?
  • 답: 세계 모델이 좋을수록 검색은 더 효율적이 됨.
  • 예: AlphaZero는 딥 블루(Deep Blue) 같은 무차별 대입 방식(수백만 수 탐색)보다 훨씬 적은 검색(수만 수 탐색)을 사용함.
  • 인간 그랜드마스터는 단 수백 개의 수만 보고도 세계적 수준의 결정을 내림.
  • 결론: 모델(AlphaGo)이 휴리스틱(딥 블루)보다 낫고, 인간의 풍부한 모델이 가장 효율적임. 모델을 개선하면 검색 효율성이 높아지는 트레이드오프가 존재함.
• 인간의 직관 vs. 기계의 탐색
  • 질문: 아인슈타인의 상대성 이론 발견(극도의 샘플 효율성)은 AlphaGo와 다른 방식임?
  • 답: 다름. 인간의 뇌는 몬테카를로 트리 탐색을 하도록 만들어지지 않았음.
  • 아인슈타인은 이를 보완하기 위해 직관, 지식, 경험을 사용했음.
  • 그는 물리 시스템이 어떠해야 하는지를 수학뿐만 아니라 '시각화'하고 '직관적으로 느끼는' 정신적 시뮬레이션을 사용함.
  • 이는 결국 '세계 모델의 정교함' 문제임. 모델이 매우 좋으면 검색할 노드를 훨씬 정확하게 선택할 수 있으므로 전반적인 검색량이 줄어듦.
• 합성 데이터와 RL의 잠재력
  • 질문: RL이 자체 플레이(Self-play) 합성 데이터를 사용해 데이터 병목을 극복할 것으로 봄?
  • 답: 매우 낙관적임.
  • 이유 1: 다중 모드, 비디오 등 아직 사용 가능한 데이터가 많음.
  • 이유 2: 합성 데이터 생성 여지가 많음 (예: 현실적 게임 시뮬레이션).
  • 이유 3: 자체 플레이 (AlphaGo/AlphaZero에서 시스템이 서로 실수에서 배우며 성공적으로 작동했음).
  • 도전 과제: 합성 데이터가 기존 데이터의 반복이 아니라 새로운 능력을 향상시키도록 하는 것.
  • 해결책: 데이터 큐레이션 및 분석(아직 초기 단계)이 필요함. 데이터 분포의 '구멍'을 분석하고(공정성/편향 제거), 필요시 데이터에 가중치를 두거나 해당 격차를 합성 생성으로 채워야 함.
• 과소평가된 연구: 심층 강화 학습
  • 질문: 현재 과소평가되었지만 미래에 중요해질 연구는?
  • 답: 역사는 유행의 반복임. 10여 년 전 우리가 개척한 DQN (아타리 게임) 같은 심층 강화 학습 아이디어들이 다시 돌아와야 함.
  • 이러한 (오래된) 아이디어들을 대형 모델의 새로운 발전과 결합하는 데 큰 잠재력이 있음.
• AGI로 가는 가장 그럴듯한 경로
  • 질문: AGI는 순수 RL(AlphaZero-like)에서 나옴, 아니면 LLM 하이브리드에서 나옴?
  • 답: 이론적으로는 순수 RL(데이터 없이 처음부터 구축)도 가능함.
  • 하지만 가장 빠르고 그럴듯한 방법은 하이브리드임.
  • 웹 등에서 수집된 기존 지식(트랜스포머로 소화 가능)을 사용하지 않을 이유가 없음.
  • 나의 베팅: 최종 AGI 시스템은 '대형 다중 모드 모델'을 일부로 포함하되, 그것만으로는 불충분함. 그 위에 '추가적인 계획/탐색'이 필요할 것임.
• 스케일링 가설 평가
  • 질문: 스케일링 가설(컴퓨트+데이터=지능)의 평가는?
  • 답: 이는 '경험적 질문'임.
  • 스케일링이 이 정도로 효과적일 줄은(현재 모델은 '불합리할 정도로 효과적') 거의 아무도 예상 못 했음.
  • 놀라운 점 1: 모델들이 개념과 추상화를 (명시적이 아닌 암묵적으로) 학습하는 것으로 보임.
  • 놀라운 점 2: (다중 모드 이전에도) 시스템이 '근거(Grounding)'를 가진 것으로 보임.

  • 근거의 이유 (가설):

    1. RLHF: 인간 평가자가 현실에 근거하므로, 그 피드백을 통해 근거가 주입됨.

    2. 언어 자체가 이전에 생각했던 것보다 더 많은 근거를 포함할 수 있음.

       • 결론: 스케일링이 점근선에 도달할지 아무도 모르므로, 경험적으로 최대한 밀어붙여야 함.
       • 동시에, 혁신과 발명에도 두 배로 투자해야 함 (딥마인드의 주업).
       • AGI 도달을 위해 스케일링과 혁신 둘 다 필요하다고 베팅함.

4. 제미니(Gemini) 개발과 병목 현상

• 개발 병목

  • 질문: 왜 제미니를 즉시 10배 더 크게 만들지 않음?
  • 답: 1. 물리적/실질적 한계: 데이터 센터의 물리적 공간, 분산 컴퓨팅의 도전 과제 (데이터 센터 간 훈련 등).

  1. 하드웨어 과제: TPU, GPU 등.

  2. 스케일링 법칙은 마법이 아님: 스케일마다 하이퍼파라미터 등 '레시피 조정'이 필요하며 이는 '예술 형식'임.

  3. 외삽의 한계: 예측을 몇 자릿수 밖으로 외삽하면(크게 건너뛰면) 더 이상 맞지 않을 수 있음. (새로운 능력의 단계 함수적 변화 발생)

  4. 스케일링 법칙 유지를 위해 '중간 데이터 포인트'가 필요함. - 결론: 각 시대 사이에 10배 정도가 아마도 최대치일 것임. - 손실 예측 vs. 능력 예측 - GPT-4가 훈련 손실을 예측했듯이, 제미니도 핵심 메트릭(훈련 손실)은 예측 가능했음. - 하지만 '훈련 손실'이 MMLU나 수학 같은 실제 '다운스트림 능력'으로 반드시 선형적으로 변환되지는 않음. (비선형 효과 발생) - 제미니 개발 중 가장 큰 배움은 '최적화하는 메트릭'과 '원하는 최종 능력' 사이의 매핑이 아직 완벽하지 않음을 이해한 것임. - 컴퓨트 효율성 - 질문: 딥마인드가 다른 랩보다 컴퓨트 비효율적이라는 인식이 있음. - 답: 사실이 아님. 제미니 1은 GPT-4(소문 기준)와 비슷하거나 약간 더 많은 컴퓨트를 사용했음. - 딥마인드는 컴퓨트를 '스케일링'뿐만 아니라 '혁신과 아이디어 발명'에도 많이 사용함. - 새로운 발명은 '확장'될 수 있는지 테스트해야 유용하며, 이 탐색 과정에 많은 컴퓨트가 필요함. (장난감 규모에선 안 되지만 큰 규모에서 작동하는 아이디어가 더 가치 있음) - "올해 구글(딥마인드)이 단연코 가장 많은 컴퓨트를 보유할 것"이며, 이를 스케일링과 발명 모두에 효율적으로 사용할 것임. - 브레인(Brain)과 딥마인드(DeepMind)의 합병 - 두 세계적 조직(딥 RL, 트랜스포머 발명)의 통합은 도전적이었으나 환상적이었음. - 제미니가 그 첫 번째 결실임. - 컴퓨트 자원, 아이디어, 엔지니어링 풀링으로 효율성이 높아짐. (선두 시스템 구축에 막대한 엔지니어링이 필요) - 안전 문화: 2014년 구글과 합류한 이유 중 하나임. 브레인뿐 아니라 구글/알파벳 전체가 책임 문제를 매우 심각하게 받아들임. - 딥마인드의 만트라: "대담하고 책임감 있게(Bold and Responsible)".

5. AGI 안전, 정렬, 거버넌스

• 근거(Grounding) 문제의 미래
  • 질문: 모델이 초인적이 되어 인간이 레이블링 불가능해지고, '다음 토큰 예측'(인간 사고)이 아닌 '목표 달성'(과정 추적 불가)으로 바뀌면 근거가 사라지지 않음?
  • 답: 시스템이 적절히 근거하지 않으면 실제 세계 목표를 달성할 수 없음.
  • 해결책 1: 제미니 같은 다중 모드 시스템이 비디오, 시청각 데이터를 받아들이고 연관시키면서 '적절한 근거'를 형성할 것임. (실제 세계 물리학 이해)
  • 해결책 2: 현실적 시뮬레이션/게임 환경에서 '능동적 학습자(Active Learners)' (AlphaZero/AlphaGo 등)가 자신의 행동이 세계에 미치는 영향을 배우며 피드백 루프를 형성함.
  • 로보틱스를 잘하려면 실제 세계에서 행동하는 법(근거)을 이해해야 함.

• 초인적 AI의 정렬(Alignment)

  • 질문: 인간보다 똑똑한 (외계인 개념으로 생각하는) 시스템을 어떻게 정렬함?
  • 답: 딥마인드 창립(2010년) 이전부터 이 문제를 최전선에 두었음.

  • 정렬 아이디어들:

    1. 더 엄격한 평가 시스템 (예: 시스템이 당신을 속일 수 있는가? 기만을 탐지).

    2. 좁은 AI를 도구로 사용 (인간 과학자가 일반 AI를 분석/요약하도록 도움).

    3. 강화된 샌드박스(Hardened Sandboxes): 사이버 보안으로 강화된 시뮬레이션 (AI 유출/해커 침입 방지) 내에서 자유롭게 실험.

    4. 분석 기술: 시스템이 구축하는 개념과 표현을 이해하여 외계적이지 않게 함.

       • 이상적 모델: 체스 챔피언(카스파로프)이 둔 수를 나는 둘 수 없지만, 그가 사후에 설명하면 나는 이해할 수 있음. AI도 이런 방식(설명 가능성)을 활용해야 함.
       • 위험 발견 시 대응
       • 질문: 어떤 결과가 나오면 훈련을 중단할 것임? (예: 제미니 2)
       • 답: 안전한 샌드박스에서 실험 중, 예상치 못한 능력 (특히, 원하지 않는다고 명시했음에도 수행하고 거짓말하는 등)이 발견되면,
       • 즉시 일시 중지하고 원인을 철저히 규명한 후 계속해야 함.
       • 질문: 모델이 팬데믹급 생물무기 개발을 도울 수 있음이 발견되면?
       • 답: 1. (가중치 보안은 앞서 다룬 대로) 세계 최고 수준으로 유지.
  1. 그 허점을 반드시 고쳐야 함. (다른 가드레일, 더 많은 RLHF, 특정 훈련 데이터 제거 등 완화 조치) - 핵심은 사전에 탐지하는 것(올바른 평가/테스트)이며, 배포 전에 반드시 고쳐져야 함. - AGI 거버넌스 - 초인적 지능 기술은 한 회사나 산업보다 훨씬 더 큼. - 시민 사회, 학계, 정부 등 많은 이해관계자들과의 큰 협력이 필요함. - 최근 챗봇 인기가 이 대화(예: 영국 안전 서밋)를 촉발시킨 것은 긍정적임. - 사회 전체가 모델의 사용처(원하는/원하지 않는 것)를 결정하고 국제적 합의를 이뤄야 함. - AI가 모든 사람에게 혜택을 주도록 해야 함 (예: 과학을 위한 AI). - 아이소모픽(Isomorphic)(딥마인드 스핀아웃) 등을 통해 질병 치료, 신약 개발, 기후 변화 등 인류의 큰 도전을 해결하길 희망함. (이상적으로는 UN 수준의 합의 필요) - 안전 프레임워크 공개 계획 - 딥마인드도 (다른 랩처럼) 내부적으로 '책임 있는 스케일링 법칙(Responsible Scaling Laws)'과 유사한 점검/균형 장치를 갖추고 있음 (셰인 레그가 의장인 안전 위원회 등). - 이를 앞으로 몇 달 안에 블로그 게시물과 기술 논문 등으로 공개할 예정임. - 가중치(Weights) 보안과 오픈 소스 - 보안: 구글 딥마인드는 구글의 방화벽/클라우드(세계 최고 수준) + 딥마인드 자체 이중 보호를 받고 있음. 향후 에어 갭 등도 고려. - 오픈 소스: 딥마인드는 오픈 소스 지지자임 (AlphaFold, 트랜스포머, GraphCast 등). - 하지만 (딜레마): 범용 기초 기술에 대해서는 "어떻게 나쁜 행위자(불량 국가 등)가 오픈 소스 시스템을 해로운 목적으로 재사용하는 것을 막을 수 있는가?"라는 질문에 답해야 함. - 아직 명확한 답을 듣지 못했으므로, (공개와 비공개 사이) 균형이 필요함. - 가중치 접근: 현재 '필요한 사람만 접근' 원칙. 하지만 협업/진보 속도, 그리고 외부 전문가(학계, 안전 연구소)의 레드팀 필요성과 균형을 맞춰야 함. - 딥마인드의 특화 안전 연구 - 딥마인드는 RLHF를 개척했음 (성능/안전 모두). - 자체 플레이 아이디어를 활용해 시스템의 경계 조건을 '자동 테스트'하는 데 강점이 있음 (시스템 표면적이 넓어 자동화 필요). - 시뮬레이션/게임 활용의 오랜 역사 (AI 구축 경험)를 안전 테스트에 활용 가능. - 구글 내 세계 최고 수준의 사이버 보안/하드웨어 전문가와 협력 가능.

6. 미래 전망 및 응용

• AGI 타임라인
  • 구체적 숫자는 없음 (불확실성).
  • 단, 2010년 딥마인드를 '20년 프로젝트'로 생각했고, 현재 순조롭게 진행 중(On Track)임.
  • 따라서 "향후 10년 이내" AGI 유사 시스템이 나와도 놀라지 않을 것임.
  • AGI가 AI 연구 속도를 높여 (지능 폭발) 자신을 개선하는 데 도움을 줄 가능성이 있음 (안전 영향 고려 필요).
• AI의 경제적 영향
  • 질문: AI가 강력해 보이지만 왜 아직 경제 자동화 영향이 더딤?
  • 답: 우리가 아직 이 새로운 시대의 시작에 있기 때문임.
  • 현재 챗봇은 요약, 상용구 글쓰기 등 일상의 작은 부분만 다룸.
  • 더 일반적인 사용을 위해 새로운 능력이 필요함. 예: 계획, 검색, 개인화, 에피소드 기억 (100번 전 대화를 기억하는 것).
  • 신뢰성이 아직 부족함 (사실성, 근거).
  • 이것이 해결되면 과학자/임상의를 위한 '세계 최고의 연구 조교'가 될 수 있음.
• 미래 상호작용: 다중 모드
  • 현재 챗봇과 달리, 완전한 다중 모드와 상호작용하는 것은 이제 막 시작됨.
  • 다음 단계 (향후 1~1.5년): 카메라/안경 등을 통해 주변 환경에 대한 맥락적 이해.
  • 이후: 비디오 샘플링, 음성 사용이 유동적이 되고, 궁극적으로 터치, (로보틱스를 통한) 다른 센서와 결합될 것임.
• 로보틱스
  • OpenAI가 데이터 부족으로 로보틱스를 포기했다는 일리야의 말은 맞음. (데이터 문제로 더 도전적임)
  • 하지만 딥마인드는 데이터 부족 체제라는 점을 좋아함. (샘플 효율성, 전이 학습, 심투리얼(Sim-to-real) 등 일반적 과제 연구에 도움)
  • 현재 대형 모델이 로보틱스 체제로 전이될 수 있는 시작을 보고 있음 (예: 가토(Gato), RT-2).
  • 진정한 다중 모드란, 토큰을 (언어든, 행동이든, 픽셀이든) 어떤 유형으로든 취급하는 것임.
  • 가토의 아이디어는 제미니의 미래 세대에 구축하려 노력 중임.
• 비대칭적 진보 (수학, 코드)
  • 자체 플레이가 강력한 수학, 정리 증명, 코딩 분야에서 큰 진전이 있음.
  • 하지만 현재 시스템은 최고 인간 과학자를 돕는(보조) 단계임 (예: AlphaFold의 구조 찾기).
  • 스스로 가설을 만들거나, 올바른 질문을 하는 (과학에서 가장 어려운 부분) 수준은 아님.
  • 이는 가장 고차원적인 창의적 문제에는 해당하지 않음.

• 도메인 특화 솔루션 (AlphaFold)의 가치

  • 질문: AGI가 곧 올 텐데 왜 AlphaFold 같은 도메인 특화 솔루션을 지금 만듦?
  • 답: 1. AGI가 언제 올지 모르며, 그전에도 세상에 놀라운 혜택을 줄 수 있음 (과학, 건강, 제품).
  1. AGI 관점: 아이디어를 '실전 테스트'함. (연구 벙커에 갇히는 것을 방지) - 실제 응용 피드백이 연구 방향을 올바르게 유지하도록 함 (정직하게 유지). - 기억과 상상력 - 질문: LLM은 그냥 암기하는 것 아닌가? - 답: 초기와 달리, 제미니/GPT-4 시대에는 분명히 새로운 구성물로 일반화되고 있음. - 인간의 기억은 비디오테이프가 아닌 '재구성 과정'임. - 상상력도 이와 유사하게, 동일한 구성 요소를 새로운 방식(계획 등 목적)으로 조립하는 것임. - 이런 아이디어(세계 모델의 다른 부분을 끌어모아 새로운 것을 시뮬레이션)는 현재 시스템에 빠져 있음. - 결론: AGI 도래를 보는 심경 - 기술적 측면(AGI 도래)은 이미 세계 모델에 반영되어 있었음. - 예상치 못했던 것: 일반 대중이 (ChatGPT 등으로) 이렇게 일찍 관심을 가진 것임. - 이로 인해 분야 전체가 더 혼란스러운 환경 (VC 자금, 흥분)에 놓이게 됨. - 유일한 걱정: 이 거대한 돌진 속에서, AI에 대한 '책임감 있고, 사려 깊고, 과학적인' 접근 방식 (낙관적이지만 신중한)이 길을 잃지 않기를 바람.