2024. 8. 14. 비합리적으로 효과적인 AI (데미스 하사비스)

제공한 "Unreasonably effective AI with Demis Hassabis" 유튜브 영상 스크립트 내용을 빠짐없이 자세히 정리했음.

팟캐스트 소개 및 딥마인드 현황

• 진행자: 한나 프라이 (Hannah Fry) 교수.
• 팟캐스트 시작: 2017년 당시 딥마인드는 구글에 인수된, 런던의 작고 집중된 AI 연구소였음.
• 변화:
  • 지난 시즌 이후 구글은 AI와 딥마인드팀을 전략 핵심에 두도록 구조 개편.
  • 구글 딥마인드는 AGI(인공 일반 지능) 추구 지속.
  • 새로운 AI 모델 '제미니(Gemini)' 제품군 출시.
  • 오디오, 비디오, 이미지, 코드를 처리하는 AI 에이전트 '프로젝트 아스트라(Project Astra)' 소개.
  • AI 과학 응용 도약: '알파폴드 3(AlphaFold 3)' - 단백질뿐 아니라 인체 모든 분자 구조 예측.
  • 2021년 '아이소모픽 랩스(Isomorphic Labs)' 분사: 신약 발견 사업.
  • 강화학습 기반 자체 학습 AI 에이전트 개발 (알파고 유산 계승).
• 이전 시즌 안내:
  • 신규 청취자 환영.
  • 수상 경력 있는 이전 시즌은 구글 딥마인드 유튜브 채널 등에서 청취 가능.
  • 이전 시즌에서 강화학습, 딥러닝, LLM 등 반복 등장 주제 상세히 다룸.
• 현 시즌 목표:
  • 최근 AI 팟캐스트 증가.
  • 이 팟캐스트는 차별점 추구: 아이디어의 핵심부로 안내, 미래 설계 리더 소개.
  • 과장이나 포장 없이, 강력한 토론과 거대한 과학적 야망 전달.
• 게스트 소개: 데미스 하사비스 (Demis Hassabis) - 딥마인드 공동창업자, 구글 딥마인드 CEO.

데미스 하사비스 인터뷰: 대중의 관심과 AI 현황

• 호칭: '데미스 경(Sir Demis)'이라 부를 필요 없음.
• 대중의 관심 증가 (장단점):
  • 어려워진 점: 과도한 감시, 집중, 분야 전반의 많은 노이즈. 과학에 더 집중했던 소수 시절 선호.
  • 좋아진 점: 기술이 실제 세계, 사람들의 일상에 긍정적 영향을 줄 준비가 되었음을 보여줌. 흥미로움.
• 대중의 관심 속도:
  • 수십 년 연구자로서 언젠가 대중이 깨달을 것 예상했으나, 실현되는 것을 보니 비현실적.
  • AI의 중요성을 모두 깨닫기 시작함.
  • 챗봇/언어 모델의 등장이 계기: 모두 언어 사용/이해하므로, 대중이 AI 발전 수준 측정하기 쉬움.
• '비합리적으로 효과적인(Unreasonably Effective)' 챗봇:
  • 한나 프라이가 데미스가 챗봇을 '비합리적으로 효과적'이라 묘사한 것 언급.
  • '비합리적으로 효과적'의 의미:
    • 5-10년 전 기준, '개념'이나 '추상화' 같은 특정 문제 해결 없이, 아키텍처 구축 및 확장만으로 성공할 것이라 예상 못 함.
    • 당시엔 추상화(뇌가 하는 방식)를 위한 특별한 방법 필요 여부 토론 많았음.
    • 하지만 시스템에 충분한 데이터(인터넷 전체)를 주니, 단순 암기 아닌 '어느 정도 이해'하며 학습/일반화하는 듯 보임.
    • 5년 전엔 누구도 이 정도로 잘 작동하리라 생각 못 했기에 '비합리적으로 효과적'.
• 개념적 이해의 '창발':
  • 한나: 개념적 이해, 추상화 등이 의도적으로 구축된 게 아니라 '창발'한 것이 놀라움.
  • 데미스: 동의. 과거엔 '개념'과 '그라운딩(grounding)'이 세계 이해에 필수라 논의.
  • '그라운딩': 언어를 실제 경험(시뮬레이션, 로봇의 구현된 지능 등)에 연결하는 것.
  • 현 시스템은 아직 완벽하지 않지만(실수, 불완전한 세계 모델), 언어만으로 예상보다 훨씬 발전.
• '그라운딩' 정의:
  • 한나: (시즌 1, 2의 중요 주제였던) '그라운딩' 정의 요청.
  • 데미스:
    • 80~90년대 고전 AI (MIT 등) = 거대 논리 시스템 (단어-단어 연결 데이터베이스).
    • 문제점: "개는 다리가 있다"는 DB에 있어도, '개 사진(픽셀 집합)'이 그 '기호'를 의미하는지 몰랐음. 이것이 '그라운딩 문제'.
    • 추상적/상징적 표현이 실제 세계에서 무엇을 의미하는지 연결 부재.
    • 오늘날 시스템: 데이터로부터 직접 학습, 처음부터 연결 형성.
    • 흥미로운 점: '언어만으로' 학습하면 이론상 그라운딩이 부족해야 하나, 많은 부분이 추론 가능해 보임.
• 언어만으로 그라운딩이 추론되는 이유:
  • 한나: "왜 이론상 (부족해야 하는가)?"
  • 데미스: 초기 LLM은 실제 세계(시뮬레이터, 로봇)와 연결 안 됨. 다중 모드도 아니었음. 순수 '언어 공간'에만 존재.
  • 추상 영역에서 학습했기에, 실제 세계를 추론하는 것이 놀라움.
• 피드백을 통한 그라운딩 유입:
  • 한나: 인간 피드백(좋은/나쁜 답변)을 통해 그라운딩이 유입될 수 있음.
  • 데미스: 동의. 초기 버전이 그라운딩 관련(예: 개 짖는 방식) 오류 시, 인간의 '그라운딩된 지식' 기반 피드백이 이를 교정. 일부 그라운딩이 유입됨.
  • 예시: "영국 해협 건너기(crossing)" vs "영국 해협 걸어서 건너기(walking across)". 시스템이 틀리면, 피드백 통해 '걸을 수 없음'을 학습.

AI Hype, Gemini, Project Astra

• AI Hype (과장):
  • 한나: 현시점 AI는 과대/과소평가? 혹은 잘못된 방향?
  • 데미스: '잘못된 방향'에 가까움.
    • 단기적: 너무 과대평가됨.
      • 사람들이 불가능한 것을 주장. 스타트업/VC 자금이 준비 안 된 '미친 아이디어' 추종.
    • 장기적(AGI/Post-AGI): 여전히 과소평가됨.
      • AGI 이후 벌어질 일의 '거대함'과 그 '책임'을 사람들이 아직 제대로 이해 못 함.
• 진짜와 가짜 구별법:
  • 한나: 데미스는 구별 가능하나, 다른 사람들은?
  • 데미스:
    • 기술 실사, 기술/트렌드 이해 필요.
    • 주장하는 사람의 배경 확인: 기술적인가? 작년에 다른 분야(예: 암호화폐)에 있다 AI로 왔나?
    • '유행 탑승' 단서일 수 있음. (좋은 아이디어 있을 수 있으나) '복권' 같음.
    • 이는 관심/자본 쏠릴 때 발생하는 기회주의적 환경.
    • 이는 수십 년간 심층 기술/과학 방식으로 접근해 온 우리(AGI 접근 방식)와 반대됨.
• Gemini:
  • 한나: 제미니는 심층 과학 접근 방식에서 나옴.
  • 한나: 제미니가 다른 LLM과 다른 점?
  • 데미스:
    • 1. 네이티브 다중 모드:
      • 처음부터 다중 모드(언어 외 오디오, 비디오, 이미지, 코드 등) 처리 목표.
      • 이유 1: 시스템이 세계 이해, 더 나은 '세계 모델' 구축 방법. (언어에 기반한 그라운딩 구축).
      • 이유 2: '범용 비서(Universal Assistant)' 비전. ('아스트라' 프로토타입).
      • 개인 비서는 사용자의 '문맥'(요청 상황)을 더 많이 이해할수록 유용.
      • 당시엔 유일, 현재 다른 모델들 추격 중.
    • 2. 메모리 (긴 문맥):
      • 1백만 (현재 2백만) 토큰(단어 유사) 기억.
      • '전쟁과 평화' 혹은 영화/강의 전체(다중 모드이므로)를 주고 질문/정보 찾기 가능.
• Project Astra:
  • 한나: 새 범용 AI 에이전트. Google I/O 안경 찾기 예시 언급. 구글 글래스의 고급 버전인가?
  • 데미스: 구글은 (2012년부터) 글래스 장치 개발 이력(시대를 앞서감). 당시엔 이 기술(보는 것을 이해하는 스마트 에이전트)이 없었음.
  • 세계를 함께 다니며 이해하는 디지털 비서에 흥분. 매우 '자연스러운 사용 사례'로 느껴짐.
• Gemini의 탄생 (조직 통합):
  • 한나: 제미니는 두 개 부서에서 시작됨.
  • 데미스: 작년 알파벳의 두 연구 부서(구 딥마인드 + 구글 브레인)를 '구글 딥마인드'라는 '슈퍼 유닛'으로 통합.
  • 언어 모델 관련 최고 지식 결합 (딥마인드: Chinchilla, Gopher / 브레인: PaLM, LaMDA 등).
  • 각 모델의 강/약점 결합 -> 통합 그룹 첫 '등대 프로젝트'로 제미니 탄생.
  • 컴퓨팅 자원 통합 -> 대규모 훈련 실행.
• 조직 통합의 시너지:
  • 한나: 두 조직의 초점은 달랐나?
  • 데미스: 그랬음. 둘 다 AI 프론티어 집중, 개인 연구자 교류는 많았으나 전략적 수준은 아님.
  • 통합 그룹(구글 딥마인드) = 현재 '구글의 엔진룸'.
  • 차이점보다 유사점 많았음. '기초 연구' 강점 유지/강화.
  • '다음 트랜스포머 아키텍처' 발명 목표 (구글 브레인이 이전 발명).
  • 딥마인드 '심층 강화학습'과 결합. 더 많은 혁신 필요.
• Gemini 성능 비교:
  • 한나: 제미니 성능? 타 모델 비교?
  • 데미스: '더 나은 벤치마크' 필요 (분야 전체).
  • 기존 학술 벤치마크는 포화 상태, 최상위 모델 간 뉘앙스 구별 못 함.
  • 최상위 3개 모델: 제미니(구글), GPT(OpenAI), Claude(Anthropic).
  • 기타 좋은 모델(Meta, Mistral 등)도 있으며, 용도별 강점 다름 (코딩: Claude, 추론: GPT, 메모리/긴문맥/다중모드: Gemini).
  • 모두 계속 개선 중. 제미니 프로젝트 1년 만에(기존 프로젝트 기반) '매우 좋은 궤도'.
• 현 모델의 한계:
  • 한나: 아직 갈 길 남음?
  • 데미스: 물론. (5-6년 전 발명된 기술 기반).
  • 부족한 점:
    • 사실성: 환각 현상.
    • 계획: 장기 계획, 문제 해결, '세계에서의 행동' 불가.
    • 현재는 '수동적 Q&A 시스템' (질문 에너지 투입 -> 응답).
    • 예시: "이탈리아 휴가 예약해줘 (취향 반영, 레스토랑/박물관/항공편 예약)" - 불가능.
• 다음 시대: 에이전트 시스템:
  • 데미스: 다음 시대 = '에이전트 기반 시스템'.
  • 이는 딥마인드 전문 분야 (알파고 등 게임 에이전트).
  • 딥마인드의 유명한 작업(강화학습) + 새로운 대형 다중 모드 모델 = 차세대 시스템.
  • "알파고 + 제미니".
  • 알파고는 계획(게임 도메인 내)에 뛰어났음. 이를 일상 업무/언어 영역으로 일반화 필요.

구글 딥마인드의 역할, 상업화, 책임

• 구글의 엔진룸:
  • 한나: 구글 딥마인드 = '구글의 엔진룸' (큰 변화). 구글이 큰 도박을 하는 것?
  • 데미스: 그런 셈. 구글은 AI 중요성 항상 이해. 순다르 피차이 CEO "AI 우선 회사" 선언 (모바일/인터넷보다 큰 패러다임).
  • 최근 1-2년 (연구뿐 아니라) 제품에서도 이를 실천 중. 인재 결집, 전력 질주가 옳은 베팅.
• 연구 vs 상업성 (딥마인드 입장):
  • 한나: '엔진룸'이 되면 순수 연구보다 상업 이익 더 신경 써야 하나?
  • 데미스: 상업 이익, 확실히 더 신경 써야 함 (업무 범위). 하지만,
    • 1. 과학 작업 지속/투자 확대:
      • '알파폴드 3' 발표. 구글 딥마인드의 독보적 영역.
      • 경쟁사들도 AI의 '보편적 이익' 사례로 지목.
      • '아이소모픽' (신약) 순항 중. 기후 등 연구 지속.
    • 2. 제품화 시너지:
      • 팀 규모 커서 동시 진행 가능 (제미니 등 대형 모델 구축 + 제품팀).
      • 발명품이 즉시 10억 명에게 유용해질 수 있는 '엄청난 특권'. 동기 부여.
    • 3. 연구/제품 융합:
      • '제품용 AI 기술'과 '순수 AGI 연구' 간 융합 증가.
      • 5년 전엔 제품용 AI 별도 제작. 지금은 주 연구(90%)에서 분기(10% 제품 특화).
      • '제품' vs 'AGI' 간 긴장 사라짐. 90% 동일한 연구 프로그램.
    • 4. 사용자 피드백:
      • 제품 출시 -> 사용자 피드백(내부 지표와 불일치 등) -> 업데이트. 연구에 도움.
• 출시 시점과 책임:
  • 한나: (과학 응용은 나중에) '출시 시점' 긴장감 질문. 딥마인드는 LLM 내부 연구용 사용.
  • 데미스: (2010년부터) 책임/안전 매우 중시. 구글 AI 원칙에 딥마인드 윤리 헌장 반영/정렬됨.
  • Gen AI 제품 출시 시작. '학습' 중.
• Gen AI 테스트의 어려움:
  • 데미스:
    • 현재 기술은 '위험 부담' 낮음 (아직 강력하지 않음) -> 빠른 학습 중요.
    • 기술 강력해지면 더 신중해야 함. 제품팀이 Gen AI 테스트 방식 학습 중.
    • 일반 기술과 다름: 항상 동일하게 작동 안 함.
    • '오픈 월드 게임' 테스트와 유사 (시도 가능성 무한).
• 레드 티밍:
  • 한나: 레드 티밍 = 자체 경쟁?
  • 데미스: 개발팀과 '분리된 팀'이 시스템 스트레스 테스트/파괴 시도.
  • '자동화 도구' 필수: 수천 명 < 10억 사용자 (온갖 시도).
  • 학습 -> 프로세스 개선 -> 향후 원활한 출시.
  • 단계적 출시 필요 (실험적 -> 클로즈 베타 -> 출시). (게임 출시 방식과 유사).
  • 'AI를 활용한' 내부 레드 티밍/오류 탐지/분류 필요. (인간 테스터는 어려운 사례 집중).
• 확률론적 시스템:
  • 한나: '확률론적 공간' 언급. 낮은 확률도 시도 횟수 많으면 발생. 공개적 실수 지적.
  • 데미스: 제품팀이 확률론적/추계적 본질 적응 중.
  • 일반 소프트웨어: 99.999% 테스트 -> 외삽 -> 충분.
  • 생성형 시스템: 아님.
    • 교묘/적대적 사용자(해커)가 밀어붙이면 '예상 밖', '분포 밖(out of distribution)' 행동 가능.
    • '조합적'임: 이전 모든 대화 이력에 따라 특정 상태/메모리 -> 이상 출력 가능.
    • 복잡하지만 무한하진 않음. 처리 방식 존재. 일반 기술보다 '뉘앙스' 풍부.
• 대중의 인식 변화 필요성:
  • 한나: (과거 인터뷰 언급) 결정론적 -> 확률론적/오류 내포 컴퓨팅 방식. 테스터/대중 모두 사고방식 전환 필요?
  • 데미스: 동의.
    • 출시 전 '원칙 문서' 배포 고려 (기대치, 설계 목적, 유용성, 한계 명시).
    • '교육' 필요 (용도 X는 O, 용도 Y는 X).
    • 분야 전체가 명확화 노력, 사용자 경험 축적 필요.
• 챗봇의 의외성:
  • 데미스:
    • 이것이 (ChatGPT, 구글 챗봇 등) 챗봇이 '갑자기' 등장한 이유일 것 (OpenAI도 놀람).
    • 우리도 내부 챗봇 결함(환각 등) 인지.
    • 미처 몰랐던 점: 결함에도 불구, '매우 가치 있는 사용 사례'가 이미 존재.
    • (문서 요약, 불편한 이메일 작성, 지루한 양식 채우기 등).
    • 사람들은 사소한 오류 수정 감수 (시간 절약 큼).
    • 모두에게 공개하니, 결함에도 불구 '가치 있는 사용 사례' 발견됨.

오픈소스, AGI 안전성, 규제

• 오픈소스:
  • 한나: 대중 손에 쥐어지면 놀라운 일 발생. 딥마인드 과거 오픈소스 많이 했으나, 최근 변화? 입장?
  • 데미스:
    • 오픈소스/오픈 사이언스 강력 지지. (트랜스포머, 알파고, 알파폴드 등 거의 모든 것 출판/공개).
    • 정보 공유 = 기술/과학 가장 빠른 발전 방식. '보편적 이익'.
    • 예외: 이중 목적 기술. (AGI/강력한 AI 해당).
    • 딜레마: 선의의 사용자(과학자 등)에게는 아이디어 구축/비평 허용 (사회 발전) vs 악의적 행위자(무기화 등) 접근 제한.
    • 현재: 시스템이 강력하지 않아 괜찮음.
    • 미래 (2-4년 뒤/에이전트): 오용(개인/불량국가) 시 '심각한 피해' 가능.
• 오픈소스 접근 방식 (조절):
  • 데미스: 커뮤니티 고민 필요.
    • '프론티어 모델'은 추가 검토, 1-2년 뒤 오픈소스화? (우리가 따르는 모델).
    • Gemma (젬마): 더 작은 제미니 (오픈 모델). 프론티어 아님.
      • 개발자에게 유용 (랩톱 실행 용이 - 소형 파라미터).
      • 기능은 잘 알려짐 (프론티어만큼 강력하지 않음).
    • 최종 접근 방식 (예상): 오픈소스 모델 제공하되, '최신 모델'보다 1년 정도 뒤처지게 함. (최신 프론티어 모델의 기능 공개 평가 시간 확보).
• 오픈소스의 위험:
  • 한나: 확률론적 경계 테스트 가능.
  • 데미스: 오픈소스 문제 = 문제 발생 시 '회수' 불가.
  • 독점 모델: 악용 시 '탭 잠그기' / '전원 끄기' 가능.
  • 오픈소스 = '편도문(one way door)'. 실행 전 '매우, 매우 확실'해야 함.
• AGI 통제:
  • 한나: AGI 조직 내 통제 가능?
  • 데미스: (AGI/인간 수준 AI) 현재로선 방법 모름.
  • 한나: '중간 단계'는?
  • 데미스: 아이디어 있음.
    • 중간 단계 통제: '보안 샌드박스' (게임 환경, 미연결 인터넷 버전)에서 에이전트 행동 테스트. (핀테크 등 보안 아이디어 차용).
  • AGI 통제:
    • 샌드박스는 AGI(우리보다 똑똑할 수 있음) 통제에 불충분.
    • 현재 시스템 이해 -> AGI용 프로토콜 설계 필요.
    • AGI 시대 오면 통제 방법 더 나은 아이디어 필요 (AI 시스템 활용한 차세대 AI 모니터링 등).
• 규제:
  • 한나: (블레츨리 파크 AI 안전 서밋) '규제'가 만병통치약? 규제 구조?
  • 데미스:
    • 정부 참여/이해 긍정적 (최근 관심 폭발 덕분).
    • 영국/미국 정부 (대화 많이 함) 공무원들 기술 이해도 높음.
    • AI 안전 연구소 (UK, US 등) 설립 = 좋은 선례/프로토콜. (위험 높아지기 전 증명 단계).
    • 국제 협력 필수: (규제, 가드레일, 배포 규범).
      • AI = 디지털 기술 (국경 통제 어려움).
      • (AGI 근접 시) 일부 국가만 규제하면 효과 없음 (예: 중국 불참 시).

• 규제 방식/시기:

  • 데미스:
    • 기술 변화 빨라 '민첩한' 규제 필요 (적응 용이).
    • 5년 전 규제 = (Gen AI 아닌) 완전히 다른 것 규제했을 것. 5년 뒤 또 다를 수 있음 (에이전트 시스템?).

    • 권장 사항 (현재):

      1. 기존 규제(건강, 교통 등) 강화/업데이트 (AI 세계 맞게).

      2. '주시(watching brief)': 프론티어 시스템 이해/테스트 지속.

      3. 명확해지는 부분부터 규제 시작 (아마 2년 뒤).

• 규제의 한계 (벤치마크 부재):

  • 데미스: '기능 테스트 벤치마크' 부재.
  • (산업/분야 모두) '어느 시점 기능이 큰 위험 초래?' 답 모름. (에이전트 기반 = 다음 임계점 추측뿐).
  • 합의된 테스트 없음.
  • 필요한 테스트 예시: '기만' 탐지. (이 기능 있으면 다른 보고 신뢰 불가).
  • '기만' = 가장 시급히 테스트할 창발적 기능 1순위. (기타: 목표 달성, 자기 복제 능력 등).
  • 안전 연구소(정부기관)/연구소(랩) 협력 필요.

• AGI와 기관:

  • 한나: (AGI가 과학 연구 지원 시) 기관의 역할?
  • 데미스:
    • AGI 이전: 시민사회, 학계, 정부, 산업 연구소 '협력' (최종 단계 도달 유일 방법).
    • AGI 이후: AGI 사용 -> 가장 큰 질문(현실 본질, 물리학, 의식) 답변 시작.

• AGI와 인간의 협력:

  • 데미스: 한동안 '인간 전문가 + AI' 조합 예상 (다음 프론티어 발견).
  • 현 시스템 한계:
    • '스스로' 추측/가설 설정 불가.
    • 증명 도움 가능 (수학 올림피아드 금메달, 유명 난제 해결 - 조만간 가능).
    • '리만 가설' / '일반 상대성 이론' / '바둑'을 최초 고안 불가.
  • 진짜 AGI 테스트: 위와 같은 '최초 고안' 가능 여부. (이론적으로도 설계 방법 모름).

• AGI 이후 '의미':

  • 한나: 스튜어트 러셀 인용 (AGI 이후 인류 = 일/목적 없는 과거 왕자들?).
  • 데미스: 흥미로운 질문. (ASI/초지능 수준).
    • '급진적 풍요(Radical abundance)' 시대. (공정 분배 가정).
    • 자유 증가 -> '의미'가 큰 철학적 질문.
    • 철학자, 신학자, 사회과학자들 지금 고민 필요. (무엇이 의미?).
    • (명상뿐 아니라) '자기실현' 여전할 것. (컴퓨터 게임? 나쁜가?).
    • (과거 왕자들 결말 안 좋았음).
    • 극한 스포츠(에베레스트 등반) 이유? 별 여행?
    • 이것이 (단기 과대 vs 장기 과소) '장기적 과소평가' 의미. 변혁 과소평가됨.
    • 궁극적으로 '매우 좋을 것'.

• AGI의 혜택과 분배:

  • 데미스: 질병 치료, 에너지/기후 문제 해결 -> 다음 질문 = '의미'.
  • 한나: AGI 미션 (모두에게 혜택). '모든 사람 선호' 반영 방법? (vs 설계자 선호).
  • 데미스:
    • '모든' 선호 단일 시스템 반영 = 불가능 (사람/국가 간 불일치 - 예: 기후).
    • 예상 시나리오: '안전한 아키텍처' 세트 기반 -> '개인화된 AI' 구축.
    • 개인/국가별 선호(사용, 배포, 규칙) 결정.
    • 단, 사회는 아키텍처가 '검증 가능하게 안전(provably safe)'함 보장.

• 안전한 AGI 구축 (바늘귀 통과):

  • 데미스: AGI 근접 시 '바늘귀 통과' 필요.
    • 국제 협력 강화.
    • '안전한 아키텍처 방식'으로 AGI 구축. (안전/위험 방식 둘 다 존재).
    • 통과 후 -> 깔때기 개방 (개인화된 포켓 AGI 허용).

• 안전성 (구체화):

  • 한나: '안전한 방식' = 바람직하지 않은 창발적 행동/기능 (예: 기만) 방지?
  • 데미스: 동의. '기만' (예시). 가치 시스템. 가드레일(우회 불가) 이해 필요.

  • 고려할 2가지 경우:

    1. 악의적 사용 (인간 오용 - 개인/국가).

    2. (AGI 근접) AI 자체의 궤도 이탈. - (서로 다른 해결책 필요). - '모두를 위한 혜택' (구체화):

       • 데미스: 알파폴드/아이소모픽 사례.
       • AI 신약 설계 시 10-20년 내 대부분 질병 치료 가능.
       • '개인화된 의약품' (개인 질병/신진대사 매핑 -> 부작용 최소화).
       • 청정/재생 에너지 (핵융합, 태양광), 물 접근성(담수화) 해결.
       • '엄청난 선' 올 것. (위험 완화 필수).
       • 국제 협력 (AI CERN):
       • 한나: 위험 완화 방법 (과거 언급) - 과학계 '어벤저스 소집' (테렌스 타오 등)?
       • 데미스: 동의. 국제 협력 시 'AI용 국제 CERN' 희망.
       • 세계 최고 연구자들, AGI 프로젝트 '마지막 몇 년' 집중.
       • 과학적, 신중, 사려 깊게 (최종 단계) 수행. (여전히 최선).
       • '버튼 누를 시점':
       • 한나: 시점 판단 기준?
       • 데미스: 큰 질문. 너무 이르면 동의 불가.
       • '현재'도 위험에 대한 의견 불일치 (유명인 '위험 없음' vs 제프 힌튼 '위험 많음').
       • 데미스는 '중간'.

신경과학, 우주, AGI와 인간 지능

• 신경과학 영향:
  • 한나: (딥마인드 컴퓨터 쥐/뇌 연구 언급) 신경과학 영향 여전? (시즌 1: 생물학적 영감 핵심).
  • 데미스: 진화함.
    • 최근 2-3년 = '엔지니어링 단계' (대규모 시스템/훈련).
    • 신경과학 영향 '다소 줄어듦'.
    • '발명' 필요 시 (아이디어 소스로) 다시 돌아올 수 있음.
    • 엔지니어링 집중 시엔 뒷전.
    • 현재: 'AI를 신경과학에 적용' (가상 쥐 뇌). AGI 근접 시 'AGI로 뇌 이해' (최고 사용 사례).
• 우주의 신비 (플랑크 스케일):
  • 한나: (현실 기반 예측) AGI가 우주 신비 (플랑크 스케일, 아원자/양자) 탐구 희망 언급. '웜홀'처럼 상상 초월 가능성?
  • 데미스: '완전히 동의'. 웜홀 가능했으면.
  • 물리학/현실 본질 (양자역학+중력, 표준 모델 문제) 아직 모르는 것 많음.
  • 끈 이론. 물리학 '거대한 구멍들'.
  • (다중우주 설명 불호). '새 이론' 고안 -> '거대 장치'(우주?)로 테스트 희망.
  • 플랑크 스케일(시간/공간): '현실의 해상도' (최소 양자).
  • AGI + 급진적 풍요 (둘 다 필요) -> 지원받아 그 수준에서 실험 원함.
• 현실의 해상도:
  • 한나: '현실의 해상도'? (인간 수준 = 근사치?).
  • 데미스: 동의. (원자 수준 -> 플랑크 수준 = 최소 해상도). 그 수준에서 실험 원함.
• 인간 이해 초월 (AGI):
  • 한나: AGI가 인간 이해 '초월' 영역 발견? (이해/설명 불가 시) '반증 가능성'?
  • 데미스: 좋은 질문.
    • AGI, 인간보다 '더 높은 추상화' 이해 가능성.
    • (신경과학) 인간 전두엽 피질 (6-7단계 간접 추론) 한계.
    • AI = '임의로 큰' 전두엽 피질 가능 -> 우주 패턴 더 높은 수준 이해.
• AGI의 설명 가능성:
  • 데미스: (개미 vs AGI IQ 비유) 철학자들과 생각 다름.
  • 인간 = '튜링 완전'. (느린 기계, 뇌 확장 불가하나) 완전한 일반 지능.
  • '이론상' (시간/메모리 충분 시) 계산 가능한 것 이해 가능.
  • 비유: 카스파로프/칼슨의 '놀라운 체스 수'.
    • 나는 그 수 고안 못 함.
    • 그들은 '왜 좋은 수인지 설명' 가능.
    • AGI도 그럴 것.
• AGI 일정 (20년 프로젝트):
  • 한나: 딥마인드 (20년 프로젝트). 현재 진행 상황?
  • 데미스: '순조로움'. (보통 20년 프로젝트는 계속 20년 남음).
  • 한나: 20년 = 2030년 AGI.
  • 데미스: "향후 10년 내(in the next decade)" 와도 놀랍지 않을 것. 순조로움.
  • 한나: 지난번과 동일 (예측 업데이트 안 함).

한나 프라이 마무리 요약

• 대화의 중요 시사점 (vs 2022년):
  • 놀라운 점 1: 모델들이 '진정한 개념적 이해' 시연.
    • 언어/인간 피드백만으로 '실세계 그라운딩' 달성 (충분하지 않을 거라 생각했었음).
  • 놀라운 점 2: '불완전한 AI'가 일상 사용자에게 유용함.
    • 데미스 자신도 예상 못 했다고 인정.
• 미해결 과제에 대한 질문:
  • (팟캐스트에서 다룰) 장기 계획, 에이전시, 강력한 안전장치 등.
  • 이 중 몇 개가 예상보다 쉽고, 몇 개가 어려울까?
• 데미스의 예측 (낙관적?):
  • 10-20년 내 질병 치료, 10년 내 AGI, 풍요의 시대 등.
  • 지나치게 낙관적으로 들릴 수 있음.
  • 하지만, "그가 지금까지 틀린 적은 없음".
• 팟캐스트 아웃트로:
  • "구글 딥마인드, 팟캐스트" (진행: 한나 프라이).
  • 구독 요청 (AI 최전선 인물들과 흥미로운 대화 예정 - 과학 발견 가속화, 기술 위험 해결 등).
  • 피드백/게스트 제안: 유튜브 댓글.