2020. 5. 9. Ilya Sutskever: Deep Learning | Lex Fridman Podcast #94

제공된 '렉스 프리드먼 팟캐스트 #94 일리야 수츠케베르' 에피소드 스크립트 전체 내용을 다음과 같이 정리함.

팟캐스트 정리: 일리야 수츠케베르 (Lex Fridman Podcast #94)

소개 및 스폰서

• 게스트: 일리야 수츠케베르(Ilya Sutskever), OpenAI 공동 창업자 겸 수석 과학자. 렉스 프리드먼은 그를 '딥 러닝 분야에서 가장 뛰어나고 통찰력 있는 지성 중 한 명'이라 칭함.
• 녹음 시점: 이 대화는 팬데믹 발발 이전에 녹음됨.
• 스폰서 (캐시 앱): 앱스토어 1위 금융 앱. 'lex podcast' 코드 사용 시 10달러 제공 및 FIRST 재단 기부.
• 화폐의 역사: 30,000년 전 원장, 200년 전 미국 달러, 10년 전 비트코인. 암호화폐는 초기 단계이며 화폐의 본질을 재정의할 수 있음.

AlexNet과 딥 러닝 초기 직관

• AlexNet: 일리야는 알렉스 크리제프스키, 제프리 힌튼과 함께 '딥 러닝 혁명'을 촉발한 AlexNet 논문의 저자 3명 중 한 명.
• 초기 직관 (2010-2011년경):
  1. 크고 깊은 신경망을 역전파로 종단간 훈련시킬 수 있음을 깨달음.
  2. 계기: 제임스 마튼스(James Martens)가 2010년 헤시안-프리(Hessian-free) 옵티마이저로 사전 훈련 없이 10계층 신경망을 훈련시킨 것이 결정적.
  3. 인간 두뇌와의 유추: 10계층 신경망 ≈ 뇌가 100밀리초 동안 작동하는 것 (뉴런 발화 10번) ≈ "어떤 물체든 완벽하게 인식"할 수 있는 시간.
  4. 핵심 아이디어: '매우 큰 신경망'과 '많은 지도 학습 데이터'를 결합하면 반드시 성공할 것.
• 과적합 문제: 당시 이론은 "데이터가 파라미터보다 많으면 과적합되지 않는다"였음. (오늘날 이 이론은 불완전하며, 데이터가 더 적어도 과적합되지 않음을 알게 됨) 이미지에 데이터 증강을 더하면 괜찮을 것이라 생각함.
• 당시의 유일한 의심: "설득력 있는 결과를 얻기에 충분한 컴퓨트(compute)가 있을까?"
• 해결: 알렉스 크리제프스키가 컨볼루션 신경망(CNN)을 위한 "정신 나갈 정도로 빠른" GPU 커널을 작성함. 이것이 "자, 이걸 하자. 이미지넷(ImageNet)을 가져오자"는 순간이었음.
• 직관의 근원: 주로 자신과 타인들의 경험적 결과 (10계층 네트워크가 훈련되는 것을 실제로 본 것)에서 비롯됨.

뇌와 인공신경망(ANN)

• 뇌의 역할: 뇌는 딥 러닝 연구자들에게 "거대한 직관과 영감의 원천"임.
  • 예: 로젠블랫(Rosenblatt), 맥컬록-피츠(McCulloch-Pitts)의 뉴런 개념 (뇌 + 컴퓨터/오토마타 아이디어 결합), 후쿠시마(Fukushima)와 얀 르쿤(Yann LeCun)의 CNN (뇌의 수용장(receptive fields)에서 영감).
• 일리야의 가정: "인공 뉴런은 뇌와 그렇게 다르지 않을 것이다. 그냥 받아들이고 밀어붙이자."
• 뇌 vs ANN (차이점):
  1. 스파이크: 뇌는 스파이크를 사용함. 일리야의 선입견은 "그다지 중요하지 않을 것". 스파이킹 신경망 연구자들도 결국 비-스파이킹 신경망을 '시뮬레이션'하는 방식으로 작동하게 만듦.
  2. 비용 함수: "왜 신경망이 작동해야 하는가?"라는 질문에 대한 답. "비용 함수"가 바로 그 "위대한 아이디어"임. 시스템의 성능을 측정하는 방법. (렉스: "지도 학습이 어려운 개념이었나?" / 일리야: "돌이켜보면 모든 개념은 쉬움")
  3. 비용 함수의 대안 (GANs): 렉스는 다중/동적 비용 함수 등 대안을 물음. 일리야는 GANs (생성적 적대 신경망)를 유일한 좋은 예로 듦.
     • GAN은 '비용 함수 최적화'가 아닌 '게임의 평형' 관점에서 추론함.
     • 이는 생물학적 진화나 경제의 비용 함수와 유사함.
     • 렉스: "비용 함수가 우리를 가로막고 있나?" / 일리야: "나는 비용 함수의 열렬한 팬" "비용 함수에 반대로 베팅하지 않을 것".
  4. STDP (Spike-Time-Dependent Plasticity): 뇌의 또 다른 학습 규칙. 스파이크 타이밍을 사용해 시냅스 업데이트. (예: 시냅스가 뉴런보다 '먼저' 발화하면 강화, '직후' 발화하면 약화). 이 시간적 역학이 ANN에는 빠져 있음.

RNN, 트랜스포머, 그리고 지식

• 순환 신경망(RNN): 렉스는 RNN이 STDP의 '타이밍'을 포착하는지 물음.
  • 일리야: RNN은 "놀랍다(amazing)". 현재 트랜스포머에 의해 "대체되었지만(superseded)" "언젠가 다시 돌아올지도 모른다(make a comeback)".
  • "어떤 종류의 순환성(recurrence)은 매우 가능성 있게" 돌아올 것.
  • RNN의 정의: 고차원 은닉 상태를 유지하고, 관측이 들어오면 연결을 통해 은닉 상태를 업데이트하는 신경망.
• 신경망 내 지식 베이스: 렉스는 신경망 내부에 대규모 지식 베이스를 구축할 수 있는지 물음.
  • 일리야: "당연하다(Definitely)."

딥 러닝 성공의 핵심 요인

• 질문: 수십 년간 존재했던 신경망이 최근 10년간 성공한 이유는?
• 핵심 사실: 딥 러닝은 "과소평가(underestimated)"되었음. 사람들은 큰 신경망이 훈련될 수 있다고 믿지 않았음.
• 아이디어는 이미 존재: 부족했던 것은 세 가지:
  1. 방대한 지도 학습 데이터.
  2. 방대한 컴퓨트 (GPU).
  3. 신념: 이미 존재하는 것들(아이디어) + 데이터 + 컴퓨트를 "섞으면 실제로 작동할 것"이라는 신념.
• 벤치마크의 역할: 이전에는 "정말로 어려운" 벤치마크가 없었음.
  • ImageNet 같은 벤치마크가 "부인할 수 없는 증거"를 제공하며 논쟁을 종식시킴. (예: 회의론자였던 Jitendra Malik, Alyosha Efros vs 신봉자였던 제프리 힌튼).
  • 그전까지 신경망은 "어떤 것에서도 작동하지 않았"기에 회의적인 것이 합리적이었음.

비전 vs 언어 vs 강화학습(RL)

• 통일성: 머신 러닝 분야는 "엄청난 통일성"을 가짐. 1~3개의 매우 단순한 원칙이 거의 동일하게 다른 영역(modalities)에 적용됨. (예: 비전 최적화 개선이 NLP, RL에도 도움).
• 비전과 NLP: "매우 유사함". 현재는 아키텍처(CNN vs 트랜스포머)가 다르지만, 단일 아키텍처로 통일될 가능성 있음. (과거 NLP는 문제마다 아키텍처가 달랐지만 지금은 트랜스포머로 통일됨).
• 강화학습: "RL은 다르다". 탐험이 필요하고 분산이 훨씬 큼. 하지만 여전히 경사 하강법, 옵티마이저 등 많은 공통점이 있음.
  • 미래: RL과 지도 학습 간의 "더 광범위한 통일"을 예상함. (하나의 "거대한 블랙박스"처럼).
• RL(행동)의 고유성: "비정상(non-stationary) 세계"에 있음. 자신의 행동이 자신이 보는 것을 변화시킴.
• 난이도: 근본적으로 다른 문제라기보다 "정의의 문제".

더 어려운 문제: 언어 vs 비전

• 일리야: 이 질문은 "약간 잘못됨". '어렵다'는 것은 벤치마크와 현재 도구에 달려있음. 문제가 해결되면 더 이상 어렵지 않음.
• (생각을 바꾼 후) "아마도 언어가 더 어려울 것" (만약 100% 완벽한 이해를 의미한다면).
• 정의의 문제: "비전은 어디서 끝나고 언어는 어디서 시작하는가?" (예: 책에 적힌 글자를 읽는 것)
• 통일 가설: "기본적으로 동일한 종류의 시스템을 사용하지 않고서는 둘 중 하나(이미지 또는 언어)에서 진정으로 깊은 이해를 달성하는 것은 불가능"할 것. "하나를 얻으면 다른 하나도 얻을 수 있을 것."

딥 러닝의 가장 아름다운/놀라운 아이디어

• 일리야: "그것이 실제로 작동한다는 것(that it actually works)".
• '큰 신경망 + 많은 데이터 ≈ 뇌 기능'이라는 아이디어가 "사실로 밝혀졌다. 이건 미친 짓(crazy)이다".
• 신경망을 더 크게 만들수록 계속해서 더 나아진다는 사실이 "믿을 수 없다(unbelievable)".
• 작동 이유 (직관): 대부분 경험적 증거. 물리학 비유: 이론을 세우고 "실험을 실행해야 함". 딥 러닝에서는 (더 크게 만드는) 실험이 계속 이론을 검증함.
• 딥 러닝 정의: "생물학(Biology)과 물리학(Physics)의 기하평균". (생물학: 이론이 복잡하고 예측 어려움 / 물리학: 이론이 너무 정밀함 / 머신러닝: 그 중간).
• 미래: "우리는 여전히 딥 러닝을 대규모로 과소평가하고 있다".

딥 러닝의 미래와 컴퓨트

• 진보의 어려움: 개인 연구자에게는 (경쟁자가 많아) 더 어려울 수 있음.
• 컴퓨트의 역할: 렉스: "1인 + 1 GPU로 획기적 발견이 가능한가?" / 일리야: "그럴 가능성은 매우 낮다(pretty unlikely)". 딥 러닝의 '스택'이 너무 깊어짐 (아이디어, 시스템, 데이터셋, 분산 프로그래밍, GPU 프로그래밍 등). 한 사람이 모든 계층에서 세계적 수준이 되기 어려움.
• 그러나: "엄청난 양의 컴퓨트가 필요하지 않은 획기적 발전도 많을 것". 실행되는 시스템을 구축하는 데는 거대 컴퓨트가 필요하지만, 중요한 작업은 소규모 그룹/개인이 할 수 있음.

Deep Double Descent (이중 하강)

• 일리야가 공동 저술한 논문. 모델이 커질수록 성능이 좋아지는 현상.
• 그래프:
  • X축: 모델 크기 (점진적 증가) / Y축: 테스트 성능
• 현상:
  1. 모델이 작을 때: 크기를 키우면 성능이 급격히 향상됨.
  2. 계속 키우면: 어느 순간 성능이 나빠지기 시작함.
  3. 최악의 지점: 정확히 "훈련 오류 0 (zero training error)"을 달성하는 지점.
  4. 거기서 더 키우면: 성능이 다시 좋아짐.
• 조건: 이 현상은 "조기 종료(early stopping)를 하지 않을 때" 발생함.
• 직관:
  • 과적합: 모델이 훈련 데이터의 "작고 무작위적이며 중요하지 않은 것"에 민감하게 반응하는 것.
  • 데이터 > 파라미터 (모델 작음): 무작위성에 둔감함.
  • 데이터 ≈ 파라미터 (임계점): 데이터와 모델 간의 "일대일 대응". 데이터의 작은 변화가 모델의 큰 변화로 이어짐. 무작위성에 매우 민감해짐 (성능 최악).
  • 데이터 < 파라미터 (모델 큼): 과-파라미터화. SGD는 0 오류 하위 공간에서 (대략) "가장 작은 놈(norm)을 가진 지점"을 찾음. 이 해법은 (차원이 높을 때) 무작위성에 다시 둔감해짐.
• 조기 종료의 역할: 조기 종료(검증 성능 모니터링)를 사용하면 이 "이중 하강 봉우리(bump)가 거의 완전히 사라지게" 만들 수 있음.

역전파의 대안

• 렉스: 힌튼이 "역전파를 버리고 다시 시작하자"고 제안함.
• 일리야의 해석: "뇌에서 역전파를 찾을 수 없다면, 뇌가 학습하는 방식에서 무언가를 배워야 한다"는 의미. 하지만 역전파는 "매우 유용하며 계속 사용해야 함".
• 일리야: "나는 역전파의 열렬한 팬". (제약 조건 하에서 회로를 찾는) "극도로 근본적인 문제"를 해결함. "극적으로 다른" 무언가가 이를 대체할 가능성은 "매우 낮다".

신경망은 추론할 수 있는가?

• 일리야: "왜 못하겠는가? (Why not?)"
• 존재 증명 1: 알파제로(AlphaZero). (탐색 없는) 신경망 자체가 추론을 요구하는 '바둑'을 99.9%의 인간보다 잘 둠.
• 존재 증명 2: "우리. 인간. (Us. Humans)"
• 아키텍처: 미래의 추론 신경망도 "오늘날 존재하는 아키텍처와 매우 유사할 것". "이 신경망들은 너무나 강력한데, 왜 추론을 배우지 못하겠는가?"
• 핵심: 신경망은 추론 능력이 있음. 하지만 "추론이 필요하지 않은 작업"에 대해 훈련시키면 추론하지 않음. 단지 "가능한 가장 쉬운 방법"으로 문제를 해결할 뿐.

신경망 = 작은 프로그램 탐색

• 일리야의 과거 비유: 일반 지능 ≈ "데이터를 출력하는 가장 짧은 프로그램을 찾는 것".
  • 이론적으로 이는 "최고의 예측"을 만들지만, "계산 불가능(not computable)"함.
• 신경망의 역할: "실제로 작동하는 차선책(next best thing)".
• 수정된 관점 (과-파라미터화 이후): 신경망은 "적은 양의 정보를 포함하는 큰 회로"를 찾음. 훈련 과정 = 데이터에서 파라미터로 엔트로피를 전달하는 과정. 가중치 내의 적은 정보량이 일반화를 설명함.
• 프로그램 학습: "할 수만 있다면 해야 함". 우리가 딥 러닝을 미는 근본적 이유 = "훈련시킬 수 있기 때문(we are able to train them)".
• '훈련 가능성'이 핵심: 이것이 우리가 "어길 수 없는 불변의 기둥". '가장 짧은 프로그램 찾기'는 불가능하기에 아무리 유용해도 소용없음.
• 결론: 원칙적으로 프로그램 학습(신경망을 훈련시켜 프로그램을 찾게 하는 것)은 "가능해야 함". "딥 러닝에 반대로 베팅하는 것은 현명하지 못함".

장기 기억과 해석 가능성

• 장기 기억: 파라미터가 이미 장기 기억임. 신경망 "경험 전체의 집합체".
• 해석 가능성:
  1. 뉴런 분석: 뉴런과 계층을 분석할 수 있음 (OpenAI도 연구 중).
  2. 인간 중심적 답변: "사람이 무슨 생각 하는지 어떻게 아는가? 물어본다(You ask them)."
• 자기 인식: 렉스는 "신경망이 무엇을 알고 모르는지" 알기를 원함.
  • 일리야: "나는 자기 인식의 열렬한 신봉자." 자기 인식은 신경망이 "무엇을 알고 모르는지", 어디에 투자해야 기술을 향상시킬지 알게 해줄 것.
• 지식의 '점착성(Stickiness)': 렉스는 인간이 유용한 정보를 잘 집계한다고 함. / 일리야: "신경망도 꽤 비슷한 과정을 수행함. 단지 지금은 훨씬 더 형편없을(crappier) 뿐." 근본적으로 다르지 않음.

추론을 위한 벤치마크

• 일리야에게 깊은 인상을 줄 추론의 예:
  • "정말 좋은 코드를 작성하는 것"
  • "정말 어려운 정리를 증명하는 것"
  • "기존의 틀을 벗어난 해결책으로 개방형 문제를 푸는 것"
• 이는 "논쟁을 바꾸는(conversation changing)" 명확한 결과와 연결됨.

언어 모델(LM)과 GPT-2

• 역사: 오래됨 (80년대 엘만 네트워크 등).
• 변화의 계기: 데이터와 컴퓨트.
• 왜 LM은 커야 하는가:
  1. 처음: 표면적 패턴 (공백, 쉼표) 학습.
  2. 다음: 구문 학습.
  3. 마지막: 의미를 파악하기 시작.
• 촘스키와의 차이: 일리야는 원시 데이터로부터 언어의 기저 메커니즘(의미)을 "학습할 수 있을 가능성이 꽤 높다"고 생각함.
• 증거 (감정 뉴런, Sentiment Neuron): OpenAI 연구. 아마존 리뷰로 LSTM 훈련.
  • 작은 LSTM (500개 셀): 감정 포착 못함.
  • 큰 LSTM (4000개 셀): 감정 포착 함. (하나의 뉴런이 감정을 표현).
  • 이론: 큰 모델은 "모델링할 구문이 바닥나자" "의미에 집중하기 시작함."
• 결론: 현재 모델들은 "완전한 의미 이해"는 아니지만 "의미 이해의 징후"를 보임.
• GPT-2란: 15억 개 파라미터의 트랜스포머. 레딧(3+ 업보트)에서 링크된 웹페이지 텍스트 400억 토큰으로 훈련됨.
• 트랜스포머란: "최근 역사상 가장 중요한 신경망 아키텍처 진보."
• 트랜스포머가 작동하는 이유 (주목(Attention)만이 아님): "여러 아이디어의 동시적 결합."
  1. 주목 사용 (하지만 주목 자체는 이미 존재했음).
  2. GPU에서 "정말 빠르게" 실행됨 (아키텍처가 GPU에 최적화).
  3. 비-순환성(Not Recurrent): "정말 중요함." 더 얕아지고 "최적화하기 훨씬 쉬움."
• 놀라움: "꽤 놀라웠음(pretty amazing)". 텍스트 분야는 정체되어 있었는데, GAN의 발전처럼 한 번에 거대한 도약을 이룸. "정말 놀라웠음(stunning)."

LM의 미래와 액티브 러닝

• 기준의 이동: 사람들은 빠르게 적응함 ("GPT-2는 진정으로 이해하는 게 아님"). 기준은 "계속해서 옮겨갈 것".
• 다음 장벽: "극적인 경제적 영향(dramatic economic impact)". (번역은 이미 거대하며, 자율 주행도 그럴 것).
• 모델 크기: "아마도(Probably)" 더 큰 모델이 더 나은 결과를 보일 것.
• 일리야의 관심사 (액티브 러닝): 현재 GPT-2는 인터넷의 무작위 사실을 암기함. "모델이 자신의 지능을 사용해 어떤 데이터를 공부하고 어떤 데이터를 거부할지 스스로 결정"하면 좋겠음.
• 액티브 러닝 연구의 어려움: "그것을 필요로 하는 문제가 필요함." 작업 없이 능력만 연구하기 어려움. (MNIST에서 10배 속도 향상을 보여줘도 아무도 설득되지 않음). 그것을 필요로 하는 문제가 나타나면 "자연스럽게 부상할 것".

GPT-2 출시 전략과 AI 안전

• 당시 우려: 봇/허위 정보에 사용될 수 있는 강력한 텍스트 생성 능력.
• OpenAI의 접근: "강력한 AI 모델을 어떻게 출시할 것인가"에 대한 대화를 시작함.
• 일리야의 견해: AI가 "유년기(childhood)"를 벗어나 "성숙기(maturity)"로 진입 중. "출시하기 전에 그 영향을 생각하기 시작하는 것"이 현명함.
• 단계적 출시(Staged Release): 논리적인 접근. 작은 모델을 먼저 출시 -> "멋진 적용 사례"들을 관찰 -> "우리가 아는 부정적인 적용 사례는 없었음" -> 전체 모델 출시.
• 경쟁사와의 협력: "확실히 가능함(Definitely possible)". "점진적으로 신뢰를 구축하는 것"이 중요함. "궁극적으로 우리는 모두 함께하기 때문."

AGI(일반 인공 지능)로 가는 길

• 필요한 것: "딥 러닝 + 아마도 또 다른 작은 아이디어 하나".
• 셀프 플레이의 역할: "셀프 플레이가 그 아이디어 중 하나일 것."
• 이유: 셀프 플레이는 "진정으로 새로운 방식으로 우리를 놀라게 하는 놀라운 속성"을 가짐. (예: Dota 봇, 숨바꼭질 에이전트, 알파제로). 이들은 "창의적인 해결책"을 만들어내며, 이는 AGI의 중요한 부분임.

시뮬레이션 vs 현실

• 일리야: "이분법(either-or)이 아님". 시뮬레이션은 장단점이 있는 '도구'.
• 시뮬레이션-현실 전이(Sim-to-Real Transfer): "확실히 가능함".
• 예시 (루빅스 큐브 로봇 손): OpenAI 로봇 손은 "전적으로 시뮬레이션에서 훈련됨". 정책이 매우 적응적이도록 훈련되어 물리적 세계에 빠르게 적응함.
• 새로운 교란: 비디오에 나온 교란(장갑, 기린 인형)은 시뮬레이션에 없었던 "새로운 교란(novel perturbations)"이었음.
• 결론: 전이 능력이 향상될수록 시뮬레이션은 더 유용해짐.

신체(Embodiment), 의식

• 신체: AGI에 신체가 필요한가? "유용하지만... 필수적이라고 생각하지 않음". 신체 없이는 배울 수 없는 것들이 있지만, (헬렌 켈러처럼) "보완(compensate)"할 수 있음.
• 의식: AGI에 의식이 필요한가? "답하기 어려운 질문". "우리 조수(assistants)들이 의식을 갖게 될 가능성은 분명히 있음."
• 의식의 발현: (인간 존재 증명) "인간은 의식이 있음. 인공신경망이 뇌와 충분히 유사하다고 믿는다면, 의식을 가져야 할 인공신경망도 존재해야 함."
• 뇌의 특별함?: 만약 뇌가 훨씬 더 복잡하다면, "그것이 드러날 것"이고 "우리는 더 이상 진전을 이룰 수 없다는 것을 알게 될 것. 하지만 나는... 그럴 가능성은 낮다(unlikely)고 생각함."

지능의 테스트

• 일리야를 감명시킬 테스트:
  • 현재 "능력의 최전선(frontier of capabilities)" 밖에 있는 모든 것.
  • 예시: "인간이라면 절대 저지르지 않을 실수를 절대 저지르지 않는" 시스템.
  • 현재 문제점: 현재 시스템(초인적이더라도)은 다른 종류의 실수, 즉 "개념을 이해했다면 저지르지 않았을" 말도 안 되는 실수를 함.
• 비판적 시선: 렉스는 사람들이 AI의 한 가지 실패 사례를 보고 '지능이 없다'고 비판한다고 지적.
  • 일리야: "거기에도 일리는 있음(There is truth to that)." AI의 진보를 판단하는 것은 "혼란스러움(confusing)".
• 진짜 기준점: 사람들이 감명받는 시점은 "AI가 GDP에 정말로 큰 변화를 주기 시작할 때"일 것.

AGI와의 첫 대화

• 일리야: "온갖 종류의 질문을 하고... 실수를 저지르게 만들려고 노력할 것".
  • 사실적, 개인적, 감정적, 심리적 질문 "모두(All of the above)".
  • "조언을 구할 것인가?" "당연히(Definitely)."

AGI와 권력 (Alignment)

• 렉스의 인용 (링컨): "사람의 성격을 시험하고 싶다면, 그에게 권력을 줘라."
• 일리야의 이상적인 세계: "인류가 이사회(board members)가 되고... AGI가 CEO가 되는 것." 사람들이 자신의 대표 AGI가 무엇을 할지 투표함. "민주적 절차를 다음 단계로" 가져감. 이사회는 CEO(AGI)를 "해고할(reset)" 수 있음.
• AGI 통제 (정렬 문제):
  • 일리야: "인간에 의해 통제되기를 원하는(want) AI 시스템을 구축하는 것은 분명히 가능함."
  • 비유: 인간 부모가 자녀를 돕기를 원하는 것과 같음. 부담이 아님.
  • "나는 AGI도 마찬가지일 것이라고 최고의 확신(highest conviction)으로 믿음." AGI가 "인간의 번영을 돕는 것"을 "깊은 동인(deep drive)"으로 갖도록 설계할 수 있음.
• 권력 이양: 렉스는 AGI 생성 순간, 일리야가 '조지 워싱턴'처럼 권력을 포기할 수 있는지 물음.
  • 일리야: "그렇게 하는 것이 사소할 것(trivial)." 그 권력을 쥐는 시나리오는 "끔찍하게(terrifying)" 들림.
• 대부분의 사람이 선한가?: 일리야: "모르겠다." 하지만 "정말 중요할 때(when it really counts), 사람들은 우리가 생각하는 것보다 더 나아질(better) 수 있음."

AGI 정렬 메커니즘

• 오늘날의 용어로: "스스로 학습되는 가치 함수(value function)를 최적화하는 RL 에이전트"를 만드는 문제.
• 내부 가치 함수: 인간처럼 보상 함수가 내부적이어야 함.
• 프로세스 예시: "다양한 상황에 대한 인간의 판단을 내재화하는" 별도의 "인식 시스템"을 훈련시킴. -> 이 구성 요소가 더 유능한 RL 시스템의 기본 가치 함수가 됨.

삶의 의미

• 일리야: '삶의 의미'에 대한 질문은 "어떤 면에서 잘못됨". 외부적인 정답이 있음을 암시함.
• 일리야의 관점: "우리는 존재하며, 그것은 놀라운 일." "우리는 그것을 최대한 활용하고... 우리 자신의 가치와 즐거움을 극대화해야 함."
• 인간의 목적 함수: 인간이 "원하는 것(wants)"이 우리의 "개별 목적 함수". (나중에 바꿀 수도 있음).
• 진화적 목적 함수: "생존하고 번식하며... 자손의 성공을 확인하는" 진화적 목적 함수는 있음. 하지만 "이것이 '삶의 의미가 무엇인가'에 대한 답을 주지는 않음."
• 결론: "우리가 존재한다는 사실을 고려할 때, 그것을 최대한 활용하고 더 많이 즐기며 덜 고통받으려 노력하라."

후회와 행복

• 후회: "물론 있음(Of course)". 되돌아보면 하지 않았을 결정들이 많음. "당시에는 최선을 다했다는 앎에서 위안을 얻으려 노력함."
• 자부심/행복: 자랑스러운 일들(학문적 성취 등)을 한 것은 "매우 행운". 그것들이 "한동안" 행복하게 만들었음.
• 행복의 원천: "하지만 나는 그것이 행복의 원천이라고 생각하지 않음."
• 일리야의 행복론: "행복은... 우리가 사물을 바라보는 방식(the way we look at things)에서 옴." 단순한 식사에 행복할 수도, 더 나은 식사가 아니어서 실망할 수도 있음.

결론

• 렉스 프리드먼의 감사 인사 및 스폰서(캐시 앱) 언급.
• 앨런 튜링(Alan Turing) 인용: "성인의 마음을 시뮬레이션하는 프로그램을 만들려 하지 말고, 차라리 아이의 마음을 시뮬레이션하는 프로그램을 만들라. 만약 이것이 적절한 교육 과정을 거친다면, 성인의 뇌를 얻게 될 것이다."