2018. 4. 25. Ilya Sutskever: OpenAI Meta-Learning and Self-Play | MIT Artificial General Intelligence (AGI)

Ilya Sutskever: OpenAI 메타 러닝 및 셀프 플레이 (MIT AGI) - 상세 정리 Ilya Sutskever: OpenAI Meta-Learning and Self-Play | MIT Artificial General Intelligence (AGI) - YouTube

1. 도입

• 발표자: 일리야 수츠케버 (Ilya Sutskever), OpenAI 공동 창립자 겸 리서치 디렉터.
• 이력: 토론토대 (제프리 힌튼), 스탠포드대 (앤드류 응), DNN 리서치 공동 창립, 구글 브레인 리서치 사이언티스트, OpenAI 공동 창립.
• 영향력: 지난 5년간 피인용 46,000회 이상. 딥러닝과 AI 분야의 핵심적이고 창의적인 아이디어 주도.
• 주제: OpenAI에서 지난 1년간 수행한 메타 러닝 및 셀프 플레이 관련 연구.

2. 딥러닝이 작동하는 이유

• 핵심 질문: 딥러닝은 왜 작동하는가?
• 최단 프로그램 이론:
  • 데이터를 매우 잘 설명하는 가장 짧은 프로그램을 찾을 수 있다면, 최상의 일반화를 달성할 수 있음.
  • 이유: 데이터에서 생각할 수 있는 모든 규칙성을 프로그램으로 추출했기 때문.
  • 데이터가 너무 복잡해서 짧은 프로그램으로 표현할 수 없다면, 그 데이터는 무작위라는 의미.
• 문제점:
  • 최상의 짧은 프로그램을 찾는 것은 현재의 도구와 이해 수준으로는 계산적으로 다루기 불가능함.
  • 프로그램의 공간은 매우 다루기 힘듦. 작은 변화가 프로그램의 행동에 막대한 변화를 초래함.
• 대안: 작은 회로 (즉 심층 신경망):
  • 운 좋게도, 작은 회로의 경우 역전파를 사용해 최적의 회로를 찾을 수 있음.
  • 이것이 AI가 서 있는 기반이 되는 "기적적인 사실".
  • 역전파는 데이터를 사용해 회로에 제약을 가하고, 신경망의 가중치를 반복적으로 조금씩 변경하여 이러한 제약 조건을 만족시키는 방법을 찾음.
• 역전파의 본질: 회로 탐색:
  • 역전파가 푸는 계산 문제는 "극도로 심오한" 문제임.
  • 실용적인 데이터셋이 있는 경우, 최적의 신경망을 찾을 수 있음 (인공적으로 못 푸는 데이터셋을 만드는 것은 쉽지만, 실제로는 문제가 안 됨).
• 신경망 = 병렬 컴퓨터:
  • 50개 레이어의 신경망은 50 타임스텝을 실행하는 매우 강력한 대규모 병렬 컴퓨터와 같음.
  • 예시: n비트 숫자 n개를 정렬하는 문제.
    • 일반적인 병렬 단계는 log n 이 필요하다고 알려져 있음.
    • 하지만 적당한 크기의 신경망(2개의 은닉층, 임계값 뉴런 사용)으로는 단 2번의 병렬 단계만으로 정렬을 학습할 수 있음.
    • 50개의 레이어가 있다면 상당한 논리와 추론을 수행할 수 있음.
• 결론:
  • 심층 신경망이 작동하는 이유. 1. 최적화할 가치가 있는 모델 클래스임 (깊고, 내부에서 연산 가능). 1. 최적화가 가능함 (역전파를 통해).
  • 이 두 가지 제약 조건을 모두 만족시키기 때문에 모든 것이 작동함.

3. 강화 학습 (Reinforcement Learning, RL)

• RL 프레임워크: 복잡하고 확률적인 환경에서 에이전트가 목표를 달성하는 능력을 평가하는 체계.
• 목표: 기대 보상의 최대화.
• RL 프레임워크의 불완전성:
  • 기존 프레임워크는 환경이 보상을 준다고 가정함.
  • 현실 세계: 우리는 관찰로부터 보상을 스스로 파악함. 환경이 "여기 부정적 보상이야"라고 말해주지 않음. 우리의 감각에 대한 해석이 보상을 결정함.
  • 삶의 유일한 진정한 보상은 존재 또는 비존재이며, 나머지는 모두 그에 따른 결과물임.
• 에이전트: 당연히 신경망 (관찰을 행동으로 매핑).
• 모델-프리 RL의 작동 원리 (핵심 아이디어):
  1. 새로운 것을 시도함 (무작위성 추가).
  2. 결과를 기대치와 비교함.
  3. 결과가 기대치를 초과하면 (놀라게 하면), 미래에 그 행동을 더 많이 하도록 파라미터를 변경함. - 이것이 RL의 전체 아이디어임: "시도해보고, 마음에 들면, 미래에 더 많이 한다".
• 지도 학습(SL)과의 비교:
  • SL: 신경망 실행 -> 답을 얻음 -> 원하는 답과 비교 -> 차이점을 역전파.
  • RL: 신경망 실행 -> 행동에 무작위성 추가 -> 결과가 마음에 들면 -> 그 무작위성이 '원하는 타겟'으로 변함.
• RL 알고리즘의 두 종류:
  1. 정책 그래디언트:
     • 기대 보상의 미분을 계산함.
     • 수학적 결과가 직관적 설명과 정확히 일치함: "어떤 행동을 시도하고, 결과가 마음에 들면, 그 행동의 로그 확률을 높여라".
     • (On-Policy 방식)
  2. Q-러닝 기반:
     • 설명하기 조금 더 어려움.
     • 덜 안정적이지만, 샘플 효율성이 더 높음.
     • 액터가 생성한 데이터뿐만 아니라 다른 어떤 데이터로부터도 학습 가능.
     • (Off-Policy 방식).

4. 강화 학습의 잠재력

• 현재: 이미 유용함. 특히 시뮬레이션이 잘 되어 있다면.
• 미래 (진짜 흥분되는 점): 아주 적은 양의 데이터에서 "모든 엔트로피"를 추출하여 가장 빠른 방법으로 학습하는, 놀랍도록 샘플 효율적인 RL 알고리즘을 구축하는 것.
• 현재 한계: 오늘날의 알고리즘은 데이터 비효율적임. 하지만 분야가 발전하면서 바뀔 것임.

5. 메타 러닝

• 개념: "실제로는 잘 작동하지 않지만, 어느 정도는 작동하며, 매우 유망한 아름다운 아이디어". 학습 알고리즘을 사용해 "학습하는 방법을 학습".
• 작동 방식:
  • 하나의 태스크가 아닌 많은 태스크에 대해 시스템을 훈련시킴.
  • 새로운 태스크를 빠르게 해결하도록 학습시킴.
• 전통적인 방법:
  • "훈련 태스크"를 거대한 신경망의 "훈련 케이스"로 취급.
  • 입력: 테스트 태스크에 대한 모든 정보 + 현재 테스트 케이스.
  • 신경망이 주어진 예시(e.g., 10개)를 가장 잘 활용하는 방법을 스스로 파악하게 함.
  • "신경망을 학습 알고리즘으로 변환"하는 것.
• 성공 사례:
  1. 필기체 문자 빠르게 인식하기 (Lake 등이 만든 MIT 데이터셋).
  2. 신경망 아키텍처 탐색 (Neural Architecture Search) (구글): 작은 문제에서 잘 작동하는 아키텍처를 찾아 큰 문제로 일반화함. (아키텍처나 작은 프로그램을 학습하는 방식).
• 핵심 요약: 훈련 태스크를 훈련 케이스로 바꾸고, 일반적인 딥러닝 문제인 척하는 것. 이것이 메타 러닝의 전부임.

6. 사후 경험 재현 (Hindsight Experience Replay, HER)

• 목표: 하나의 태스크가 아닌 많은 태스크를 풀고, 경험을 훨씬 효율적으로 사용하는 RL 알고리즘 개발.
• RL의 문제점: 탐험
  • 학습하려면 보상을 받아야 함.
  • 실패로부터 어떻게 의미 있는 이익을 얻을 수 있는가?
• HER의 아이디어:
  1. 단일 목표 대신, 매우 큰 목표군 (e.g., 시스템의 모든 상태에 도달)을 달성하는 정책을 학습.
  2. 상태 A를 달성하려 시도했는데, 결국 상태 B에 도달했다고 가정.
  3. "실망스럽다"고 결론 내리는 대신,
  4. "잠깐, 나 방금 B라는 완벽히 좋은 상태에 도달했잖아. A를 달성하려던 시도로부터 B를 달성하는 방법을 배울 수 있을까?"라고 질문.
  5. 답은 '예'임.
• 기술적 세부 사항:
  • 이 아이디어는 off-policy 학습 (e.g., Q-러닝)을 필요로 함.
  • 이유: (A를 목표로 할 때) B에 도달하기 위해 취한 행동은, (B를 목표로 할 때) 취했을 행동과 다르기 때문.
• 장점:
  • 시스템이 항상 무언가를 배움. 성공뿐만 아니라 실패로부터도.
  • "다른 무언가"를 달성하는 방법에 대한 훈련 데이터를 확보하게 됨.
• 희소한 보상 문제 극복:
  • 기존 RL은 최종 상태에서만 보상을 받는 '희소한 보상' 문제에 취약함. 보상을 못 받으면 학습도 없음.
  • HER은 이 문제가 발생하지 않음. 모든 시도(실패 포함)가 학습 신호를 생성하기 때문 (실제로 도달한 상태에 대한).
• 결론: HER은 모든 데이터를 활용한다는 점에서 "방향적으로 옳음(directionally correct)".
• 남은 질문: "높은 수준의 상태", 즉 목표는 어디에서 오는가? 현재는 낮은 수준의 상태를 사용함. 달성할 가치가 있는 "올바른 목표의 상태 공간"을 찾기 위해 표현 학습과 비지도 학습이 매우 중요해질 것임.

7. 메타 러닝 응용 1: Sim-to-Real

• 목표: 시뮬레이션에서 정책을 훈련시켜 실제 로봇으로 이전.
• 문제: 시뮬레이터는 절대 현실 세계와 완벽히 일치할 수 없음. 특히 마찰과 접촉 시뮬레이션은 매우 어려움 (NP-complete라는 말도 있음).
• 아이디어 (도메인 무작위화, Domain Randomization):
  1. 실제 세계에 빠르게 적응할 수 있는 정책을 학습.
  2. 하나의 시뮬레이터 대신, 물리 법칙(마찰, 질량, 길이 등)을 무작위화한 수많은 시뮬레이터에서 훈련.
  3. 중요: 정책에게 어떻게 무작위화되었는지 알려주지 않음.
  4. 정책은 환경의 반응을 보며 마찰 등이 어떠한지 추론하고 적응하는 법을 스스로 학습해야 함.
• 결과 (데모):
  • 무작위화 없이 훈련된 정책: 실제 로봇에서 실패함. 기본 동작도 어려워함.
  • 무작위화 후 훈련된 정책 (순환 신경망 사용): 시뮬레이터의 속성을 빠르게 추론하여 실제 로봇에서 훨씬 잘 작동함. 퍽(puck)을 목표 지점으로 부드럽게 수정하며 옮김.
• 결론: 시뮬레이터를 충분히 무작위화할 수만 있다면 매우 유망한 기술.

8. 메타 러닝 응용 2: 행동의 계층 학습

• 목표: RL을 계층적으로 만들기. 미세한 행동 대신 서브루틴이나 행동 원시(action primitives)를 사용.
• 문제: 아직 아무도 계층적 RL(HRL)에서 "진짜 부가 가치"를 얻어내지 못함. 모든 인상적인 RL 결과는 HRL을 사용하지 않음. 아직 올바른 방법을 못 찾음.
• 아이디어 (메타 러닝 활용):
  1. 여러 개의 하위 레벨 원시를 설정 (e.g., 10개).
  2. 태스크의 분포를 준비.
  3. 메타 목표: 짧은 RL 실행 시간 동안 사용되었을 때, "가능한 가장 큰 진전(greatest amount of progress)"을 이루는 원시를 학습.
• 예시: 미로 환경에서, 고정된 방향으로 움직이는 3가지 정책(원시)을 학습함.
• 결론: 이 계층 구조 덕분에 문제를 매우 빠르게 풀 수 있음. 하지만 이는 계층 구조가 해당 문제에 올바를 때만 작동함. HRL은 여전히 진행 중인 연구임.

9. 메타 러닝의 한계

• 명확한 한계: 훈련 태스크의 분포와 테스트 태스크의 분포가 같아야 함.
• 문제점: 현실에서 새로운 태스크는 종종 근본적으로 다름 (e.g., 학교에서 배운 것 vs. 직장에서 하는 일). 메타 러닝은 이에 취약함.
• 미래: 이러한 분포 변화에 강건한 알고리즘이 개발되면 메타 러닝이 더 잘 작동할 것임.

10. 셀프 플레이

• 역사: TD-Gammon (1992년).
  • 두 신경망이 서로 백개먼을 두며 훈련함. 매우 현대적인 접근 방식.
  • 가장 큰 신경망(은닉 유닛 80개)이 가장 성능이 좋았음.
  • 세계 챔피언을 이기고, 인간 최고수들도 몰랐던 새롭고 더 나은 전략을 발견함. (DQN 전까지 휴면 상태)
• 현대 사례: AlphaGo Zero (외부 데이터 없이 바둑 학습), OpenAI Dota 2 봇 (1v1 세계 챔피언 격파).
• 셀프 플레이의 매력:
  1. "태스크가 무엇인가?" 문제를 해결: 에이전트들이 서로에게 환경이자 어려움이 됨.
  2. 군비 경쟁: 이구아나와 뱀의 관계처럼, 끝없이 발전을 자극함 (생물학적 진화와 유사).
• OpenAI 휴머노이드 레슬링:
  • 목표: 서로를 링 밖으로 밀어내기. (레슬링, 균형 등에 대한 지식 없음).
  • 핵심 장점: 항상 나와 비슷한 수준의 상대가 있음.
  • 학습을 위해서는 때론 이기고 때론 져야 함. 셀프 플레이는 "정확히 적절한 수준의 도전"을 제공함.
  • 전이 학습 시연:
    • 레슬링으로 훈련된 휴머노이드는 상대방(친구)이 사라진 후, 외부에서 가해지는 큰 무작위 힘에도 균형을 유지함.
    • 이유: 상대로부터 밀쳐지는 훈련을 받았기 때문.
• 남은 질문: 셀프 플레이 환경의 에이전트가 우리가 유용하다고 외부에서 지정한 태스크를 풀게 하려면 어떻게 해야 하는가?
• Dota 봇 관찰: 역량의 매우 빠른 증가 (완전 무작위 -> 5개월 만에 세계 챔피언 수준).
• 핵심 통찰: 셀프 플레이는 연산을 데이터로 바꾼다.
  • 신경망 프로세서가 저렴해짐에 따라, 이 "새롭게 발견된 풍부한 사이클"을 활용하는 것이 매우 중요해질 것임.
• 셀프 플레이의 최종 단계 - 추측:
  • 지난 200만 년간 인간의 뇌 크기가 빠르게 증가함.
  • 이론: 생존에 가장 중요한 것이 호랑이나 사자가 아니라, 부족 내에서의 지위가 되었기 때문. 다른 큰 뇌(인간)를 상대하는 것이 더 큰 뇌를 갖는 데 도움이 됨. (사회적 유인원과 새의 수렴 진화가 이를 뒷받침).
  • 예측: 이 접근법이 성공한다면, 언어, 마음 이론, 협상, 사회적 기술, 경제, 정치, 사법 시스템 등을 갖춘 에이전트들의 사회가 만들어질 것임. (정렬 문제도 발생).

11. 역량의 급격한 증가 (추측)

• 만약 (1) '에이전트 사회'가 완전한 범용 지능(AGI)이 나타날 그럴듯한 장소라고 믿고, (2) Dota 봇에서 본 '역량의 급격한 증가'가 세부 사항이 모두 갖춰지면 이월될 것이라고 받아들인다면...
• 결론: 이 에이전트 사회에서 에이전트 역량의 매우 급격한 증가를 보게 될 것임.

12. 에이전트에게 목표 전달하기 (정렬 문제)

• 에이전트가 결국 우리보다 훨씬 똑똑해질 것이기 때문에, 목표를 전달하는 것은 중요한 기술적 문제임. (OpenAI 안전팀, 폴 크리스티아노 등의 연구).
• 방법: 인간의 선호도로부터 학습 (Learning from Human Preferences):
  1. 인간에게 두 가지 행동 쌍을 보여줌.
  2. 인간이 더 나아 보이는 것을 클릭함.
  3. 데모: 시뮬레이션된 다리가 약 500번의 클릭으로 백플립을 배움.
• 작동 원리:
  • 환경 상호작용이 아닌, 보상 측면에서 데이터 효율적임.
  • 인간의 클릭을 만족시키는 수치적인 보상 함수를 맞춤.
  • 이 보상 함수를 RL로 최적화함.
• 사례: 아타리 게임 (수천 비트 정보 사용), 주황색 차를 바로 뒤따라가도록 운전하는 차 (특이한 목표).
• 결론:
  • 정렬(Alignment)은 해결해야 할 기술적 문제임.
  • 시스템이 가져야 할 올바른 목표를 결정하는 것은 매우 도전적인 정치적 문제임.

13. Q&A 세션 (42:37 - 끝)

• Q: 뇌는 역전파(BP)를 하는가? (뇌 신호는 한 방향, BP는 양방향)
  • A (일리야): 솔직히 "모른다".
  • 의견:
    1. BP는 근본적인 문제인 "회로 탐색"을 해결하므로 사라지지 않을 것.
    2. 뇌가 BP를 한다는 명백한 증거는 없지만, (e.g., 팀 릴리크랩의 연구처럼) 역방향 연결을 학습할 수 있다는 제안은 있었음. (연구자들은 그냥 TF 쓰면 되니까 신경 안 씀).
    3. 개인적 믿음: 우리는 뇌가 어떻게 작동하는지 이해하기 전에 AGI를 먼저 만들 것이며, BP는 끝까지 남을 것임.
• Q: Dota 봇 대결은 공정했는가? (반응 시간 등)
  • A: 컴퓨터가 반응 시간 우위는 있지만, Dota는 스타크래프트보다 클릭 수가 적어 기계적 부담이 덜함. 물론 정밀도는 중요함. 결국 모든 도메인에서 컴퓨터가 우위를 가질 것임.
• Q: 봇의 새로운 행동은 제약 조건이 유도한 것인가, 진짜 새로운 발견인가?
  • A: 분명히 새로운 전략을 발견함.
  • 일화: OpenAI 테스터가 봇의 전략을 모방하여 자신보다 더 잘하는 프로 선수를 이김. 봇이 발견한 전략은 실제적이며 혁신적임.
• Q: RL이 보상의 평균(기대값)만 보는데, 표준 편차도 봐야 하지 않나?
  • A: 응용에 따라 다름.
  • 기대 보상을 최대화하는 이유: 알고리즘 설계가 더 쉽기 때문 (수식이 깔끔하게 나옴).
  • 실수를 절대 하면 안 되는 분야에서는 표준 편차 작업이 필요할 수 있음. 하지만 기대 보상만으로도 대부분의 상황이 커버됨.
• Q: 경쟁적 셀프 플레이 말고, 협력적 셀프 플레이는 어떤가? (인간의 동기는 협력)
  • A: 좋은 질문. '협력의 진화(evolution of cooperation)'에서 영감을 얻을 수 있음.
  • 우리가 협력하는 이유: 궁극적으로 개인에게 그편이 더 낫기 때문.
  • 충분히 개방형 게임이라면, 협력이 승리하는 전략이 될 것임. 우리가 좋든 싫든 협력을 얻게 될 것.
• Q: (마찰 같은) 복잡도 이론 문제가 AI에 관련이 있는가?
  • A:
    1. 우리가 실행하는 알고리즘은 효율적이어야 하므로, 우리가 푸는 문제는 (복잡도 이론상) 정의상 "너무 어렵지 않은" 문제임.
    2. 하지만 우리가 알고리즘에 제기하는 많은 최적화 문제(e.g., 신경망 최적화 자체)는 일반적인 경우 다루기 불가능(NP-complete)함.
    3. 어떻게 피하는가? 그냥 경사 하강법을 시도하고, "어쩐지 그냥 작동함".
• Q: 생성형 언어 모델이 "형편없다(abysmal)". 발전 경로는?
  • A:
    1. 언어 문제가 아직 해결 안 된 것 맞지만, 진전은 있음.
    2. 스케일 업: 기존 모델을 더 크고 깊게 (e.g., 1000 레이어) 만들면 "놀라울 정도로 멀리" 갈 것임.
    3. 근본적인 무언가가 빠져있음. "명백히 잘못된(patently wrong)" 점은, 모델을 훈련한 뒤 멈추고 고정시킨다는 것.
    4. 진짜 일반적인 부분은 '훈련 과정' 그 자체임 (TF 코드는 어떤 데이터셋이든 상관없이 최적화함).
    5. 우리는 이 '마법'을 '테스트 타임'에 사용하고 있지 않음.
    6. 스케일 업 + 테스트 타임/추론 시 훈련이 중요한 성능 향상을 가져올 것.
• Q: RL에 진화 전략을 쓰는 것은 어떤가?
  • A: 현재로서는 RL에 별로임. 일반 RL 알고리즘이 더 나음 (특히 큰 정책에서).
  • 아마도 코드 조각처럼 작고 컴팩트한 객체를 진화시키는 데는 유용할 수 있음. 하지만 아직 성공 사례는 없음.
• Q: "올바른 목표"가 "정치적 문제"라는 것을 부연 설명해달라.
  • A: (OpenAI 내 전담 인력이 있어) 자세히 말하긴 어려움.
  • 높은 수준에서: 인간보다 모든 것을 더 잘하는 컴퓨터를 만들게 되면 (뇌는 물리적이므로 반드시 일어날 일), 사회에 미치는 영향은 압도적이고 거대할 것. (자율주행차, 자동화 등에서 보듯) 많은 사람이 강력하게 신경 쓸 것임.
• Q: AGI를 위해 완벽한 물리 시뮬레이션이 필요한가?
  • A: 만약 그렇다면 우린 곤경에 처했을 것. "그럴 필요가 없다고 매우 확신함".
  • 진짜 답: 시뮬레이션에서 유용한 교훈을 배우지만, 현실 세계로 나오면 어느 정도는 다시 시작해야 함. (가정이 틀릴 것이므로).
  • 이것이 "훈련을 절대 멈추지 않는 것"에 그가 신경 쓰는 이유. 새 데이터를 기존 지식과 연결해야 함.
  • 비유: 학교 vs. 직장. CS 학위가 직장 일을 완벽히 준비시키진 않지만, "출발선에 서는 데" 도움을 줌. 직장에서 새것을 배워야 함.
• Q: RL은 스스로 조직화하지 못하고 외부 보상이 필요한데, 어떻게 발전해야 하나?
  • A: 다른 에이전트를 관찰함으로써 그들의 목표와 전략을 추론할 수 있어야 함.
  • 한 에이전트가 멋진 일을 하면, 다른 에이전트가 "나도 저거 하고 싶다"고 할 수 있어야 함.
  • 상대의 보상을 추론하고, 그것을 모방하려 시도함. (다른 인간을 모방하는 이 능력/규모가 인간과 동물의 큰 차이점임).
• Q: (후속 질문) 이것이 비경쟁적 환경 (e.g., 수학 수업)에서는 어떻게 작동하는가?
  • A: 경쟁과 분리된 듯 보이지만, 시스템에 내재되어야 함.
  • 다른 에이전트가 데이터를 생성하면, 그 데이터를 이해하는 유일한 방법은 그들의 목표, 전략, 신념 상태를 추론하는 것.
  • 이는 성공적인 의사소통을 위해서도 필수적임 (상대의 목표와 신념 상태 추적).
  • 타인 이해, 목표 추론, 모방, 의사소통은 모두 연결되어 있음.