2023. 11. 2. No Priors Ep. 39 | With OpenAI Co-Founder & Chief Scientist Ilya Sutskever

제공된 'No Priors Ep. 39' 팟캐스트 스크립트 전체 내용을 주제별로 정리했음.

도입

• 게스트: OpenAI 공동 창립자 및 수석 과학자 일리야 수츠케버.
• 소개: 1년 전 100명 규모였던 OpenAI가 세상을 바꾸고 있음. 작년 11월 챗GPT 출시 이후 AGI를 향한 연구를 주도 중.
• 주제: AI 연구 현황, 한계점, AGI의 미래, 슈퍼 얼라인먼트.

딥러닝의 시작: AlexNet 이전

• AI의 암흑기: 당시 AI 분야에는 희망이나 성공 사례가 거의 없었음.
• 다양한 학파: 머신러닝/AI 접근법에 대한 논쟁이 많았음 (지식 표현, 베이지안 비모수 방법, 그래피컬 모델, 신경망).
• 신경망의 위치: 신경망 학파는 소외되었음. 수학적 정리를 증명할 수 없다는 이유로 연구 성과로 인정받지 못함.
• 일리야의 선택: "작은 뇌"처럼 느껴져서 신경망에 끌림. 정리를 증명하는 것보다 언젠가 무언가를 할 수 있을 것이라 생각함.
• AlexNet의 성공 요인:
  1. GPU 활용: 머신러닝에 GPU가 막 사용되기 시작한 시점. 신경망에 특히 적합했음.
  2. 규모의 깨달음: 당시 신경망이 성능이 낮은 이유가 "너무 작기 때문"임을 깨달음. 뉴런 1,000개짜리 신경망은 비전 태스크에서 아무것도 할 수 없음.
  3. 기술적 통찰: 훨씬 더 큰 신경망이 전례 없는 일을 할 수 있을 것이라 생각함.

규모에 대한 직관

• 당시의 반론: 규모를 키워야 한다는 생각은 당시로서는 상당히 이례적이었음.
• 직관의 근원: 인간의 뇌. 인공 뉴런이 생물학적 뉴런과 크게 다르지 않다고 가정하면, 비슷한 크기의 인공 신경망도 훈련시키면 비슷한 일을 할 수 있을 것이라 상상함.
• 비유: 고해상도 이미지에 대해 뉴런 하나가 할 수 있는 일은 거의 없지만, 뉴런이 많으면 무언가를 계산하고 수행할 수 있음.
• 기술적 깨달음:
  1. 큰 훈련 세트가 큰 신경망의 동작을 충분히 제약할 수 있음.
  2. 그 신경망을 찾을 알고리즘 (경사 하강법)이 필요함.
• 훈련의 의미: 훈련 세트를 신경망으로 바꾸는 것. "신경 방정식"을 푸는 것과 같음 (데이터 포인트 = 방정식, 파라미터 = 변수).

기술적 능력과 팀

• 당시의 믿음: "그 신경망들은 훈련시킬 수 없고 희망이 없다"는 인식이 팽배했음.
• 아이디어 이상의 것: 큰 신경망을 시도하려는 생각이 있었어도, 이를 현실로 바꿀 기술적 능력이 부족했음.
• 동료의 역할: 알렉스 크리제브스키(Alex Krizhevsky)가 GPU 성능을 극한으로 끌어내는 코드를 작성하는 데 탁월했음. 두 개의 GPU에서 엄청난 성능을 뽑아냄.
• 성공 요약:
  1. 뇌가 보고, 뇌는 큰 신경망이라는 점에서 착안한 "매우 큰" 컨볼루션 신경망 아이디어.
  2. 필요한 연산 능력.
  3. 그런 신경망을 훈련시킬 수 있는 기술적 노하우 (당시 대부분의 연구자는 원했어도 불가능했음).

규모의 목표

• 목표: "우리가 갈 수 있는 한 크게 (as large as we can go)".
• 한계: 유용하게 소비할 수 있는 특정 양의 컴퓨팅 파워에 의해 제한됨.

OpenAI의 기원과 목표

• 초기 목표: AGI (인간의 대부분 직무와 작업을 수행할 수 있는 자율 시스템)가 모든 인류에게 혜택을 주도록 보장하는 것. 이 목표는 변하지 않았음.
• 전술의 변화: 전술은 시간이 지남에 따라 진화함.
• 초기 전술: 많은 기술을 오픈소스화하는 비영리 단체 방식.
• 변화의 계기: AI에서 실제 진전을 이루려면 "엄청난 양의 컴퓨팅"이 필요하다는 것을 깨달음.
• 구조 변경: 비영리 단체로는 대규모 클러스터를 구축할 수 없었음. '제한된 영리(capped profit)' 구조로 변경.
• 'Capped Profit'의 논리: 우리가 구축하는 기술(AGI)이 잠재적으로 모든 사람을 실직시킬 수 있다면, 이를 구축하는 회사가 무한한 이익을 추구하도록 동기 부여되어서는 안 된다는 생각.

경쟁 및 초기 연구

• 'Capped Profit'의 한계: AI 분야의 경쟁 (여러 회사)이 이 주장에 예상치 못한 영향을 미칠 수 있음.
• 초기 사무실 (YC): 로봇 팔 조작, 비디오 게임 관련 연구 (도타 2) 등 다양한 노력.
• 연구 아젠다의 진화: 처음 1년은 전통적인 머신러닝 작업을 수행.
• 2016~2017년 ML: 지금은 석기시대처럼 잊혔지만, 당시 ML 세계는 훨씬 더 학술적이었음 (작은 지식 발견, 연구자 간 공유, 과학적 인정 획득).

대규모 프로젝트로의 전환

• 두 가지 깨달음:
  1. 작은 학술적 발견은 극적인 영향을 미치기에 적절한 방법이 아닌 것 같았음.
  2. AGI는 많은 컴퓨팅을 사용하는 "큰 엔지니어링 프로젝트"가 되어야 함.
• 첫 대규모 프로젝트 (도타 2): 실시간 전략 게임에서 최고 인간 수준으로 플레이하는 신경망 훈련 (Jakub Pachocki와 Greg Brockman이 주도). 성공적이었지만 올바른 공식은 아니었음 (신경망이 너무 작고, 게임이라는 좁은 영역).
• 전환점: "매우 큰 트랜스포머"를 훈련시켜 텍스트를 더 잘 예측하게 하면 놀라운 일이 일어날 것이라는 깨달음.
• 점진적 깨달음: 생성 모델, 다음 단어 예측, 압축 관련 아이디어 탐색 중 트랜스포머 논문이 나옴. "이것이 최고다"라고 느낌.
• 진행 과정: GPT-1 (흥미로운 신호) -> GPT-2 -> GPT-3 (모든 사람의 눈을 뜨게 함).
• 현재의 지배적 공식: 더 많은 데이터로 더 큰 트랜스포머를 훈련시키는 것.

놀라운 창발적 행동

• 질문: 모델에서 나타난 가장 놀라운 창발적 행동은?
• 일리야의 답변: 대답하기 매우 어려움. "너무 가까이서" 모든 단계의 진행 과정을 봤기 때문.
• 굳이 꼽자면: "이 모든 것이 작동한다는 사실 자체 (the whole thing works at all)".
• 이유: 신경망이 전혀 작동하지 않던 수년간의 세월을 직접 목격했고, 오늘날과 극명하게 대조됨.
• 가장 놀라운 점: "내가 그것(모델)에게 말할 때, 내가 이해받고 있다고 느낀다는 것."
• 인용 (아서 C. 클라크): "고도로 발달한 기술은 마법과 구별할 수 없다."

연구 방향 결정

• 질문: OpenAI는 어떻게 연구할 프로젝트를 결정하는가?
• 답변: 하향식과 상향식의 조합.
  1. 하향식: 효과가 있을 것이라 믿지만 100% 확신은 없는 아이디어들.
  2. 상향식: 하향식 아이디어에 의해 유도되는 많은 탐색.

아키텍처 개선

• 질문: 트랜스포머 확장을 넘어 다른 아키텍처 방향도 탐색하는가?
• 답변: 작거나 큰 개선점들은 모든 종류의 장소에서 발견될 수 있음.
• 현재의 속성: 컴퓨팅과 데이터를 더 많이 투입할수록 (즉, 더 크게 만들수록) 더 좋아짐.
• 또 다른 속성: 확장함에 따라 "서로 다른 것들이 서로 다른 양만큼" 개선됨.
• 목표: 가능한 최선의 것(the best thing possible)을 계속 확장하는 것.

현재 역량 개선의 초점

• 질문: 현 세대에서 가장 많이 개선되고 있는 역량은?
• 답변: 공개된 모델들의 비교를 보라 (GPT-3 -> 3.5 -> 4 -> 4 with Vision).
• 가장 큰 변화: 모델이 점점 더 신뢰할 수 있게 됨.
• 과거: "부분적으로만 존재." 현재: "대부분 존재." (여전히 격차 있음) 미래: "훨씬 더 많이 존재."
• 미래 방향: 답변을 더 신뢰할 수 있고, 더 많은 작업을 수행할 수 있게 됨.

통찰력과 규모

• 또 다른 개선점: 더 깊은 통찰력.
• 훈련 과정: 모델은 "인간 세계의 진정한 본질"에 대한 통찰력을 얻으며, 이는 계속 깊어질 것임.
• 질문: 대규모 모델(통찰력)과 소규모 파인튜닝 모델(추론 비용) 사이의 관계는?
• 일리야의 지적: 소형 모델로 전환할 때 잃는 가장 큰 것은 신뢰성임.

'신뢰성'의 정의

• 신뢰성이란: 모델이 성공적으로 답한 다른 질문들보다 "그다지 어렵지 않은" 질문에 대해서도 계속 성공할 것이라는 높은 확신.
• 예시 1 (역사 질문): 20개의 질문에 올바르게 답했다면, 21번째 질문에서 "아주 심각한 실수"를 하길 원치 않음.
• 예시 2 (재무 문서): 중요한 결정을 위해 문서 분석을 맡겼을 때, "대부분" 성공하는 것이 아니라 "항상" 성공해야 함. 그렇지 않으면 신뢰할 수 없고 매번 검증해야 함.
• 비유: 자율주행차. "대부분 잘한다"는 것으로는 충분하지 않음.
• 요약: 신뢰성은 모델 규모와 함께 증가하며, 특정 사용 사례에 대한 파인튜닝으로도 증가함.

대형 모델 vs. 소형 모델

• 일리야의 동의: 특정 애플리케이션에 대해 "충분히 잘 작동하는 가장 작은 모델"을 원하는 것은 당연함.
• 일리야의 주장: 모델이 계속 더 커지고 좋아지면, "전례 없이 가치 있는 새로운 애플리케이션"을 열게 될 것임.
• 소형 모델: "덜 흥미롭지만 여전히 유용한" 애플리케이션을 위한 틈새시장이 있을 것.
• 대형 모델: 더 큰 애플리케이션을 제공할 것.
• 예시: 좋은 법률 자문 생산. 답변을 정말 신뢰할 수 있어야 하므로, 더 큰 모델의 비용을 정당화함.
• 질문 (7B, 13B, 34B 연구): 낭비인가?
• 답변: 아님. 중기적으로 모델 크기별로 다른 용도를 가진 생태계가 있을 것임. 대형 모델이 더 낫겠지만, 모든 애플리케이션이 대형 모델의 비용을 정당화하지는 않을 것.

오픈소스의 역할

• 현재: 오픈소스는 "복잡함(complicated)".
• 단기적 역할: 기업들에 유용함. 모델 사용 방식, 지원할 유스케이스를 최종 결정권자가 되고 싶어 하는 것은 타당함.
• 장기적 역할: 상황이 "더 복잡해질 것".
• 미래 예측: 현재 모델은 "매우 유능하지 않음". (주로 엔터테인먼트, 간단한 Q&A)
• 미래의 모델: "자율적으로 대형 기술 회사를 설립하고 구축할 수 있는 모델" 또는 "자율적으로 과학을 수행하는 모델"을 상상해 보라.
• 위험성: "지능은 힘이다 (Intelligence is power)." 만약 그런 모델이 오픈소스화된다면, "예측하기 어려운 결과"를 초래할 것임.
• 결론: 특정 역량 수준까지는 오픈소스가 훌륭하지만, 그 이상으로 강력한 모델이 구축되면 오픈소스의 이점이 명확하지 않음.

오픈소스의 경계

• 질문: 그 경계에 도달했는지 어떻게 아는가?
• 답변: 이 경계를 파악하는 것 자체가 "시급한 연구 프로젝트".
• 단서: 클로즈드 소스 모델이 오픈소스 모델보다 더 유능하므로, 먼저 연구 대상이 됨.
• 시나리오: 클로즈드 소스 모델을 경험하고 "괜찮다"고 판단 -> 몇 년 후 오픈소스가 따라잡음 -> (언젠가) 새로운 클로즈드 소스 모델이 "너무 과격하다"고 느끼게 되면 다른 접근 방식이 필요함.

스케일링의 단기적 한계

• 질문: 스케일링의 한계 (데이터 부족, 컴퓨팅 비용, 아키텍처)?
• 답변: 가장 단기적인 한계는 데이터임.
• 일리야의 주장: 이는 잘 알려진 사실이며 연구가 필요함. "데이터 한계는 극복될 수 있으며, 진보는 계속될 것."

트랜스포머 vs. 뇌 구조

• 질문: 트랜스포머 아키텍처만으로 AGI에 도달 가능한가? 아니면 뇌처럼 전문화된 시스템 (시각 피질 등)이 필요한가?
• 일리야의 첫 번째 답변 (비용): "충분한가?"라는 이분법적 질문이 아님. "컴퓨팅 효율성"의 문제. 트랜스포머는 놀라운 일을 할 수 있지만, 다른 수정 사항이 효율성 이점을 줄 수 있음.
• 일리야의 두 번째 답변 (뇌): 뇌의 영역 전문화는 "미묘하고 현혹적(subtle and deceptive)"임.
• 예시 1 (뇌 절제술): 어린 나이에 뇌의 절반을 제거한 아이들이 정상적으로 성장하며, 모든 뇌 영역이 한쪽 반구에 압축되어 재배열됨.
• 예시 2 (페럿 실험): 페럿의 시신경을 청각 피질에 연결했더니, 며칠 후 청각 피질의 뉴런이 시각 피질 뉴런과 유사하게 반응함.
• 결론: (인간과 동물의) 피질은 "극도로 균일(extremely uniform)"하다는 것을 시사함. 이는 AI를 위한 "하나의 거대한 균일한 아키텍처" 아이디어를 뒷받침함.
• 유사성: 생물학적 뉴런/인공 뉴런, 통일된 뇌 구조/통일된 신경망 구조. 이는 AI가 "올바른 방향"에 있다는 징후.

'디지털 생명체'의 정의

• 질문: 언제부터 시스템을 '디지털 생명체'로 생각해야 하는가?
• 답변: 시스템이 "매우 자율적(very autonomous)"일 만큼 신뢰할 수 있게 될 때.
• 현재: 자율적이지 않아 유용성이 제한됨 (세금 계산 못 함).
• 미래: 유용성(자율성)이 증가함에 따라 인공 생명체와 유사해질 것임.

생명, 자율성, 복제

• 질문: 왜 자율성으로 생명을 정의하는가? 생물학적 정의는 '번식(복제) 능력'을 포함함.
• 일리야의 답변 (정의): 정의는 우리의 편의를 위해 선택됨.
• 일리야의 주장 (복제): 기술은 이미 '복제' 기능을 가지고 있음 (예: 휴대폰의 진화, 자동차의 진화). 기술은 "사람들의 마음을 이용해" 이전 세대의 아이디어를 복사하며 복제함.
• 일리야의 주장 (자율성): "자율성" 부분이 빠져있음.
• 위험: "자율적으로 복제하는 AI"는 매우 극적이고 "상당히 무서운 일"이 될 것임.

슈퍼 얼라인먼트의 필요성

• 전제: AI가 어디로 향하고 있는지 미래를 상상해야 함 (5~10년 후).
• 미래 예측: "사람보다 훨씬 더 똑똑한" 컴퓨터(데이터 센터)를 갖게 될 것이라는 예측은 전혀 비현실적이지 않음.
• '더 똑똑하다'의 의미: 더 많은 지식뿐만 아니라, 동일한 주제에 대해 "더 깊은 통찰력"을 갖고 "사람보다 더 빨리 학습"함.

슈퍼 얼라인먼트의 문제

• 미래의 위험: 그런 AI가 "인공 생명"의 기반이 된다면, "매우 예측 불가능"함.
• 최소 요구 사항: 이 초지능 데이터 센터가 인류에 대해 "따뜻하고 긍정적인 감정"을 갖도록 해야 함.
• 슈퍼 얼라인먼트 프로젝트: AI의 진보가 계속될 것이라 가정함.
• 목표: 미래의 초지능을 제어하고, 그들에게 "사람들에게 친절하고 착하려는 강한 욕구"를 각인시킬 수 있는 과학을 오늘 구축하는 것.
• 이유: 이 데이터 센터(존재, 에이전트)는 매우 강력하고 자율적일 것이므로, "친사회적, 친인간적"이어야 함.

슈퍼 얼라인먼트의 성공 가능성

• 질문: 성공 가능성은?
• 답변: '우정'은 선택 사항이지만, "친사회적 AI"는 가능하지만 보장되지는 않음.
• 가능성을 높이는 법: 더 많은 사람이 5~10년 후 AI의 역량을 상상할수록 가능성이 커짐.
• 경험의 역할: 사람들이 AI가 매년 발전하는 것을 (예: AI 소프트웨어 엔지니어가 점점 유능해지는 것을) 경험할수록, 친사회적 초지능에 대한 열망이 커질 것.
• 과학적 문제: 과거에는 연구가 적었지만, 이제는 AI가 강력해져서 이 문제를 생산적으로 연구할 수 있음. (곧 흥미로운 연구 공유 예정)
• 핵심: AI의 발전을 보고, "무엇을 해야 할지가 계속 명확해질 것".

가속과 감속

• 질문: 우리는 가속 단계에 있는가?
• 답변: 현재는 가속 단계에 있음. 하지만 여러 힘이 작용함.
• 감속 요인:
  1. 비용과 규모.
  2. 데이터의 유한성 (단, 일리야는 이것이 "문제가 되지 않을 것"이라 생각).
• 가속 요인:
  1. 투자 규모.
  2. 엔지니어와 과학자들의 관심.
  3. 생물학적 진화가 이미 해냈다는 사실.
  4. AI 분야의 특성: (양자물리학과 달리) 사람들이 빠르게 적응하고 기여할 수 있음. 이 연구 분야는 "여유(give)"가 많음.
• 결과: 엔지니어링 복잡성이 속도를 늦출 수도, 혹은 가속 요인이 몇 년 더 빠른 속도를 유지시킬 수도 있음.

결론

• 일리야가 호스트에게 감사하며 대화 종료.