2025. 7. 17. 전 OpenAI 과학자, "앞으로 무슨 일이 일어날지 전혀 모른다" 경고

내레이터 도입

• "당신이 정치에 관심을 갖지 않아도, 정치는 당신에게 관심을 가질 것이다"라는 인용구로 시작.
• 이 말을 AI에 동일하게 적용.
• OpenAI의 발명가, 일리야 수츠케버(Ilya Sutskever)가 토론토 대학 연설에서 다가오는 AI가 세상을 뒤흔들 수 있다는 심각한 우려를 표명했다고 소개.

일리야 수츠케버 연설

• 이례적인 시대: 지금은 AI 때문에 역사상 가장 이례적인 시대이므로, 이번 연설은 평범한 졸업 축사가 아닐 것이라고 말함.
• 학생과 일에 미치는 영향: 오늘날의 AI는 이미 학생이라는 것의 의미를 상당히 변화시켰음. 또한 알 수 없고 예측 불가능한 방식으로 일의 종류에도 영향을 미치기 시작했으며, 어떤 일은 더 빨리, 어떤 일은 더 늦게 영향을 받을 것임. 사람들은 어떤 기술이 유용하고, 어떤 것이 덜 유용할지 궁금해함.
• 현재와 미래의 도전: 현재의 도전 과제는 AI가 일과 경력에 미칠 영향이지만, 진짜 도전 과제는 "전례 없고 극단적"이라는 것. 미래의 AI는 오늘날과 매우 다를 것임.
• 현재 AI 능력과 한계: 우리는 컴퓨터와 대화할 수 있고, 컴퓨터도 우리에게 음성이나 코드로 응답함. 이는 과거에는 없던 새로운 일이며 "꽤 놀라운" 일임. 하지만 동시에 AI는 "매우 부족하고" 많은 것을 따라잡아야 함. 그럼에도 미래를 상상하게 할 만큼 "시사하는 바가 큼".
• 미래 AI 능력: 3년, 5년, 10년 등 미래 예측은 어렵지만, 몇 년 안에 AI는 "아마도 그다지 느리지 않게" 계속 발전할 것이라고 예측.
• 모든 것을 하는 AI: 언젠가 AI가 인간이 할 수 있는 모든 일, 즉 우리가 배울 수 있는 모든 것을 할 수 있는 날이 올 것임.
• 확신의 근거: 어떻게 확신하는가? 우리 모두 뇌를 가졌고, "뇌는 생물학적 컴퓨터"이기 때문. 따라서 "디지털 컴퓨터, 즉 디지털 뇌"도 같은 일을 할 수 있음.
• 거대한 질문: 컴퓨터가 우리의 모든 직업을 할 수 있게 되면 무슨 일이 일어날까? 이는 "극적인 질문"임.
• 가속화되는 진보: '우리'라는 집단은 이 AI를 무엇에 사용하고 싶어 할까? 더 많은 일, 경제 성장, R&D, AI 연구. 이는 적어도 한동안 진보의 속도를 "정말 극도로 빠르게" 만들 것임.
• 상상의 어려움: 이는 "극단적이고 상상할 수 없는" 일들임. 청중을 "정말 극단적이고 급진적인 미래"의 headspace로 끌어들이려 하지만, 감정적 수준에서 상상하고 내면화하기는 자신조차도 "매우 어렵다"고 함. 하지만 논리적으로는 일어날 가능성이 높다고 말함.
• 대처 방안: "당신이 정치에 관심을 갖지 않아도, 정치는 당신에게 관심을 가질 것이다"라는 말을 인용하며, AI에는 이것이 "몇 배로 더" 적용된다고 함.
• 직관 구축: 오늘날 최고의 AI를 사용하고 살펴보는 것만으로도 직관을 얻을 수 있음. 1, 2, 3년 후 AI가 계속 개선되면 직관은 더 강해지고, 지금 이야기하는 것들이 상상이 아닌 "훨씬 더 현실적인" 것이 될 것임.
• 보는 것의 힘: 어떤 에세이나 설명도 우리 "자신의 감각, 두 눈"으로 보는 것과 비교할 수 없음.
• 미래 AI의 도전: 미래의 "매우 똑똑한 초지능 AI"에 대해서는, 그들이 "다른 존재인 척하지 않고, 말하는 그대로인지" 확인하는 심오한 문제가 있을 것임 (매우 압축된 정보라고 언급).
• 가장 중요한 것: AI가 할 수 있는 일을 무시하지 않고 바라보는 것. 이를 통해 "AI가 제기할 거대한 도전을 극복하는 데 필요한 에너지"가 생성될 것임.
• 가장 큰 도전: AI는 "인류 역사상 가장 큰 도전"을 제기함. 이를 극복하는 것은 "가장 큰 보상"을 가져올 것임.
• 결론: 좋든 싫든 우리의 삶은 AI에 큰 영향을 받을 것. 그것을 주목하고 관심을 기울이며, 다가올 문제를 해결하기 위한 에너지를 생성하는 것이 "가장 중요한 일"이 될 것임.

내레이터 연결

• "완전한 토론"과 "AI의 더 광범위한 영향"을 이해하기 위해 에릭 슈미트(Eric Schmidt)의 인터뷰 클립을 소개.

에릭 슈미트 인터뷰 (1부)

• 1년 내 예측 (프로그래머 & 수학): 업계의 믿음: 향후 1년 내 "프로그래머의 대다수"가 AI 프로그래머로 대체될 것. 또한 1년 내 AI가 최고 수준의 "대학원 수준 수학자"에 도달할 것. 이것이 "컨센서스"임.
• AI 학습 방식: 컴퓨터가 어떻게 이 수학을 할 수 있는가? 수학은 인간 언어보다 "더 단순한 언어"를 가짐. 알고리즘은 "단어 예측"(손실 함수, 상상할 수 없는 규모로 최적화됨)으로 작동함. 수학(Lean 프로토콜을 통한 추측/증명 형식)과 프로그래밍(테스트 통과까지 코드 작성)에도 동일하게 적용됨.
• 프로그래밍 언어: "어떤 언어로 프로그래밍합니까?"라는 질문에 대한 올바른 대답은 "중요하지 않다"임. 당신은 결과를 위해 설계하며, 컴퓨터가 생성하는 코드는 신경 쓰지 않음. "이것은 완전히 새로운 세상"임.
• 재귀적 자기 개선: 1년 후, 2년 후에는? 추론 + 프로그래밍 + 수학 = 디지털 세계의 기반. OpenAI, Anthropic 같은 연구 그룹은 자체 연구 프로그램에서 개발 중인 코드의 10-20%가 컴퓨터에 의해 생성된다고 보고함. 이것이 "재귀적 자기 개선"임.
• AGI (3-5년 내): 이것이 확장되면? 3-5년 내 AGI(일반 지능)를 갖게 될 것. AGI는 "가장 똑똑한 수학자, 물리학자, 예술가, 작가, 사상가, 정치인만큼 똑똑한 시스템"으로 정의됨. 그것이 하나의 컴퓨터에 있다고 상상해보라.
• "샌프란시스코 컨센서스": 그는 이것을 "샌프란시스코 컨센서스"라고 부름 (물이 좋아서 그럴 수도).
• AGI의 영향: 모든 사람이 주머니 속에 모든 문제에 대해 "가장 똑똑한 인간"에 버금가는 것을 갖게 되면? 건축 문제가 생기면 최고의 건축가를 갖게 됨.
• 에이전트 솔루션: "에이전트 솔루션"도 개발 중. 에이전트는 입력, 출력, 메모리를 가지며 학습함.
• 에이전트 예시 (집 구매): 예: "맥클린 지역에 집 찾아줘" (에이전트 1). "모든 규정 검토... 집 크기 파악" (에이전트 2). "토지 구매 거래" (에이전트 3). "인간 건축가와 집 설계" (하지만 대부분 무시). "계약자 찾기", "고용", "비용 지불", 그리고 "성능 미흡으로 계약자 고소".
• 모든 프로세스에 미치는 영향: 이 "가장 어리석은 설명"이 방금 "모든 비즈니스 프로세스, 모든 정부 프로세스", 그리고 "모든 학문적 프로세스"를 묘사했음.
• 일자리: "프로그래머뿐만 아니라... 우리 모두가 실직할 것." 그러나 곧 "아니, 그건 결과가 아님. 그 얘기는 나중에 하겠음"이라고 덧붙임.
• 기반 확립: 요점은 이 기반이 "앞으로 1~2년 안에" 확고해지고 있으며 "우리는 그것을 멈추지 않을 것"이라는 점.
• 초지능 (ASI): 그 후에는 "훨씬 더 흥미로워짐." 컴퓨터는 자기 개선을 하고, 계획을 배우며, "더 이상 우리 말을 들을 필요가 없음." 이것이 "초지능 또는 ASI"임.
• ASI 타임라인 (SF 컨센서스): 이론: "인간의 총합보다 더 똑똑한" 컴퓨터. "샌프란시스코 컨센서스"는 이것이 "확장만으로 6년 이내에" 일어난다고 봄.
• 전력 요구 사항: "막대한 양의 전력" (기가와트, 원자력 발전소)이 필요함.
• 사회적 준비 부족: "이 길은 우리 사회에 이해되지 않고 있음." "무슨 일이 일어날지에 대한 언어가 없음." 헨리 키신저와 함께 '제네시스'라는 책을 썼다고 언급.
• 빠른 속도: "이것은 우리 인간... 사회, 민주주의, 법률이 다룰 수 있는 것보다 더 빨리 일어나고 있음."
• "과소평가됨": 이것이 "과소평가된(underhyped)" 이유. 사람들은 "대체로 무료인 이 정도 수준의 지능"으로 무슨 일이 일어날지 이해하지 못함.
• 준비 방법: 준비 방법? "그것에 대해 이야기하는 것부터 시작"해야 함.
• 자동화와 일자리 (역사): 일자리에 대해: 모두가 자동화가 일자리를 없앨 것이라 가정함. 하지만 역사적으로 (예: 300년 전 방직기) 일자리는 변화했고, 파괴된 것보다 더 많은 일자리가 창출됨. "이번에는 다르다"고 자신을 설득해야 할 것임.
• 아시아 사례: 출산율이 낮은 (1.0 이하) 아시아는 "급속히 사라지고" 있으며 "매우 빠르게 자동화"하고 있음.
• 미래 생산성: (이 추세가 계속된다면) 30~40년 후에 "매우 열심히 일할 소수의 인간들"이 이 도구들을 통해 훨씬 더 큰 생산성을 갖게 될 것. "우리 나머지는 그 열심히 일하는 인간들에게 의존하게 될 것."

내레이터 연결 2

• 에릭 슈미트의 "훨씬 더 깊은 우려"를 담은 다음 클립 소개.

에릭 슈미트 인터뷰 (2부)

• 현재 AI (언어 대 언어): 현재 AI는 "언어 대 언어" 방식 (질문하면 답하고, 코드 작성).
• 멀티모달리티: 현재 모델은 "멀티모달" (예: 사진 찍고 "이 사진에 뭐가 있는지 말해줘"). API를 통해 한 회사가 다른 모델(OpenAI, Gemini, Anthropic)을 호출하여 분류 같은 작업을 수행. 이것들은 "기본 시스템의 지능을 높이는 전술"임.
• 올해의 세 가지:
  1. 무한 컨텍스트 창: 답을 다시 질문으로 입력할 수 있음을 의미. "단계별 계획"을 허용함 (예: 집 짓기: 계약자 찾기, 계약자와 대화하기, 건축가 찾기 등).
  2. 에이전트: "일반적으로 과용되는 용어." 대부분 "메모리 소스"로 작동할 것이라 생각함. 에이전트는 무언가를 보고, 본 것을 기반으로 행동함. "에이전트 작동 방식의 스펙은 업계에 전혀 정의되지 않음." 지배적인 회사들은 "통제"를 위해 자체 에이전트를 원하고 상호작용을 원치 않음. 많은 사람들이 앱 스토어 같은 "에이전트 스토어"가 생길 것이라 생각하지만, "올해는 아님."
  3. 텍스트 투 코드: 40년 이상 프로그래머들을 관리했지만 "그들은 내가 원하는 대로 절대 하지 않음." 컴퓨터에게 "이것을 하는 프로그램을 작성해줘"라고 말하고 코드를 실제로 작성하는 것을 상상해보라.
• 텍스트 투 코드 예시: 그의 프로그램 예시: "모든 문헌 검색, 기술 배경을 가진 에너지 정책 관련자 찾기", "그들을 식별, 순위 매기기, 점수 매기기", "자동으로 초대장 발송." "예"라고 하면 축하. "아니오"라고 하면 "이유" 묻기. 그리고 "전화해서 합성 음성으로 오지 않는 당신은 바보라고 말하기."
• 자동화의 용이성: "다행히도 나는 그렇게 하고 있지 않음." 하지만 이것이 얼마나 쉽게 작업을 자동화할 수 있는지 보여줌. 이것이 "첫 번째 단계"임.
• 다음 단계 (경쟁): "다음 단계는 명확하지 않음." "상상할 수 없는 규모"의 "거대한 경쟁"이 진행 중.
• 경쟁자들: 미국 빅 3: Anthropic (아마존 연합), Gemini (구글), OpenAI (마이크로소프트). "그들 모두 잘한다고 가정." 또한 400B 모델에 "오픈소스 경로"를 선택한 페이스북(메타) (전략적 함의가 큼).
• 경쟁 내용: 모두 "최고의 추론, 최고의 답변", 예측 분석, 이미지 분류기, 멀티모달 능력을 위해 경쟁 중.
• 확산/증류: 이 기술은 "더 전문화된 모델로 확산"되거나 "증류"됨. 이것이 "앞으로 1~2년 안에 보게 될 활동"임.
• AGI 정의: 인터뷰어가 AGI를 언급하지 않았다고 지적하며 정의를 물음. 슈미트: 여러 정의가 있고, 15년 된 용어. 기본 아이디어: 지능 시스템에서 "인간의 유연성"을 갖는 지점.
• 좁은 AI vs. 일반 AI: 오늘은 "좁은 AI" 접근 방식 (물론 좁지 않지만), 인간에 의해 시작됨. 질문은, 어느 시점에서 컴퓨터가 "자체 목적 함수, 자체 목표를 생성"할 수 있는가임.
• AGI에 대한 "샌프란시스코 학파": (서로 이야기하는) "샌프란시스코 학파"는 시스템의 "두세 번의 크랭크(crank)"(1크랭크는 약 18개월) 안에 "AGI에 도달한다"고 "스스로 확신"하고 있음.
• SF 학파의 AGI 정의: 그들은 AGI를 "인간 지능의 총합보다 더 큰 지능"으로 정의함.
• 슈미트의 AGI 타임라인: 그는 개인적으로 그것이 "가능성 있다"고 생각하지만, "3년 안에는 아님."
• "우리는 모른다": 그의 타임프레임을 묻는 질문에 "우리는 모른다(We don't know)"라고 답함.