The Gentle Singularity

핵심 요약

• 인류는 이미 이벤트 호라이즌을 지나 디지털 초지능을 향한 이륙을 시작했으며, 변화는 예상보다 평범하게 진행되고 있음.
• ChatGPT의 작은 기능 개선이나 작은 불일치도 수억 명의 사용자를 통해 큰 영향으로 증폭될 수 있음.
• 2030년대에는 지능과 에너지가 극도로 풍부해져 인류 발전을 제한해 온 두 가지 근본 제약이 완화될 전망.
• 특이점은 경이가 일상이 되고 다시 기본 사양이 되는 점진적인 곡선으로 나타날 가능성이 큼.
• 최선의 경로는 안전과 정렬 문제를 해결하고 초지능 접근성을 저렴하고 광범위하게 분배하는 것임.

1. 현 상태: 이륙의 시작

• 이벤트 호라이즌 통과: 이미 특이점을 지났으며 '이륙(takeoff)'이 시작됐음.
• 디지털 슈퍼인텔리전스: 인류는 디지털 초지능 구축에 가까워졌음.
• 예상보다 평범함: 현재까지의 과정은 예상했던 것보다 '덜 이상하게(less weird)' 진행되고 있음.
• 아직 변하지 않은 것들:
  • 로봇이 거리를 활보하지 않음.
  • 대부분의 사람이 하루 종일 AI와 대화하지 않음.
  • 사람들은 여전히 질병으로 사망함.
  • 우주로 가는 것은 여전히 쉽지 않음.
  • 우주에 대해 모르는 것이 많음.
• 그럼에도 불구하고 달성한 것:
  • 최근 우리는 여러 면에서 인간보다 똑똑한 시스템을 구축했음.
  • 이 시스템은 사용자의 생산량을 크게 증폭시킬 수 있음.
  • GPT-4나 o3 같은 시스템을 가능하게 한 '과학적 통찰력' 확보라는, 작업의 가장 어려운 부분이 이미 끝났음.
  • 이 통찰력은 우리를 매우 멀리 데려갈 것임.

2. AI의 영향과 ChatGPT의 힘

• 삶의 질 향상: AI는 여러 방식으로 세상에 기여하겠지만, AI가 주도하는 더 빠른 과학적 진보와 생산성 향상에서 오는 삶의 질 향상은 '엄청날(enormous)' 것임. 미래는 현재보다 '훨씬 더(vastly better)' 나아질 수 있음.
• 과학의 중요성: 과학적 진보는 전체적인 진보의 가장 큰 동력이며, 우리가 얼마나 더 많은 것을 가질 수 있을지 생각하는 것은 매우 흥미로운 일임.
• ChatGPT의 현재 위상:
  • 어떤 '큰 의미(in some big sense)'에서 ChatGPT는 이미 역사상 존재했던 그 어떤 인간보다 더 강력함.
  • 수억 명의 사람들이 매일, 그리고 점점 더 중요한 작업에 ChatGPT를 의존함.
  • 양면성: (1) 작은 '새로운 기능' 추가는 엄청나게 긍정적인 영향을 창출할 수 있음. (2) 작은 '불일치(misalignment)'가 수억 명의 사람을 통해 증폭되면 엄청난 부정적 영향을 초래할 수 있음.

3. 미래 타임라인 및 예측

• 2025년: 실제 '인지 작업(cognitive work)'을 수행할 수 있는 에이전트가 등장함. 컴퓨터 코드 작성 방식은 "영원히 같지 않을 것임."
• 2026년 (예상): '새로운 통찰력(novel insights)'을 발견할 수 있는 시스템이 등장할 가능성이 높음.
• 2027년 (예상): 현실 세계에서 작업을 수행할 수 있는 로봇이 등장할 수 있음.
• 2030년의 변화 (개인 역량): 2020년보다 2030년에 한 사람이 '훨씬 더 많은(much more)' 일을 해낼 수 있다는 능력은 눈에 띄는 변화일 것이며, 많은 사람이 이로부터 혜택을 받는 방법을 찾아낼 것임.

4. 2030년대의 모습: 불변과 격변

• 불변의 가치 (가장 중요한 방식): 2030년대는 '가장 중요한 방식'에 있어서는 크게 다르지 않을 수 있음. 사람들은 여전히 가족을 사랑하고, 창의성을 표현하고, 게임을 하고, 호수에서 수영할 것임.
• 격변의 영역 (여전히 매우 중요한 방식): '여전히 매우 중요한 방식'에 있어서 2030년대는 이전의 그 어떤 시대와도 '완전히 다를(wildly different)' 것임.
• 초지능의 한계: 우리는 인간 수준의 지능을 얼마나 넘어설 수 있는지 알지 못하지만, '이제 막 알아내려(about to find out)' 하고 있음.
• 풍요의 시대: 2030년대에는 '지능(intelligence)'과 '에너지(energy)'가 '극도로 풍부해질(wildly abundant)' 것임.
  • 지능 = 아이디어
  • 에너지 = 아이디어를 실현하는 능력
• 근본적 제한 해제: 이 두 가지(지능, 에너지)는 오랫동안 인류 발전의 '근본적인 제한 요소(fundamental limiters)'였음.
• 이론적 가능성: 풍부한 지능과 에너지, 그리고 '훌륭한 거버넌스(good governance)'가 있다면 이론적으로 다른 모든 것을 가질 수 있음.

5. '특이점'의 본질과 적응

• 현재의 적응: 우리는 이미 놀라운 디지털 지능과 함께 살고 있으며, 초기 충격 이후 대부분은 꽤 익숙해졌음.
• 기대의 상승 (특이점의 방식):
  • AI가 훌륭한 문단을 생성하는 것에 '놀람' 다음 AI가 훌륭한 소설을 생성하기를 '궁금해함'.
  • AI가 생명을 구하는 의료 진단을 하는 것에 '놀람' 다음 AI가 치료법을 개발하기를 '궁금해함'.
  • AI가 작은 컴퓨터 프로그램을 만드는 것에 '놀람' 다음 AI가 완전히 새로운 회사를 만들기를 '궁금해함'.
• 정의: 이것이 바로 '특이점이 진행되는 방식(how the singularity goes)'임. 경이로움(wonders)이 일상(routine)이 되고, 그 다음에는 '기본 사양(table stakes)'이 됨.

6. 가속화 메커니즘: 재귀적 향상과 루프

• 과학자의 생산성: 이미 과학자들은 AI 이전보다 2-3배 더 생산적이라고 말함.
• 가장 중요한 사실: AI가 흥미로운 이유는 많지만, 우리가 AI를 사용해 '더 빠른 AI 연구'를 할 수 있다는 사실만큼 중요한 것은 없음.
• 연구 가속화: 새로운 컴퓨팅 기판, 더 나은 알고리즘 등을 발견할 수 있음. 10년 치 연구를 1년 또는 1달 만에 할 수 있다면, 진보의 속도는 분명히 달라질 것임.
• 유충 단계의 자기 개선:
  • 이미 구축한 도구들이 더 나은 과학적 통찰력을 찾고 더 나은 AI 시스템을 만드는 데 도움을 줄 것임.
  • 이것은 AI 시스템이 '완전히 자율적으로' 자신의 코드를 업데이트하는 것과는 다름.
  • 그럼에도 불구하고, 이것은 '재귀적 자기 개선(recursive self-improvement)'의 '유충 버전(larval version)'임.
• 다른 자기 강화 루프:
  • 경제적 가치 창출: 강력한 AI 시스템을 운영하기 위한 '복합적인 인프라 구축(compounding infrastructure buildout)'의 플라이휠(선순환 구조)을 시작시켰음.
  • 물리적 복제: 다른 로봇을 만드는 로봇 (그리고 어떤 의미에서는 다른 데이터센터를 짓는 데이터센터)이 "그리 멀지 않았음."
• 로봇 루프의 예시:
  • 만약 우리가 첫 백만 대의 휴머노이드 로봇을 '구식으로' 만들어야 한다고 가정.
  • 하지만 그 후 이 로봇들이 전체 공급망(광물 채굴 및 정제, 트럭 운전, 공장 운영 등)을 운영하여 더 많은 로봇을 만들 수 있다면.
  • 그리고 그 로봇들이 더 많은 칩 제조 시설, 데이터 센터 등을 건설할 수 있다면.
  • 그렇다면 "진보의 속도는 분명히 달라질 것임."

7. 비용 및 사회적 영향

• 지능 비용의 하락: 데이터센터 생산이 자동화됨에 따라, 지능의 비용은 결국 '전기 비용에 가깝게(near the cost of electricity)' 수렴할 것임.
• ChatGPT 에너지/물 사용량 (현재):
  • 에너지: 평균 쿼리당 약 0.34 와트-시(watt-hours). (오븐 약 1초, 고효율 전구 약 2분 사용량)
  • 물: 약 0.000085 갤런. (약 1/15 티스푼)
• 기술 발전 속도: 계속 가속화될 것임.
• 인간의 적응력: 사람들은 거의 모든 것에 적응할 수 있음.
• 어려운 점: 특정 직업군 전체가 사라지는 것과 같은 매우 어려운 부분이 있을 것임.
• 긍정적인 점 (균형): 반면에, 세상이 '너무나 빠르게 부유해져서(so much richer so quickly)' 이전에는 결코 상상할 수 없었던 '새로운 정책 아이디어'를 진지하게 고려할 수 있게 될 것임.
• 새로운 사회 계약: '한 번에' 새로운 사회 계약을 채택하지는 않겠지만, 수십 년 후 돌이켜보면 점진적인 변화들이 모여 '큰 것(something big)'을 이루었을 것임.

8. 인간의 역할과 미래의 직업

• 역사의 교훈 (산업 혁명): 우리는 '새로운 할 일'과 '새로운 원하는 것'을 찾아낼 것이며, 새로운 도구를 빠르게 흡수할 것임. 기대치는 올라가지만, 능력도 그만큼 빨리 올라가서 우리 모두는 더 나은 것을 얻게 될 것임.
• 인간 고유의 장점:
  • 우리는 서로를 위해 '계속 더 멋진 것들'을 만들 것임.
  • 인간은 AI에 비해 장기적으로 중요하고 흥미로운 이점을 가짐.
  • 우리는 '다른 사람들'과 그들의 생각 및 행동에 '관심을 갖도록(hard-wired to care)' 프로그래밍되어 있음.
  • 우리는 '기계'에 대해서는 그다지 신경 쓰지 않음.
• '가짜 직업' 비유:
  • 천 년 전의 자급자족 농부가 지금 우리(풍부한 식량과 상상할 수 없는 사치를 누리는)를 본다면, 우리가 하는 일을 '가짜 직업(fake jobs)'이라 부르고 스스로를 즐겁게 하기 위해 게임을 한다고 생각할 것임.
  • 희망: 천 년 후의 미래 직업을 보며 우리가 "매우 가짜 직업"이라고 생각하기를 희망함.
  • 확신: 그 직업들은 그것을 수행하는 사람들에게 '믿을 수 없을 만큼 중요하고 만족스럽게' 느껴질 것임.

9. 변화의 체감 속도와 '특이점'

• 경이로움의 속도: 새로운 경이로움이 달성되는 속도는 '엄청날(immense)' 것임.
• 2035년의 상상: 2035년까지 무엇을 발견할지 상상하기 어려움. (예: 한 해에 고에너지 물리학을 해결하고 다음 해에 우주 식민지화를 시작함. 또는 한 해에 주요 재료 과학 돌파구를 마련하고 다음 해에 진정한 고대역폭 뇌-컴퓨터 인터페이스를 개발함.)
• 삶의 방식: 많은 사람은 '거의 같은 방식(much the same way)'으로 살기로 선택할 것이지만, 적어도 일부 사람들은 "'접속(plug in)'"하기로 결정할 것임.
• 체감 속도:
  • 미래를 내다볼 때: 이 모든 것이 '이해하기 어렵게(hard to wrap our heads around)' 들림.
  • 직접 겪을 때: 아마도 '인상적이지만 감당할 만하게(impressive but manageable)' 느껴질 것임.
• 상대론적 관점 (특이점):
  • 특이점은 '조금씩(bit by bit)' 일어남.
  • 인간과 기계의 '융합(merge)'은 '천천히(slowly)' 일어남.
  • 우리는 '지수 함수적 기술 진보의 긴 호(long arc)'를 오르고 있음.
  • (특징) 이 곡선은 '앞을 보면 수직'으로 보이고, '뒤를 돌아보면 평평'하게 보이지만, 실제로는 '하나의 부드러운 곡선'임.
• 과거 회상 (예시): 2020년에 "2025년까지 AGI에 가까운 것이 나올 것"이라고 들었다면 어땠을지, 그리고 지난 5년이 실제로 어땠는지를 비교해 보라.

10. 도전 과제와 나아갈 길

• 당면 과제: 거대한 기회와 함께 직시해야 할 '심각한 도전(serious challenges)'들이 있음.
• 안전 문제: 기술적으로나 사회적으로 '안전 문제(safety issues)'를 해결해야 함.
• 분배의 중요성: 그 다음에는 경제적 영향을 고려할 때, 초지능에 대한 접근성을 '광범위하게 분배(widely distribute access)'하는 것이 매우 중요함.
• 최선의 경로 (제안):
  • 1단계: 정렬 문제 해결 (Solve the alignment problem):
    • 의미: AI 시스템이 '우리 모두가 장기적으로 진정으로 원하는 것(what we collectively really want over the long-term)'을 향해 학습하고 행동하도록 '견고하게 보장(robustly guarantee)'할 수 있어야 함.
    • 나쁜 예 (불일치): 소셜 미디어 피드. 이 알고리즘은 사용자가 '계속 스크롤하도록' 만드는 데는 뛰어나며 단기적 선호를 명확히 이해함. 하지만 이는 뇌의 무언가를 '악용(exploiting)'하여 사용자의 '장기적 선호'를 '무시(overrides)'하는 방식으로 작동함.
  • 2단계: 접근성 확대:
    • 초지능을 '저렴하게(cheap)', '널리 이용 가능하게(widely available)' 만들어야 함.
    • 특정 개인, 회사 또는 국가에 '너무 집중되지 않도록(not too concentrated)' 해야 함.

11. 사회의 역할과 OpenAI의 비전

• 사회의 저력: 사회는 '회복력이 있고(resilient)', '창의적이며(creative)', '빠르게 적응함(adapts quickly)'.
• 집단 지성의 활용: 우리가 사람들의 '집단적 의지와 지혜(collective will and wisdom)'를 활용할 수 있다면, 실수를 하고 일부 일이 잘못되더라도, 우리는 '빠르게 배우고 적응'할 것이며, 이 기술을 사용하여 '최대의 혜택(maximum upside)'과 '최소의 단점(minimal downside)'을 얻을 수 있을 것임.
• 자유와 경계: 사회가 결정해야 할 '광범위한 경계(broad bounds)' 내에서 사용자에게 '많은 자유(a lot of freedom)'를 주는 것이 매우 중요해 보임.
• 시급한 논의: 이 '광범위한 경계'가 무엇인지, 그리고 '집단적 정렬(collective alignment)'을 어떻게 정의할지에 대해 세상이 '빨리 대화를 시작할수록' 좋음.
• "세계의 뇌 (Brain for the world)"
  • 우리(OpenAI뿐만 아니라 업계 전체)는 "세계를 위한 뇌"를 만들고 있음.
  • 이 뇌는 '극도로 개인화(extremely personalized)'되고 모두가 사용하기 쉬울 것임.
  • 우리의 한계는 '좋은 아이디어(good ideas)'가 될 것임.
  • '아이디어 가이'의 시대: 스타트업 업계의 기술자들은 오랫동안 아이디어만 있고 그것을 만들 팀을 찾는 "아이디어 가이(idea guys)"를 놀려왔음. 이제 그들이 빛을 발할 날(day in the sun)이 온 것으로 보임.
• OpenAI의 정체성:
  • OpenAI는 현재 많은 일을 하지만, '무엇보다도(before anything else)' "초지능 연구 회사(superintelligence research company)"임.
  • 앞에 많은 작업이 남아 있지만, '앞길의 대부분은 이제 밝혀졌고(most of the path in front of us is now lit)', 어두운 영역은 빠르게 사라지고 있음.
  • 우리가 하는 일을 할 수 있음에 "비할 데 없이 감사함(extraordinarily grateful)"을 느낌.

12. 결론

• 측정 불가능할 정도로 저렴한 지능: "측정하기에는 너무 저렴한 지능(Intelligence too cheap to meter)"은 '충분히 손에 잡히는(well within grasp)' 거리에 있음.
• 과거와의 비교:
  • 이 말이 지금 미친 소리처럼 들릴 수 있음.
  • 하지만 2020년에 우리가 "오늘날 우리가 있는 이 위치"에 도달할 것이라고 말했다면, 그것이 우리가 현재 '2030년에 대해 예측하는 것'보다 '더 미친 소리처럼(more crazy)' 들렸을 것임.
• 마지막 바람: "우리가 초지능을 통해 순조롭게(smoothly), 기하급수적으로(exponentially), 그리고 아무런 사고 없이(uneventfully) 확장해 나갈 수 있기를."