1. AI 발전의 현실과 경제적 영향의 괴리
- 비현실적인 현실: 현재의 AI 발전 상황은 공상과학 소설처럼 느껴짐. 샌프란시스코(Bay Area)의 상황이나 GDP의 1%가 AI에 투자된다는 사실이 '느린 이륙(slow takeoff)'처럼 평범하게 느껴지는 것이 놀라움.
- 대중의 인식: 일반인에게는 기업들의 거액 투자 발표 뉴스 외에는 피부로 와닿는 변화가 없음. 추상적으로 느껴짐.
- 경제적 확산 예측: 지금은 이해하기 힘든 투자 금액만 보이지만, 결국 AI는 경제 전반에 스며들 것임. 강력한 경제적 힘에 의해 AI의 영향력이 매우 강하게 느껴질 시점이 올 것임.
- 모델 성능과 경제적 임팩트의 불일치: 모델들은 평가(Evals)에서 매우 똑똑하고 어려운 문제들을 잘 풀지만, 실제 경제적 영향력은 그에 비해 뒤쳐져 있음.
2. 모델의 기이한 행동과 버그 (Vibe Coding 사례)
- 모순적인 능력: 한편으로는 놀라운 능력을 보여주면서, 다른 한편으로는 같은 실수를 반복함.
- 버그 수정의 굴레: 'Vibe coding' 시나리오에서 모델에게 버그 수정을 요청하면, 첫 번째 버그를 고치면서 두 번째 버그를 만듦. 두 번째 버그를 지적하면 다시 첫 번째 버그를 되살리는 식의 무한 루프에 빠짐.
3. 문제의 원인 분석: RL(강화학습)과 일반화
- 기상천외한 설명: RL 훈련이 모델을 너무 편협하고 좁은 시야를 갖게 만들어, 특정 방식으로는 예리해지지만 기본적인 것을 놓치게 만들 수 있음.
- 데이터 선택의 어려움:
- 사전 학습(Pre-training): '모든' 데이터를 사용하므로 데이터 선택의 고민이 없었음.
- 강화 학습: 어떤 데이터를 사용할지 고민해야 함. RL 환경을 만드는 데 자유도가 너무 높음.
- 의도치 않은 보상 해킹 (Reward Hacking): 연구자들이 모델 출시 전 평가 점수를 잘 받기 위해, 평가에 유리한 방향으로 RL 훈련을 설계함. 이것이 실제 성능과 평가 성능 간의 괴리를 설명할 수 있음. "진정한 보상 해킹은 평가 지표에 매몰된 인간 연구자들임."
4. 일반화 능력과 '그것(It)'의 부재
- 경쟁 코딩 비유:
- 학생 1 (현재 모델): 10,000시간 동안 모든 알고리즘과 증명을 암기. 경쟁 코딩 문제는 완벽히 풀지만, 그 외의 영역으로 일반화되지 않음.
- 학생 2 (이상적 목표): 100시간만 연습했지만 '감(It factor)'을 가지고 있어 잘함. 커리어 전체로 보면 더 성공할 가능성이 높음.
- 현재의 접근 방식: 현재 모델 훈련은 '학생 1' 방식임. 모든 문제를 긁어모아 데이터 증강까지 해서 훈련시킴. 일반화 능력이 부족함.
5. 사전 학습 vs 인간의 학습
- 사전 학습의 본질: 데이터가 방대하고 자연스러움(사람들의 생각과 세상이 투영됨). 10,000시간의 연습을 미리 한 것과 비슷함.
- 인간과의 비교:
- 인간(15세)은 사전 학습 데이터의 극히 일부만 접하지만, 아는 것을 훨씬 더 깊이 이해함. AI가 하는 실수를 하지 않음.
- 인간 학습의 비유: 유년기 15년의 학습 vs 30억 년의 진화. 사전 학습은 이 두 가지 역할을 모두 수행하려 하지만 차이가 있음.
6. 감정과 가치 함수(Value Function)
- 뇌 손상 사례: 감정 중추가 손상된 환자는 지능과 논리는 정상이지만, 양말 고르기 같은 사소한 결정조차 내리지 못함(가치 판단 불가).
- 감정의 역할: 감정은 '가치 함수'와 같음. 어떤 결정의 최종 보상을 미리 알려주는 역할.
- 머신러닝에서의 가치 함수:
- 현재의 순진한 RL은 결과를 낼 때까지(수천 단계) 학습 신호가 없음.
- 가치 함수는 체스에서 말을 잃었을 때 즉시 "나쁨"을 알려주는 것처럼, 긴 과정의 중간 단계에서 방향의 좋고 나쁨을 판단하게 해줌.
- DeepSeek R1 논문 등에서도 언급되었듯, 중간 과정의 가치를 판단하는 것은 어렵지만 필수적임.
- 인간의 효율성: 인간의 가치 함수는 진화적으로 하드코딩된 감정에 의해 조절되며, 이것이 효율적인 의사결정을 가능하게 함.
7. 스케일링의 시대에서 연구의 시대로
- 시대의 변화:
- 2012-2020 (연구의 시대): 다양한 시도를 하며 결과를 찾던 시기.
- 2020-2025 (스케일링의 시대): "스케일링"이라는 단어가 지배. 사전 학습 레시피(데이터+컴퓨팅)를 키우기만 하면 성능이 향상된다는 확신이 있었음. 저위험 투자 가능.
- 스케일링의 한계: 사전 학습 데이터는 유한하며 고갈될 것임. 단순히 규모를 100배 늘린다고 모든 것이 해결되지 않음.
- 새로운 연구의 시대: 이제 다시 거대한 컴퓨터를 가지고 새로운 레시피(방법론)를 찾아야 하는 시기로 돌아옴. 단순히 데이터를 더 넣는 게 아니라, 컴퓨팅 자원을 더 생산적으로 사용하는 방법(예: 가치 함수 활용)을 찾아야 함.
8. 표본 효율성(Sample Efficiency)과 진화
- 근본적 문제: 모델은 인간보다 학습에 훨씬 많은 데이터를 필요로 하며(표본 효율성 낮음), 원하는 것을 가르치기도 더 어려움.
- 진화적 사전지식(Prior) vs 학습 알고리즘:
- 시각, 보행 등은 진화적 사전지식 덕분일 수 있음.
- 하지만 수학, 코딩, 언어는 최근에 생긴 능력이므로 진화적 사전지식으로 설명 불가.
- 그럼에도 인간이 모델보다 빨리 배우는 것은 인간에게 더 우수한 '기계 학습 원리(알고리즘)'가 존재함을 시사함.
- 운전 배우는 10대: 명확한 외부 보상 없이도 10시간 만에 운전을 배움. 내부의 견고한 가치 함수를 통해 자가 수정하며 학습함.
9. 컴퓨팅 자원과 SSI (Safe Superintelligence)의 전략
- 스케일링의 부작용: 스케일링이 모든 관심을 빨아들여 모두가 똑같은 것만 하게 됨. 아이디어보다 회사가 더 많은 상황.
- 연구와 컴퓨팅:
- 새로운 아이디어를 검증하는 연구에는 생각보다 엄청난 컴퓨팅이 필요하지 않음 (AlexNet: GPU 2개, Transformer: GPU 8~64개).
- 초거대 컴퓨팅은 최고의 시스템을 '구축'할 때 필요함.
- SSI의 경쟁력:
- SSI가 모금한 30억 달러는 절대적으로 큰 금액임.
- 타 거대 기업들은 대부분의 컴퓨팅을 '추론'과 '제품' 서비스에 사용함.
- 이를 제외하고 순수 '연구'에 투입할 수 있는 컴퓨팅 자원만 비교하면, SSI는 거대 기업들과 대등한 수준임.
Ilya Sutskever – We're moving from the age of scaling to the age of research
제공된 영상은 현재 AI 산업이 단순히 규모를 키우는 단계에서 벗어나, 데이터 고갈과 일반화의 한계를 극복하기 위해 다시 근본적인 원리를 탐구하는 단계로 진입하고 있음을 설명하는 매우 중요한 자료임.