Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI | Lex Fridman Podcast #416

도입: 독점적 AI의 위험성과 오픈소스의 중요성

• 얀 르쿤의 경고: 독점적 AI 시스템을 통한 권력 집중은 다른 모든 위험보다 훨씬 큰 위험. AI 시스템을 소수에게만 맡기는 것은 소수의 기업이 독점적 시스템을 통해 우리의 정보 식단을 통제하는 매우 나쁜 미래로 이어질 수 있음.
• 인간 본성에 대한 믿음: 렉스 프리드먼과 얀 르쿤 모두 인간은 근본적으로 선하며, 오픈소스 AI가 인간을 더 똑똑하게 만들어 인간의 선함을 강화할 수 있다고 믿음. AI 파멸론자(doomer)들은 종종 인간이 근본적으로 선하다고 믿지 않기 때문에 파멸론을 주장한다고 언급.

얀 르쿤 소개

• 메타(Meta)의 수석 AI 과학자, 뉴욕대학교(NYU) 교수, 튜링상 수상자, 인공지능 역사상 중요한 인물 중 한 명.
• 메타 AI와 함께 AI 개발의 오픈소스를 강력히 지지하며, LLaMA 2, LLaMA 3 등 대형 모델을 오픈소스화.
• AGI(범용인공지능)의 실존적 위협을 경고하는 AI 커뮤니티 내 의견에 대해 비판적. AGI는 언젠가 만들어지겠지만 통제 가능하며 인류에게 유익할 것이라고 믿음.

자기회귀(Autoregressive) LLM의 한계

• GPT-4, LLaMA와 같은 현재의 대형 언어 모델(LLM)은 초인적 지능으로 가는 완전한 길이 아님.
• 이유: 지능적 행동의 핵심 특징들, 즉 (1) 물리 세계 이해 능력, (2) 지속적 기억 및 검색 능력, (3) 추론 능력, (4) 계획 능력이 없거나 매우 원시적인 수준임.
• 이러한 능력이 없는 시스템이 지능적으로 변할 것이라고 기대하는 것은 실수.

LLM의 유용성과 데이터의 한계

• 자기회귀 LLM은 유용하고 응용 생태계를 구축할 수 있지만, 인간 수준 지능으로 가는 길에는 핵심 구성 요소가 빠져 있음.
• 훈련 데이터 규모: LLM은 방대한 텍스트 데이터(약 10^13 토큰, 2*10^13 바이트)로 훈련됨. 이는 한 사람이 하루 8시간씩 읽어도 17만 년이 걸리는 양.
• 인간의 감각 데이터 비교: 4세 아이는 생후 4년간 약 10^15 바이트의 시각 정보를 처리함 (시신경이 초당 약 20MB 전달 가정). 이는 LLM 훈련 데이터보다 훨씬 많은 양.
• 결론: 인간은 언어보다 감각 입력(관찰, 실제 세계와의 상호작용)을 통해 훨씬 더 많은 정보를 학습하며, 대부분의 지식은 언어가 아닌 실제 세계 경험에서 비롯됨. 동물 학습은 전적으로 비언어적.

언어의 압축성과 지능의 현실 기반 (Grounding)

• 렉스 프리드먼의 반론: 언어는 이미 고도로 압축된 지혜를 담고 있으며, 언어만으로도 세계 모델과 물리 세계 이해가 가능할 수 있음.
• 얀 르쿤의 입장: 지능은 어떤 형태로든 현실(물리적이든 시뮬레이션이든)에 기반해야 함. 환경은 언어로 표현할 수 있는 것보다 훨씬 풍부하며, 언어는 지각과 정신 모델의 근사적 표현일 뿐.
• 물리적 작업, 물건 만들기, 물건 잡기 등 많은 인간 활동은 언어와 무관한 정신 모델 조작을 통해 이루어짐.

모라벡의 역설과 LLM의 능력 부족

• 모라벡의 역설(Moravec's paradox): 컴퓨터는 체스나 미적분 같은 고도의 복잡한 작업은 쉽게 하지만, 운전이나 식기세척기 채우기처럼 인간이 당연하게 여기는 일상적인 감각 운동 작업은 어려워함.
• LLM은 변호사 시험은 통과하지만, 17세 청소년처럼 20시간 만에 운전을 배우거나 10세 아이처럼 식탁 정리 및 식기세척기 사용법을 즉시 배우지 못함. 이는 특정 학습 방식이나 추론 아키텍처가 부족하기 때문.

LLM의 시각 정보 처리와 한계

• LLM이 시각 정보 없이 개념 공간에서 운전이나 식기세척을 이해할 수 있는가? 르쿤의 짧은 대답은 "아니오".
• 현재의 시각-언어 모델은 시각 시스템(지도/비지도 학습)을 통해 이미지를 토큰과 유사한 고수준 표현으로 변환한 후, 이를 텍스트와 함께 LLM에 입력하는 방식.
• 르쿤은 이를 '꼼수(hack)'로 보며, 이러한 시스템이 비디오로 훈련되지 않았기 때문에 세상을 진정으로 이해하거나 직관적 물리학을 파악하지 못한다고 지적.

LLM이 직관적 물리학을 이해 못 하는 이유와 작동 방식

• LLM은 텍스트에서 일부 단어를 가리고(masking) 누락된 단어를 예측하도록 훈련됨.
• 자기회귀 예측: 예측해야 할 단어의 왼쪽에 있는 단어들만 볼 수 있도록 신경망을 구성하여 다음 단어를 예측. 예측된 단어를 다시 입력으로 사용하여 연쇄적으로 다음 단어를 예측.

언어를 넘어서는 추상적 사고와 LLM

• 인간(특히 이중 언어 사용자)은 특정 언어로 생각을 구체화하기 전에 추상적인 수준에서 사고하는 경우가 많음 (예: 수학적 개념, 물건 제작 구상, 물병을 90도 회전시킨 모습 상상 등).
• 인간은 대답을 생성하기 전에 계획하지만, LLM은 그렇지 않고 본능적으로 토큰을 하나씩 생성. 이는 마치 주의가 산만할 때 무의식적으로 자동 응답하는 것과 유사.

세계 모델: 단어 예측 vs. 관찰, 생성적 비디오 모델의 실패

• 렉스 프리드먼: LLM의 내부 세계 모델이 충분히 정교하다면, 한 번에 한 토큰씩 생성하는 방식도 깊이 있는 결과를 낼 수 있지 않은가?
• 얀 르쿤: 단어 예측만으로 세계 모델을 구축할 수 있는가에 대해 "아마도 아니오"라고 답함 (언어는 정보 대역폭이 낮음).
• 세계 모델 구축은 세상을 관찰하고, 세상이 돌아가는 방식을 이해하며, 자신의 행동 결과를 예측하는 능력을 포함해야 함.
• 비디오의 다음 프레임을 예측하는 생성적 비디오 모델은 지난 10년간 FAIR(Meta AI 연구소) 등에서 시도되었으나 실패함.

생성적 비디오 예측이 실패하는 이유와 잠재 변수

• 텍스트와 달리(사전의 단어 수는 유한), 비디오의 모든 가능한 프레임(고차원, 연속적)에 대한 분포를 예측하는 것은 매우 어려움. 모든 세부 사항(카펫 질감, 벽의 그림 등)을 예측할 수 없음.
• 아직 인지하지 못한 세상의 모든 정보를 나타내기 위해 잠재 변수(latent variable)를 사용하는 모델도 시도되었으나 (GAN, VAE 등) 본질적으로 실패.
• 이러한 방법들은 이미지나 비디오의 좋은 표현(representation)을 학습하여 이미지 분류 등에 활용하는 데도 실패함.

작동하지 않는 방식(재구성) vs. 작동하는 방식(레이블 기반 자가지도); 아키텍처는 양호

• 손상된 이미지로부터 원본 이미지를 재구성하도록 시스템을 훈련하는 방식(자가지도 학습의 일종, 예: Masked Autoencoders - MAE)은 이미지의 일반적인 특징을 잘 학습하지 못함.
• 동일한 아키텍처를 레이블 데이터나 텍스트 설명과 함께 지도 학습 방식으로 훈련하면 좋은 표현을 학습함.
• 결론: 인코더 아키텍처 자체는 좋지만, 이미지의 일반적 특징을 학습하는 데 있어 자가 지도를 통한 '재구성' 방식은 결함이 있음.

JEPA(Joint Embedding Predictive Architectures): 대안적 접근법

• 손상된 입력으로부터 전체 입력을 '재구성'하는 대신:
  1. 원본 입력과 손상/변형된 입력을 준비.
  2. 두 입력 모두 (보통 동일한) 인코더를 통과시켜 각 표현을 얻음.
  3. 손상된 입력의 '표현'으로부터 원본 입력의 '표현'을 예측하도록 상위 예측기를 훈련.
• 이를 JEPA(결합 임베딩 예측 아키텍처)라고 칭함.
• 훈련 방식:
  • 대조 학습(Contrastive Learning, 구 방식): 유사한 입력은 유사한 표현을, 다른 입력은 다른 표현을 갖도록 하여 시스템 붕괴(collapse) 방지. (단점: 네거티브 샘플 필요)
  • 비대조 학습(Non-contrastive Methods, 신 방식): 동일한 대상의 다른 버전/시각만으로 훈련하고, 다른 기법을 사용하여 시스템 붕괴 방지. (FAIR의 DINO, I-JEPA, DeepMind의 BYOL 등)

JEPA vs. LLM: 픽셀이 아닌 추상적 표현 예측

• LLM이나 재구성 기반 비전 시스템은 원본 입력을 (모든 픽셀을) 생성하려고 시도하며, 이는 많은 자원을 소모함.
• JEPA는 입력의 모든 픽셀이 아닌 '추상적 표현'을 예측하며, 이것이 여러 면에서 더 용이함.
• JEPA는 입력에서 예측 가능한 정보는 최대한 추출하고, 예측 불가능한 "노이즈"(예: 자율주행차가 신경 쓸 필요 없는 바람에 흔들리는 나뭇잎의 정확한 움직임)는 제거하도록 학습함.

추상화 수준 학습; 언어는 이미 추상적

• 인간은 다양한 추상화 수준에서 현상을 설명함 (항상 양자장론으로 설명하지 않음).
• JEPA는 추상적 표현을 계층적으로 학습하는 것을 목표로 함.
• 언어는 이미 어느 정도 추상적이며 예측 불가능한 많은 정보가 제거되어 있기 때문에, LLM에서는 명시적인 결합 임베딩 없이 직접적인 단어 예측이 가능함.

JEPA는 추상 공간에서 생성적; 감각 데이터의 중복성

• JEPA는 생성적이지만, 물리적 공간이 아닌 추상적 표현 공간에서 작동함.
• 자가 지도 알고리즘은 입력 데이터의 중복성(redundancy)이 높을수록 더 많은 개념을 학습함.
• 시각과 같은 감각 입력은 텍스트보다 훨씬 더 많은 중복성을 가짐. 텍스트는 이미 압축되어 중복성이 낮으므로, (LLM처럼) 자가 지도 학습만으로는 세계를 이해하는 데 한계가 있음.

시각 및 언어 데이터 결합; 세계 작동 방식 우선 학습

• 렉스 프리드먼: 자가 지도 시각 훈련과 언어 훈련을 결합할 수 있는가? 언어에는 방대한 인간 지식이 담겨 있음.
• 얀 르쿤: 결국에는 가능하겠지만, 너무 일찍 시도하면 부족한 시각 시스템을 언어로 "속이는(cheating)" 위험이 있음.
• 이는 시각-언어 모델을 다소 향상시킬 수 있지만, 언어가 없는 고양이나 개 수준의 세계 이해(복잡한 행동 계획 능력 등)에는 도달하지 못할 것.
• 언어와 결합하기 전에 기계가 (고양이처럼) 세상이 어떻게 돌아가는지 학습하는 방법에 먼저 집중해야 함. JEPA가 이러한 상식 학습을 달성할 것으로 기대.

비대조 JEPA 기법 (증류 기반: BYOL, I-JEPA, DINO)

• 작동 방식: 원본 입력을 인코더에 통과시켜 표현 A를 생성. 손상된 입력을 (동일한) 인코더에 통과시켜 표현 B를 생성. 예측기가 B로부터 A를 예측하도록 훈련. 이때 "손상된 입력" 경로의 네트워크만 훈련 (가중치는 공유되므로 한쪽을 수정하면 다른 쪽도 수정됨). 다양한 기법으로 시스템 붕괴 방지.
• I-JEPA: 이미지 일부를 가리고(masking), 손상된 입력의 표현으로부터 원본 입력의 표현을 예측하도록 훈련. 이미지 특정 변환 불필요.

비디오용 V-JEPA; 행동 인식 및 물리적 가능성 판단에 유망

• V-JEPA: I-JEPA를 비디오에 적용. 비디오의 시간적 튜브(예: 16프레임 동안 동일 영역)를 가림.
• 잘 작동함: 지도 학습 기반 분류기 헤드에 이 표현을 입력했을 때 비디오 내 행동을 꽤 정확하게 인식하는 좋은 비디오 표현을 학습한 최초의 시스템.
• 초기 결과: V-JEPA가 비디오의 물리적 가능성(물체가 사라지거나 갑자기 점프하는 등)을 판단할 수 있음을 시사. 물리 기반 제약 조건 일부 포착.

세계 모델 및 계획을 위한 JEPA (모델 예측 제어)

• JEPA가 운전을 위한 세계 모델을 구축할 수 있을까? 가능성은 있지만 시간이 걸릴 것.
• 계획 수립을 위해: 예측기에 행동(예: 핸들을 오른쪽으로 10도 돌림)을 입력. 시스템이 T+1 시점의 추상적 세계 상태를 예측.
• 이러한 내부 모델(상태_T, 행동 → 예측된_상태_T+1)은 목표 달성을 위한 계획 수립에 사용될 수 있음 (목표 지점까지의 거리 최소화). 이는 1960년대부터 로켓 공학 등에서 사용된 모델 예측 제어(Model Predictive Control) 방식.

계층적 계획: AI의 주요 미해결 문제

• 복잡한 행동 계획(예: 뉴욕에서 파리까지의 여정을 하위 목표들로 분해하여 근육 제어 수준까지 내려가는 것)에 필수적.
• 현재 AI는 여러 수준의 표현을 '학습'해야 하는 경우 계층적 계획을 수행하지 못함. (로봇 내비게이션처럼 두 수준으로 수동 설계된 계층적 계획은 존재)
• '행동 계획'의 계층적 표현을 어떻게 학습하는지는 아직 모름.

LLM의 계층적 계획 능력과 한계

• LLM은 유사한 시나리오로 훈련되었다면 (뉴욕-파리 여정처럼) 단계별 질문에 답하여 계획을 생성할 수 있음.
• 그러나 새로운 상황에 대한 계획 수립이나, 단어만으로는 근육 제어 수준까지 내려가는 것은 불가능. 물리 세계 경험 필요.

JEPA(저수준)와 LLM(고수준 추론)의 결합

• JEPA는 저수준 행동/세계 이해 (복잡한 현실로부터 추상화)에 사용.
• LLM은 텍스트로부터 학습된 고수준 계획 (예: 항공권 예약)에 사용.

LLM이 (한계에도 불구하고) 뛰어난 이유: 자가 지도 학습의 성공

• 렉스 프리드먼: 르쿤의 회의론을 3년 전에 적용했다면 LLM의 성공을 예측하지 못했을 것.
• 얀 르쿤: LLM(자기회귀 및 BERT 스타일)은 자가 지도 학습(텍스트 손상 후 재구성 훈련)을 활용. 이는 르쿤 자신이 오랫동안 지지해 온 방식의 매우 인상적인 성공 사례.
• 이를 통해 언어 이해, 다국어 번역, 요약, 질의응답, 텍스트 생성 등이 가능해짐.

디코더-온리 LLM 스케일링의 놀라움 (GPT-2 시대)

• 자기회귀 기법: 이전 단어들로부터 다음 단어 예측.
• GPT-2 시대의 놀라움: 디코더-온리 LLM을 대량의 데이터로 크게 확장하자 언어 이해도가 향상됨.

유창함에 속다; 튜링 테스트는 나쁨; 모라벡의 역설은 여전함

• 렉스 프리드먼: LLM이 (튜링 테스트를 통과할 정도로) 설득력 있는 것이 합리적인가?
• 얀 르쿤: 우리는 LLM의 유창함에 속고 있음. 유창함이 인간 지능의 모든 특징을 의미하지는 않음.
• 튜링 자신도 튜링 테스트가 지능을 측정하는 좋은 테스트가 아니라고 판단했을 것 (AI 커뮤니티는 오래전에 결론 내림).
• 한스 모라벡도 자신의 역설이 여전히 적용된다고 말했을 것. LLM은 인상적이고 유용하지만 한계가 명확.

자가 지도 학습의 역사; 음성 분야 성공, 비전 분야 실패(생성 모델 사용 시)

• 르쿤은 약 40년간 표현 학습에 몰두. 처음에는 지도 학습, 이후 벤지오, 힌튼과 함께 비지도/자가 지도 학습 부활 시도 (2000년대 초).
• FAIR 설립(2014년) 후 텍스트, 이미지, 비디오, 오디오에 대한 새로운 자가 지도 학습 방법 추진.
• NLP 분야에서 큰 성공 (메타의 다국어 번역, 콘텐츠 검토 시스템 등).
• 음성 인식 분야에서도 성공 (Wav2Vec – JEPA의 일종, 적은 레이블 데이터로 다국어 음성 인식, 텍스트 없는 NLP).
• 그러나 10년간 비전 분야에서 자가 지도 학습(비디오 픽셀 예측을 통한 직관적 물리학 학습)은 생성 모델을 사용했을 때 실패를 거듭함. JEPA(표현 공간에서 예측)를 사용하면서부터 작동하기 시작.

인간 수준 AI를 위해 생성 AI를 버리고 JEPA에 집중하라

• 생성 모델로는 실제 세계의 좋은 표현을 학습할 수 없다는 충분한 증거가 있음.
• 르쿤의 조언: 인간 수준 AI에 관심 있다면 "생성 AI라는 아이디어를 버리라".

상식 vs. 고수준 추론; LLM은 저수준 기반 부족

• LLM의 "추론"은 세상을 탐색하는 데 사용되는 상식과는 다름. 둘 다 필요.
• JEPA(비디오 기반)는 저수준 상식(예: 손가락 튕겨서 뉴욕에서 파리 못 감)을 학습할 수 있음.
• 그러나 LLM은 현재 인간 언어의 기반이 되는 저수준 물리 세계의 공통 경험이 부족함.

상식이 언어 데이터에 내재되어 있는가? 감각 데이터의 풍부함

• 렉스 프리드먼: 방대한 텍스트 데이터(예: 떨어지는 컵에 대한 농담)에 중력이나 물체 항상성 같은 상식이 암묵적으로 포함되어 있지 않은가?
• 얀 르쿤: 고수준 상식은 저수준 상식을 필요로 하며, LLM에는 이 저수준 상식이 없다고 동의. 그러나 모든 근본적인 현실이 언어로 표현된다는 점에는 동의하지 않음.
• 중력, 관성, 물체 항상성, 18개월 유아의 마음 이론(theory of mind) 등 많은 상식은 아기들이 언어 이전 또는 언어와 무관하게 관찰/상호작용을 통해 학습. 감각 데이터가 훨씬 풍부함.

LLM 환각: 지수적 오류 누적

• 자기회귀 특성상 각 토큰 생성 시 오류 확률 존재. 오류는 시퀀스 길이에 따라 지수적으로 누적되어 비논리적인 답변으로 이어짐.

환각 수정의 어려움; 차원의 저주와 프롬프트의 긴 꼬리

• 일반적인 질문에 대한 미세 조정으로 약 80% 커버 가능.
• 그러나 학습되지 않은 "긴 꼬리(long tail)" 프롬프트는 엄청나게 많아 모두 대응 불가능.
• 훈련 분포를 벗어나는 프롬프트(예: 무작위 문자, 다른 언어로 단어 대체)로 시스템 "탈옥(jailbreak)" 가능.

LLM 추론의 원시성 (토큰당 일정한 계산량); 시스템 1 vs. 시스템 2

• LLM에서 토큰당 계산량은 질문의 복잡성과 무관하게 일정. 인간의 추론 방식(어려운 문제에 더 많은 시간 할애)과 다름.
• LLM은 시스템 1 (본능적, 무의식적, 패턴 인식).
• 인간 수준 AI는 시스템 2 (의도적 계획, 추론, 내부 세계 모델 사용) 필요.

미래 대화 시스템의 청사진: 목표 지향 AI (에너지 기반 모델)

• 시스템 2를 어떻게 구현할 것인가? 자기회귀적 토큰 예측이 아님.
• 확률 모델/그래픽 모델에서의 잠재 변수 추론과 유사.
• 에너지 기반 모델(Energy-Based Model): 프롬프트 X(관찰 변수)가 주어지면, 모델은 답변 Y와 X의 호환성을 측정. 출력은 스칼라 값(에너지: 좋은 답변이면 0, 나쁜 답변이면 0보다 큼).
• 추론: 주어진 X에 대해 에너지를 최소화하는 Y를 검색.
• 더 나은 방식: 이 검색을 '추상적 표현 공간'에서 수행. 에너지를 최소화하여 추상적 "생각"(Z)을 정교화한 후, 간단한 자기회귀 디코더가 Z를 텍스트로 변환.
• 이는 텍스트 생성 전 사고/계획을 가능하게 하며, 출력 언어와 독립적.

추상적 표현 공간에서의 최적화 (경사 하강법 기반 추론)

• 연속적인 추상적 표현 공간에서 경사 하강법(gradient descent)을 사용한 최적화.
• LLM이 많은 가설을 생성하고 최선을 선택하는 것보다 훨씬 효율적.

에너지 기반 모델 훈련 (대조적 vs. 비대조적/정규화)

• 호환되는 X-Y 쌍을 보여주고 모델이 0 에너지를 출력하도록 훈련.
• 시스템 붕괴(항상 0 출력) 방지:
  • 대조적 방법: 나쁜 Y를 보여주고 에너지를 높이도록 함. (단점: Y 공간이 크면 많은 네거티브 샘플 필요. RLHF의 보상 모델이 이와 유사)
  • 비대조적 방법 (르쿤 선호): 비용 함수에 정규화 항(regularizer)을 추가하여 낮은 에너지를 가질 수 있는 공간의 부피를 최소화. 특정 영역의 에너지를 낮추면 다른 곳의 에너지는 자동으로 올라감.

에너지 기반 모델의 표현; LLM의 암묵적 정규화

• 언어에 직접 적용 가능 (X=프롬프트, Y=답변).
• 시스템 내부에 좋은 답변을 나타내는 잠재 변수 Z가 있다면, Z를 조작하여 에너지 최소화 가능.
• LLM은 암묵적 정규화 수행: 한 단어에 높은 확률을 부여하면 다른 단어에는 낮은 확률 부여 (확률 합은 1). 간접적으로 좋은 시퀀스에는 낮은 확률, 나쁜 시퀀스에는 높은 확률을 부여하지만, 그 작동 원리가 명확하지 않음.

시각 데이터를 위한 에너지 기반 모델로서의 JEPA

• I-JEPA: 에너지 = (손상된 입력으로부터 예측된) 원본 입력 표현과 실제 원본 입력 표현 간의 예측 오류.
• 이 과정은 시각적 현실의 좋은 압축 표현을 학습함 (후속 분류 작업 성능으로 입증).

르쿤의 권고 요약; 강화학습(RL) 사용 최소화

• 자기회귀 생성을 버리고 JEPA 채택.
• 확률 모델을 버리고 에너지 기반 모델 채택.
• 대조적 방법을 버리고 정규화 방법 채택.
• 강화학습(RL)을 버리고 모델 예측 제어(MPC) 선호. RL은 계획이 실패했을 때 세계 모델/비평가(critic) 조정에만 사용.
• RL은 샘플 효율성이 매우 낮음. 먼저 관찰을 통해 좋은 세계 모델을 학습해야 함.

강화학습(RL) 사용 시점; RLHF가 "작동하는" 이유 (인간 피드백이 핵심)

• 목표 함수나 세계 모델이 부정확하여 작동 중 조정이 필요할 때 RL 사용 (탐험, 놀이, 호기심).
• RLHF의 혁신적 효과는 RL 자체가 아닌 '인간 피드백(HF)' 때문. 상당 부분은 지도 학습.

인간 피드백 활용 (보상 모델 훈련)

• 인간이 모델 답변 평가 → 평가 예측하는 목표 함수(보상 모델) 훈련 → 이를 사용하여 시스템 미세 조정 또는 계획 수립.

구글 제미나이의 "워크(Woke)" 편향; 편향 없는 AI의 불가능성

• 제미나이가 역사적으로 부정확하거나 터무니없는 이미지(흑인 조지 워싱턴, 흑인 나치 군인) 생성, 천안문 광장 관련 언급 거부.
• 르쿤의 논평: 오픈소스가 답이다.
• 편향 없는 AI 시스템이 가능한가? 르쿤: 절대 불가능. 편향은 보는 사람의 관점에 따라 다르며, 모든 사람에게 편향되지 않은 시스템은 존재할 수 없음.

자유롭고 다양한 AI의 필요성 (언론 자유와의 비유)

• 자유민주주의는 자유롭고 다양한 언론을 필요로 하며, 과학은 진보를 위해 이견을 필요로 함.
• 미래에는 모든 디지털 상호작용이 AI 비서를 통해 이루어질 것. 이러한 시스템이 소수의 서부 해안 기업들에 의해 통제되어서는 안 됨. 이는 인간 지식의 저장소를 소수가 통제하는 것과 같으며, 민주주의, 지역 문화, 가치, 언어에 대한 위협.

오픈소스가 다양성과 지역적 적응을 가능하게 함

• 기본 LLM 훈련은 비용이 많이 듬. 일부가 오픈소스화되면 누구나 미세 조정 가능.
• 다양한 그룹, 목적, 데이터에 특화된 다양한 AI 시스템 가능 (예: 프랑스 정부, 인도의 22개 공용어 지원, 세네갈의 의료 정보 제공).

오픈소스 기반 AI 산업 생태계; 필연적 방향

• 기업들은 수직적 응용 분야(예: 출판사의 도서 내용 Q&A, 메타 메이트 같은 내부 기업 지식 기반)를 위해 오픈소스 모델을 미세 조정 가능.
• AI 산업과 편향되지 않은 AI 시스템을 위한 유일한 방법은 오픈소스 플랫폼. 대부분의 AI 시스템이 이를 기반으로 구축될 것.

오픈소스를 통한 메타의 사업 모델

• 렉스 프리드먼: 메타는 수십억 달러 모델을 오픈소스화하면서 어떻게 수익을 창출하는가?
• 얀 르쿤: 메타 모델: 서비스 제공 후 광고 또는 기업 고객(예: WhatsApp을 통한 동네 피자 가게의 LLM 고객 응대)을 통해 자금 조달.
• 메타가 이미 보유한 방대한 사용자/고객 기반을 위해 시스템을 구축해야 한다면, 기본 모델을 오픈소스화하는 것이 손해가 아님.

오픈소싱의 이점 (메타 사례)

• 다른 회사들이 LLaMA 기반으로 유용한 앱을 만들면 메타 고객에게도 이익 (메타가 구매 가능).
• 커뮤니티가 플랫폼 개선 (LLaMA 2 수백만 다운로드, 수천 건의 개선 아이디어). 진보 가속화.

빅테크의 "편향 제거"와 이념적 성향

• 렉스 프리드먼: 제미나이 비판은 기술 분야 사람들의 좌파적 성향이 편향 제거 과정에서 드러난다는 것.
• 얀 르쿤: 문제는 설계자의 정치적 성향이 아니라 고객 기반/청중의 수용 가능성. 대기업은 너무 많은 사람을 불쾌하게 할 수 없으므로 제품을 "안전하게" 만들려고 함.
• 모든 사람을 만족시키는 것은 불가능. 한쪽으로 치우치면 한 그룹이 편향을 느끼고, 다른 쪽으로 치우치면 다른 그룹이 편향을 느낌. 너무 한쪽으로 치우치면 사실과 다른 결과 초래.

유일한 해결책은 다양성 (오픈소스가 가능케 함); 마크 안드레센의 비판

• 마크 안드레센의 트윗: 빅테크는 내부/외부 압력, 나쁜 답변 생성 위험, 법적 책임, 수용 가능한 출력을 보장하기 위한 모델 성능 저하 등으로 인해 생성 AI 제품 출시에 어려움을 겪음. 결론: 스타트업과 오픈소스만이 이 문제를 피할 수 있음.
• 르쿤: 안드레센의 지적(법적 책임, 의회 조사 등 대기업의 우려 사항)은 여러 면에서 옳음.

불가피한 불쾌감; 언론 자유와 AI 출력의 한계 (가드레일)

• 유용한 AI는 필연적으로 일부 사람들(도덕적, 종교적, 문화적 문제)을 불쾌하게 만들 것.
• 다양성(오픈소스를 통해)이 해답.
• 개인/정부가 자체 모델을 미세 조정하면 더 분열될 수도 있지만, 이는 인간이 해결할 문제.
• 언론 자유의 한계처럼 한계 필요. 가드레일(안전장치) 필요. 목표 지향 AI는 가드레일 포함 가능. 오픈소스 시스템에는 최소한의, 보편적으로 동의 가능한 가드레일(비위험성, 비유독성 등)을 포함하고, 커뮤니티가 더 구체적인 가드레일 추가 가능.

AI를 이용한 생화학 무기/유해성; LLM이 검색 엔진보다 더 쉽게 만들지는 않음

• 연구 결과: 검색 엔진/도서관 접근이 가능하다면 LLM이 생화학 무기 설계/제작을 더 쉽게 만들지는 않음.
• 실제 제작은 지침보다 훨씬 어려우며, LLM은 실제 실험실 전문 지식에는 도움을 주지 못함 (다시 모라벡의 역설).
• 국가들은 생화학 무기를 사용하지 않음 (자국민에게 너무 위험). 화학 무기도 유사. 로켓 엔진 제작: 정밀한 지침이 있어도 성공 전 많은 폭발 경험.

LLaMA의 미래: 더 크고, 더 좋고, 다중 모드, 계획, 세계 모델

• LLaMA 개선 방향: 더 크고, 더 좋고, 다중 모드 지원.
• 미래 세대 LLaMA: 계획 수립, 세계 이해(비디오로 훈련), 추론 능력 갖춘 시스템.
• 시기는 미정, 돌파구 필요. 연구 논문을 통해 진행 상황 공개 예정 (예: V-JEPA).

JEPA 기반 세계 모델과 인간 수준 AI 경로에 대한 기대

• 다음 단계: 비디오 기반 JEPA 방식 세계 모델 (딥마인드, 버클리에서도 유사 연구 진행 중).
• 르쿤은 이러한 시스템이 생성 모델이 아닌 JEPA 방식일 것으로 예상.
• 이러한 아이디어를 통해 인간 수준 지능(세계 이해, 기억, 계획, 추론)으로 가는 경로에 대해 매우 기대하고 있음. 은퇴 전에 성공을 보고 싶다고 언급.

하드웨어와 컴퓨팅 규모의 역할; 뇌 효율에는 아직 한참 미치지 못함

• 규모는 필요하지만 충분조건은 아님.
• 인간 두뇌의 연산 능력에는 아직 한참 미치지 못하며(향후 수십 년 내 도달 가능성), 특히 전력 효율성은 매우 뒤처짐 (GPU 0.5-1kW vs. 두뇌 25W).
• 현재 하드웨어 발전은 아키텍처 혁신에서 비롯. 미래에는 새로운 원리/제조 기술/기본 부품(디지털 CMOS 이상) 필요 가능성.

AGI는 곧 오지 않음; 점진적 진보이지 단일 사건이 아님

• AGI는 단일 사건(비밀 발견, 기계 가동)이 아닐 것. 점진적 진보.
• 고양이만큼 똑똑한 시스템부터 시작하여 점차 지능을 높여가며 가드레일 추가.
• 계층적 계획/표현 학습, 다양한 상황 적응 능력 등 많은 미해결 문제 존재. 최소 10년, 아마도 그 이상 소요될 것.
• 지난 12-15년간 AGI가 "곧 온다"고 주장했던 사람들은 체계적으로 틀렸다고 지적.

AGI에 대한 낙관론의 이유; 지능은 다차원적

• 모라벡의 역설은 세상의 복잡성을 깨달은 결과.
• 지능은 단일 스칼라 값으로 측정 불가. 인간 vs. 오랑우탄: 다른 환경, 다른 기술. IQ는 제한적.
• 지능 = 기술의 집합 + 새로운 기술을 효율적으로 습득하는 능력. 다차원적이므로 개체 간 비교 어려움.

AI 파멸론자들의 오류: 초지능 출현과 고유한 지배욕

• 파멸론자들은 AI가 통제를 벗어나 인류를 멸망시키는 시나리오 상상. 대부분 잘못된 가정에 기반:
  1. 초지능 출현이 단일 사건일 것이라는 가정 (르쿤: 틀림. 점진적이며 가드레일 개발 병행. 선한 AI가 악한 AI 견제 가능).
  2. 지능적 시스템은 필연적으로 지배욕을 가질 것이라는 가정 (르쿤: 틀림). 자연계의 지배적 종 비유는 부적절. AI는 우리와 경쟁하는 종이 아님.

지배욕은 고유한 것이 아님; 목표 지향 AI의 통제 가능성

• 지배욕은 특정 '사회적' 종(인간, 개코원숭이 등)에 고유하게 내재된 것이며, 모든 지능적 종(예: 오랑우탄)에 해당하지 않음.
• AI를 인간에게 복종하도록 만들려는 인센티브 존재. LLM은 통제 불가능하지만, 목표 최적화를 통해 답변을 도출하는 '목표 지향 AI'는 목표 함수에 가드레일(인간 복종, 아시모프 법칙 등)을 포함할 수 있어 통제 가능.
• 가드레일 설계는 간단하지 않으며 점진적/반복적 과정. 터보젯 엔진 안전성 확보 과정(수십 년 소요, 단일 원리 부재)에 비유. 더 나은 AI = 더 안전한 AI.

대량 설득/무기화 AI; 개인 AI 비서를 통한 방어

• 렉스 프리드먼: 매우 설득력 있는 AI가 정신을 통제하는 무기가 될 수 있는가?
• 얀 르쿤: 핵무기와는 다름. 점진적 진보, 대응책 마련.
• 악의적 AI(예: 푸틴의 AI가 미국 유권자 현혹 시도)는 우리 각자의 'AI 비서'와 먼저 대화해야 하며, 이 비서들은 그만큼 똑똑할 것. 스팸 필터처럼 작동.
• 한 AI 시스템이 다른 AI 시스템을 속일 정도로 크게 앞서나가기는 매우 어려움. 역사는 진보 대 대응책의 연속.

AI는 핵무기와 다름; 기술 정보는 빠르게 확산됨

• AI 돌파구는 비밀스러운 맨해튼 프로젝트처럼 진행되지 않을 것. 산업계에서 비롯되며 정보는 매우 빠르게 확산 (알파고 3개월 만에 재현).
• 미국 기술/실리콘밸리의 성공은 신속한 정보 순환 덕분.

AI 파멸론자들의 심리 (신기술에 대한 두려움); 비관론자 아카이브

• 르쿤의 볼펜 비유: 신기술(볼펜) 등장 시 가짜뉴스, 혐오 발언 등 우려와 규제 요구 발생.
• 변화에 대한 본능적 두려움 (기존 세계, 직업, 문화 위협).
• 역사적 사례: 전기, 기차, 재즈, 만화책 등이 사회 문제의 원인으로 지목됨. ("비관론자 아카이브(Pessimists Archive)" 웹사이트 언급)
• 질문: 변화를 수용할 것인가, 저항할 것인가? 실제 위험 대 상상 속 위험 구분.

빅테크 권력에 대한 두려움과 오픈소스가 해답 (반복 강조)

HAL 9000의 기업 화법; 대기업 내 과도한 신중함 회피

• 렉스 프리드먼: AI 지배자가 기업 화법으로 우리를 대할까 우려.
• 얀 르쿤: 해답은 오픈소스 플랫폼과 이를 통한 다양한 문화, 의견, 언어, 가치 체계를 대표하는 AI 비서 구축.

민주주의와 다양성을 위한 오픈소스에 대한 르쿤의 강력한 입장

• 독점적 AI 시스템을 통한 권력 집중의 위험이 다른 모든 것보다 훨씬 큼.
• AI 시스템을 "보안"(테러리스트 사용 방지 등)을 이유로 통제하에 두는 것은 소수의 기업이 정보를 통제하는 나쁜 미래로 이어짐.
• 인간에게 기술을 맡겨야 함 (민주주의/언론 자유 비유). 나쁜 사람들은 나쁜 일을 하겠지만, 좋은 사람들이 열등한 기술을 갖지는 않을 것. 선한 AI 대 악한 AI 구도.

로봇 공학의 미래 (인간형 로봇): 머지않아, 그러나 세계 모델 필요

• 수백만 대의 인간형 로봇이 돌아다니는 미래: 머지않아 올 것이지만, 당장은 아님. 향후 10년이 로봇 공학에서 매우 흥미로울 것.
• 로봇 산업의 부상은 10-20년간 지연. 주된 이유는 모라벡의 역설 (세계 작동 방식 이해 및 행동 계획 능력 부족).
• 보스턴 다이내믹스: 수작업 동적 모델, 고전적 로봇 공학. 아직 가정용 로봇 제작 불가.
• 레벨 5 자율주행(특히 인간처럼 20시간 만에 학습)은 아직 멀었음.
• AI가 세계 모델(세상 작동 방식 이해)을 학습하기 전까지 로봇 공학의 큰 진전은 없을 것. 로봇 하드웨어 개발은 이러한 AI 진전에 기대를 걸고 있음.

서투른 로봇 속에서의 제품 발견; 가정용 로봇의 어려움

• "거의 강력한" 세계 모델(서투른 로봇) 속에서도 제품을 찾으려는 시도.
• 공장 자동화는 어려움 (안전 문제 등). 가정이 더 흥미로운 시장.
• 식기세척기 채우기, 청소, 요리 등은 매우 정교하고 복잡한 작업.
• 기본적 탐색은 "어느 정도 작동". FAIR의 체화된 AI(embodied AI) 그룹은 상용 로봇(로봇 개)을 사용하여 냉장고로 이동, 문 열기, 캔 집기 등 시연. 그러나 복잡한 가정 일에는 아직 미흡.

박사 과정 학생들을 위한 조언: 세계 모델, 계획, 계층적 계획

• JEPA 진전에는 시간 소요. 많은 연산 없이도 돌파구 가능.
• 박사 과정 조언:
  1. 관찰을 통한 세계 모델 훈련 방법 (반드시 거대 데이터셋 필요하지 않을 수 있음).
  2. 학습된 세계 모델을 이용한 계획 수립 (물리적 행동뿐 아니라 인터넷 검색, DB 질의, 시뮬레이션 실행 등 "행동" 포함).
  3. 계층적 계획 (필요한 표현 수준 학습 방법 전무).

인류 미래에 대한 희망: AI를 통한 인간 지능 증폭 (인쇄술 비유)

• AI는 인간 지능을 증폭시킬 것. 각자가 똑똑한 AI 비서단을 갖는 것과 유사.
• 지능은 가장 수요가 많은 상품. 인류의 모든 실수는 지능/지식 부족에서 비롯.
• 인쇄술 발명과의 비유: 책을 저렴하게 보급하여 더 많은 사람이 읽기를 배우고 똑똑해짐. 계몽주의, 민주주의, 과학 발전 가능케 함. (그러나 200년간의 종교 갈등도 야기)

오스만 제국의 인쇄술 금지 (서예가 보호 목적): AI 규제에 대한 비유

• 오스만 제국은 아랍어 인쇄술을 200년간 금지 (서예가 조합의 사업 보호 목적).
• 오늘날 AI를 "금지"하거나 과도하게 규제함으로써 우리는 누구를 보호하고 있는가?

AI와 일자리; 인간은 근본적으로 선함; 오픈소스에 대한 감사

• AI는 대량 실업을 야기하지 않고 점진적인 직업 변화를 가져올 것. 미래 유망 직종은 현재 예측 불가능 (20년 전 모바일 앱 개발자처럼).
• 르쿤과 프리드먼은 인간이 근본적으로 선하다고 믿으며, 오픈소스 AI가 이를 강화한다고 동의. 파멸론자들은 인간/제도 불신.
• 프리드먼은 르쿤의 오픈소스 연구/모델 추진 및 솔직한 발언에 감사 표현.