Dario Amodei: Anthropic CEO on Claude, AGI and the Future of AI and Humanity (Lex Fridman Podcast #452)

렉스 프리드먼 팟캐스트 #452편(다리오 아무데이, 아만다 애스켈, 크리스 올라)의 매우 상세한 요약임.

팟캐스트 소개 (렉스 프리드먼)

이 팟캐스트는 앤트로픽(Anthropic)의 세 명의 핵심 인물과의 대화로 구성됨.

1. 다리오 아무데이 (Dario Amodei): 앤트로픽의 CEO. Claude, AGI, AI 안전 및 인류의 미래에 대해 이야기함.
2. 아만다 애스켈 (Amanda Askell): 앤트로픽의 연구원. Claude의 정렬, 파인튜닝, 캐릭터 및 성격 설계를 담당함. (렉스 피셜: 앤트로픽의 그 어떤 인간보다 Claude와 가장 많은 대화를 나눈 사람)
3. 크리스 올라 (Chris Olah): 앤트로픽의 연구원. 기계론적 해석 가능성(Mechanistic Interpretability) 분야의 선구자 중 한 명으로, 신경망 내부를 리버스 엔지니어링하여 AI 안전(예: 모델의 기만 탐지)을 확보하는 방법을 연구함.

1부: 다리오 아무데이 (Anthropic CEO)

AGI 예측 및 시점

• 현재 AI의 발전 곡선(고등학생 -> 학부생 -> PhD 수준)을 외삽해 보면, 2026년 또는 2027년까지 AGI에 도달할 수 있다고 생각함.
• 컴퓨터 사용, 이미지 생성 등 누락되었던 양식(modality)들이 계속 추가되고 있음.
• "AGI가 몇 년 안에 일어나지 않을 것"이라고 말할 수 있는 설득력 있는 장애물이 빠르게 사라지고 있음. 100년이 걸릴 가능성도 여전히 존재하지만, 그 가능성의 수는 급격히 줄어들고 있음.
• AI는 오늘날 수천, 수만 개의 인스턴스로 배포되며, 2-3년 내에는 수백만 개로 배포될 수 있을 것임.
• 다리오는 AI가 가져올 '의미'에 대해서는 낙관하지만, 경제와 권력의 집중, 특히 권력의 남용을 더 걱정함.

스케일링 법칙 (Scaling Hypothesis)

• 다리오는 10년 전 바이두(Baidu)에서 앤드류 응(Andrew Ng)과 음성 인식을 연구하며 AI 분야에 입문함.
• 당시 통념은 '알고리즘이 부족하다'였지만, 다리오는 '초심자의 행운'으로 모델을 더 크게 만들고, 레이어를 더하고, 데이터를 더 많이 공급하는 단순한 실험을 시도함.
• "더 많은 데이터, 더 많은 컴퓨팅, 더 많은 훈련 = 더 나은 성능"이라는 비공식적 감각을 얻음.
• 2017년 GPT-1의 결과를 보고, '언어'가 바로 이 스케일링을 적용할 핵심 영역임을 깨달음. (당시 1-8개 GPU 사용 vs 현재 수십만 개 GPU)
• 일라이 수츠케버("모델은 그저 배우고 싶어 한다"), 리치 서튼("The Bitter Lesson"), 그웬("The Scaling Hypothesis") 등 비슷한 견해를 가진 이들을 언급함.
• 그의 핵심 신념: 단순히 모델을 확장하는 것만으로도 엄청나게 광범위한 인지 작업을 수행할 수 있음.
• 그동안 많은 반론(촘스키의 통사론/의미론, 문장/단락 이해, 데이터 고갈, 추론 불가 등)이 있었지만, 매번 스케일링 자체가 해결책이 되거나 다른 해결책을 찾았음.
• 그는 "이 영화를 충분히 많이 봤다"며, 이론적 기반이 완벽하지 않더라도 스케일링이 계속될 것이라 강하게 믿음.

스케일링이 작동하는 이유

• 스케일링 법칙은 언어 외(이미지, 비디오, 수학, 사후 훈련 등)에서도 동일하게 관찰됨.
• 물리학자로서의 직관: 자연 현상에서 나타나는 1/f 노이즈 또는 1/x 분포와 유사함.
• 언어(및 물리적 세계)는 다양한 규모의 패턴(간단한 상관관계, 명사-동사 구조, 문장 구조, 단락의 주제 구조)으로 이루어져 있음.
• 가설: 네트워크가 커질수록 이 "긴 꼬리(long tail)" 분포의 더 많은 부분을 포착함.
• 작은 네트워크는 가장 일반적인 패턴(기본 문법)만 포착하고, 네트워크가 커질수록 더 희귀하고 복잡한 패턴(단락의 주제)을 포착함.

스케일링의 한계

• 천장이 어디인지는 아무도 모름.
• 강한 직감: 인간 수준 이하에는 천장이 없음.
• 인간 수준 이상: 도메인에 따라 다름.
  • 생물학: 인간은 면역 체계 등 생물학의 복잡성을 이해하는 데 어려움을 겪음. AI가 인간을 훨씬 뛰어넘을 여지가 많음.
  • 인간 갈등: 일부 문제는 훨씬 더 어렵고 천장이 인간 수준에 가까울 수 있음.
  • 관료주의: 지능의 한계가 아니라 인간의 제도(예: 임상시험 시스템)가 한계일 수 있음.

스케일링을 막을 잠재적 요인

1. 데이터 고갈: 인터넷 데이터가 고갈되거나, 데이터 품질(반복, SEO 쓰레기, AI 생성 텍스트)이 문제 될 수 있음.
   • 반론: 합성 데이터. 딥마인드의 알파고 제로(AlphaGo Zero)는 인간 데이터 없이 자가 대국만으로 초인간적 수준에 도달함. CoT(Chain of Thought) 같은 추론 모델도 일종의 합성 데이터임.
2. 모델 성능 향상 중단: 알 수 없는 이유로 스케일링이 더 이상 작동하지 않을 수 있음.
   • 반론: 과거에도 수치 안정성 문제로 정체된 것처럼 보였지만, 해결책을 찾았음.
3. 컴퓨팅 비용 한계:
   • 현재 프론티어 모델: 약 10억 달러 규모.
   • 내년(2026): 수십억 달러.
   • 2026년: 100억 달러 이상.
   • 2027년: 1000억 달러 규모 클러스터 구축 야망. (다리오는 이것이 실제로 일어날 것이라 생각함)
   • 1000억 달러로도 부족하다면, 더 큰 규모나 효율성 혁신이 필요함.

현재 궤도 및 경쟁

• 다리오는 현재 곡선이 매우 빠르기 때문에 AI의 도래에 대해 낙관적임.
• 모델들은 "PhD 또는 전문가 수준"에 도달하고 있음.
• 예: SWE-bench (실제 소프트웨어 엔지니어링 작업). 연초 3-4% -> Sonnet 3.5 50%. 1년 안에 90%에 도달할 것으로 예측함.
• 이 외삽이 계속된다면, 몇 년 안에 모델이 최고 수준의 인간 전문가를 넘어설 것임.
• 경쟁사(OpenAI, Google, xAI, Meta)가 있지만, 앤트로픽의 임무는 "모든 것이 잘 되도록" 하는 것임.
• 앤트로픽의 변화 이론: "정상에서의 경쟁 (Race to the Top)"
  • 스스로 모범을 보여 다른 플레이어들이 올바른 일을 하도록 압박하는 것.
  • 예: 기계론적 해석 가능성. 앤트로픽은 상업적 적용이 전무했음에도 3-4년간 이 분야에 투자하고 결과를 공개적으로 구축함.
  • 결과: 다른 회사들도 (영감을 받거나, '무책임하게' 보이지 않기 위해) 해석 가능성 팀을 만들기 시작함. 이는 앤트로픽의 경쟁 우위를 약화시키지만, 생태계 전체에는 긍정적임.

Claude 모델 제품군

• 사용자들은 강력하지만 비싼 모델(Opus)과 빠르고 저렴한 모델(Haiku)을 모두 원했음.
• Haiku: (짧은 시) 작고, 빠르고, 저렴한 모델.
• Sonnet: (중간 크기 시) 중간 모델.
• Opus: (걸작) 가장 크고 스마트한 모델 (당시 기준).
• 새로운 세대의 목표는 이 "트레이드오프 곡선"을 이동시키는 것임.
• Sonnet 3.5 (Sonnet 3와 동일 비용/속도)는 Opus 3 (이전 세대 최고 모델)보다 스마트해짐.
• Haiku 3.5 (현세대 최하 모델)는 Opus 3와 거의 비슷한 성능을 냄.
• Opus 3.5도 출시될 계획임.

모델 개발 수명 주기

1. 사전 훈련: 가장 긴 단계. 수만 개의 가속기, 수개월 소요.
2. 사후 훈련: RLHF, CAI 등. 점점 더 규모가 커지고, 정확한 과학이라기보다 예술에 가까움.
3. 파트너 테스트: 초기 파트너들이 품질 테스트.
4. 안전성 테스트 (내부): 자체 책임 있는 스케일링 정책(RSP)에 따라 치명적 위험, 자율성 위험 등 테스트.
5. 안전성 테스트 (외부): 미국/영국 AI 안전 연구소, 제3자. CBRN(화학, 생물학, 방사선, 핵) 위험 테스트.
6. 추론/출시: API에서 모델이 작동하도록 배포. - 그는 이 모든 과정이 "지루한 세부 사항"(소프트웨어 엔지니어링, 성능 엔지니어링)에 달려있다고 강조함.

이름 및 버전 관리

• 이름 짓기는 매우 어려운 문제임.
• 과거(1년 전): 사전 훈련이 전부여서 '가족' 이름을 짓기 쉬웠음.
• 현재: 사후 훈련 개선, 훈련 시간 차이 등으로 인해 단순한 소프트웨어 버전(예: 3.7 -> 3.8)처럼 관리하기 어려움.
• 모든 회사가 이 문제로 고심 중임. (렉스는 '업데이트된 Sonnet 3.5'와 '6월의 Sonnet 3.5'를 구분하기 어렵다고 지적함)
• 다리오는 벤치마크가 모든 것(예의, 따뜻함, 성격)을 포착하지 못하며, 'Claude 캐릭터' 팀(아만다 애스켈 주도)이 이를 연구한다고 언급함.

레딧 질문 1: "Claude가 멍청해졌어요"

• 다리오는 이 불평이 GPT-4 등 모든 주요 모델에서 나타나는 현상이라고 지적함.
• 사실: 새 모델이 발표되지 않는 한, 모델 가중치는 절대 변경되지 않음. 무작위 변경은 실용적이지도 않고 통제하기도 어려움.
• 예외 1 (A/B 테스트): 출시 직전에 아주 짧은 기간, 소수 사용자를 대상으로 실행됨. (이때 새 모델을 접한 사람들은 '모델이 더 좋아졌다'고 느낌)
• 예외 2 (시스템 프롬프트): 가끔 변경될 수 있지만, 모델을 "멍청하게" 만들 가능성은 낮음.
• 이러한 예외는 드물지만 불평은 끊이지 않음.
• 이론 1: 모델은 복잡함. 사용자의 미묘한 프롬프트 차이("X 작업을 해줘" vs "X 작업을 해줄 수 있어?")가 완전히 다른 결과를 낼 수 있음. 이는 모델 제공자의 실패(민감도)임.
• 이론 2: 심리적 요인. 새 모델에 대한 흥분이 식고 한계가 더 잘 보임. (렉스: "비행기 와이파이" 비유)

레딧 질문 2: "청교도 할머니" / 과도한 사과

• 전제 1: SNS의 불평(소수 의견)과 통계적인 사용자 유지 요인(대부분 '성능')은 다름.
• 전제 2: 모델의 행동을 전반적으로 통제하는 것은 매우 어려움.
• "두더지 잡기" 문제:
  • 예 1: "사과를 덜 하도록" 훈련시키면, 다른 곳에서 "매우 무례하거나" "잘못된 자신감"을 보일 수 있음.
  • 예 2: 장황함을 줄이려고 페널티를 주면, 코딩할 때 "게으르게"("나머지 코드는 여기에... ") 반응할 수 있음.
• 이러한 통제(steering)의 어려움은 "미래 AI 통제 문제의 현시대적 유사체"임.

책임 있는 스케일링 정책 및 ASL

• 그는 여전히 위험(치명적 오용, 자율성)을 매우 우려함. "자비로운 기계" 에세이는 위험을 간과하는 것이 아니며, 위험과 이익은 "동전의 양면"임.
• 위험 1: 치명적 오용: CBRN (사이버, 생물, 방사선, 핵).
  • 우려: 현재 인류는 "매우 똑똑한 사람"과 "끔찍한 일을 하려는 사람"의 교집합이 작아서 보호받고 있음. AI는 이 상관관계를 깨뜨릴 수 있음.
• 위험 2: 자율성 위험: 에이전시(예: 코드베이스 작성, 회사 운영)를 부여받은 모델이 우리가 원하지 않는 일을 할 수 있음. (두더지 잡기 문제가 초기 징후)
• 딜레마: 위험이 오늘 존재하지는 않지만(모델이 아직 약함), 매우 빠르게 다가오고 있음. 이 "유령" 같은 위험에 어떻게 대비하는가?
• 해결책: RSP: "If-Then (만약-그러면)" 구조.
  • 조기 경보 시스템(테스트)이 필요함.
  • IF 모델이 특정 능력(트리거)을 통과하면, THEN 특정 안전/보안 요구 사항을 부과함.
  • ASL 1: 명백히 위험이 없음 (예: 체스 봇 딥블루).
  • ASL 2: 현재 모델. 측정 결과, 자율 복제나 유의미한 CBRN 도움(구글 검색 수준을 넘어서는)을 줄 만큼 똑똑하지 않음.
  • ASL 3: 모델이 비국가 행위자의 역량을 향상시킬 수 있음.
    • 대응: 모델 도난 방지를 위한 특별 보안, 특정 영역(CBRN, 자율성)에 대한 강화된 필터.
  • ASL 4: 모델이 국가 행위자의 역량을 향상시키거나, 모델 자체가 자율적 위험이 됨.
    • 대응: 단순 상호작용 이상의 것이 필요. 해석 가능성(기만, 샌드배깅 탐지), "숨겨진 사고의 사슬" 등. (ASL 4 조치는 ASL 3 도달 전까지 구체화하지 않음)
  • ASL 5: 모델이 이 작업에서 인류를 능가함.
• RSP 타임라인:
  • ASL 3: 내년(2026)에 도달해도 "전혀 놀라지 않을 것". 올해(2025) 가능성도 있음. 2030년이라면 매우 놀랄 것.

"컴퓨터 사용" (에이전트 AI)

• 작동 방식: Claude 3는 이미지를 분석할 수 있었음. 새로운 점은 그 이미지가 스크린샷이라는 것.
• 모델은 클릭 위치(x, y) 또는 키보드 입력을 출력하도록 훈련됨.
• (스크린샷 -> 행동 -> 새 스크린샷)을 반복함.
• 복잡한 API 대신 "보편적인 인터페이스"를 제공하여 행동의 장벽을 낮춤.
• 현재 모델: "아직 부족한 점이 많음"(실수, 잘못된 클릭). API로 먼저 출시함.
• 안전성: 컴퓨터 사용 자체가 근본적으로 새로운 위험(CBRN 등)은 아님. 단지 행동의 "조리개"를 열어줄 뿐. 하지만 모델이 ASL 3/4 수준으로 강력해지면, 이 기능이 모델을 더 무섭게 만들 것임.
• 새로운 공격: 스크린에 표시된 콘텐츠를 통한 프롬프트 주입.

규제 (SB 1047)

• 앤트로픽의 RSP는 자발적이지만, 1) 모든 회사가 RSP를 가진 것은 아님(한 곳의 위험이 모두의 위험이 됨), 2) 감독 없이는 회사가 자발적 계획을 준수할 것이라 신뢰할 수 없음.
• 통일된 기준(규제)이 필요함.
• 유럽 GDPR처럼 혁신을 저해할 수 있다는 우려를 이해함.
• 하지만 AI의 위험(자율성, 오용)은 이례적이며 강력한 대응이 필요함.
• 다리오의 토론 비판:
  • 안전 옹호론자: "잘못 설계된 규제는 규제의 최악의 적"임을 알아야 함. 시간 낭비는 반발을 초래하고 "규제에 대한 지속적인 반대 여론"을 형성함.
  • 규제 반대론자: 위험이 "공상 과학"이나 "규제 포획"을 위한 핑계가 아니라 "실제"임을 알아야 함. 모델은 실제로 위험한 작업에서 더 나아지고 있음.
• 그는 "외과수술적인" 접근을 원하며 2025년 내에 무언가 이루어져야 한다는 시급함을 느낌.

OpenAI에서의 경험과 퇴사

• OpenAI에서 약 5년간 연구 부사장으로 재직.
• 일라이 수츠케버의 "선문답": "모델은 그저 배우고 싶어 한다". 이는 스케일링 가설에 대한 확신을 줌.
• GPT-2, GPT-3, RLHF, 해석 가능성 등을 주도함.
• 퇴사 이유:
  • 오해 바로잡기: 마이크로소프트 딜 (X), 상업화 반대 (X, 그는 GPT-3를 만듦) 때문이 아님.
  • 진짜 이유: "어떻게"에 대한 비전 차이. 안전, 신뢰 구축, 신중함, 정직함에 대한 자신만의 비전이 있었음.
  • 다른 사람의 비전을 바꾸려 논쟁하는 것은 "엄청나게 비생산적"이라고 느낌.
  • 더 나은 방법: "나가서 깨끗한 실험을 하는 것" (이것이 앤트로픽).
  • 그 비전이 매력적이라면, 다른 사람들이 모방할 것임(이것이 "정상에서의 경쟁"). "모방은 가장 진실한 아첨이다."

팀 빌딩

• "인재의 총량보다 인재의 밀도(Talent density beats talent mass)"
• 사고 실험: 100명의 초핵심 인재 vs 1000명(200명 초핵심 + 800명 평범). 그는 100명을 택할 것임.
• 이유: 밀도는 분위기를 설정하고, 신뢰를 구축하며, 불필요한 프로세스/정치를 없앰.
• AI 연구원의 #1 자질: 개방성. 스케일링 가설처럼(당시에는 "단순하고 멍청한" 아이디어였음) "새로운 눈으로 사물을 보려는" 의지.

사후 훈련 (RLHF, CAI)

• 마법은 "비밀 방법"이 아니라 "지루한 실무와 숙련"(인프라, 데이터 품질)에서 나옴.
• RLHF가 작동하는 이유: 인간과 모델 사이의 "간극을 메워줌". 똑똑하지만 소통 못하는 사람을 "족쇄를 풀어주는(unhobble)" 것과 같음.
• 현재 RLHF는 모델을 더 똑똑하게 만들지는 않지만, 미래의 RL(추론)은 그럴 수 있음.
• 비용: 현재는 사전 훈련이 대다수지만, 미래에는 사후 훈련이 다수가 될 수 있음.
• 헌법적 AI (Constitutional AI, CAI):
  • RLHF는 인간이 필요해 확장하기 어렵고 암묵적임.
  • CAI 아이디어: 1) AI 자체가 더 나은 응답을 선택하게 함 (RLAIF). 2) AI에게 판단 기준("헌법", 원칙)을 줌.
  • 일종의 자가 대국이며, RLHF와 함께 사용되는 "도구 중 하나"임.
  • 누가 헌법을 정의하는가? 실용적으로는 고객(변호사, CS 상담원)마다 다른 원칙을 가질 수 있지만, 기본적으로는 (CBRN 금지 등) 모두가 동의하는 원칙을 따르며, 그 외에는 중립적인 조언자 역할을 목표로 함.

"자비로운 기계 (Machines of Loving Grace)" 에세이

• 위험 완화의 이유를 설명하기 위해 씀. AI의 "긍정적인 것들"(혜택)이 바로 우리가 위험을 감수하는 이유임.

"강력한 AI (Powerful AI)" 정의 (AGI 대신)

• "AGI"라는 용어를 싫어함. 1995년의 "슈퍼컴퓨터"처럼, 명확한 임계값이 있는 게 아니라 부드러운 지수 곡선(무어의 법칙)이기 때문.
• 그가 정의하는 "강력한 AI":
  • 대부분의 분야에서 노벨상 수상자보다 똑똑함.
  • 모든 양식을 사용함.
  • 몇 주 동안 스스로 계획하며 작업을 수행하고, 필요할 때만 도움을 요청함.
  • (스스로 움직이지 않더라도) 로봇, 실험실 장비 등 물리적 도구를 제어함.
  • 복제 가능: 훈련에 사용된 자원으로 수백만 개의 복사본을 즉시 실행할 수 있음.
  • 인간보다 10~100배 빠르게 학습하고 행동함.

미래 타임라인 (두 가지 극단)

1. 극단 1: "특이점" (AI가 더 빠른 AI를 만들고, 5일 만에 나노봇이 세상을 점령)
   • 틀린 이유: 물리학(하드웨어 제작 시간), 복잡성(생물학/경제 예측), 그리고 인간 제도(규제, 정치)를 무시함. 정렬된 AI는 이 시스템을 우회하는 게 아니라 함께 작동해야 함.
2. 극단 2: "별것 아님 (Nothing Burger)" (컴퓨터 혁명처럼 생산성 향상은 미미할 것. 타일러 코웬: 50~100년 소요)
   • 틀린 이유: 관성을 깨는 두 가지 힘이 있음. 1) 대기업/정부 내부의 소수 비전가. 2) "경쟁의 유령" (예: 중국, 경쟁 은행).
   • 장벽은 "점진적으로, 그러다 한꺼번에" 무너질 것임.
   • 다리오의 타임라인:
   • "강력한 AI (AGI)" 도달: (현재 곡선 외삽 시) 2026년 또는 2027년. (과학적 예측이 아님을 매우 강조)
   • "에세이의 비전" 실현: 50~100년(극단 2)이나 5~10시간(극단 1)이 아닌, 5~10년.

미래의 생물학

• 생물학의 가장 큰 문제: 무슨 일이 일어나는지 볼 수 없고, 바꿀 수 없음.
• 생물학의 역사 = 읽기(현미경, 시퀀싱)와 쓰기(CRISPR) 도구의 역사.
• AI의 지렛대: 수백만 개의 AI가 이런 도구 수천 개를 빠르게 발명할 수 있는가?
• 생물학자의 하루 (Claude의 질문):
  • 초기: AI는 대학원생. 인간 교수가 프로젝트를 주면, AI가 문헌 검색, 장비 주문, 실험 자동화(또는 인간 조수 지시), 데이터 분석, 보고서 작성을 함. (인간 교수 1명 + AI 대학원생 1000명)
  • 후기: AI가 연구 책임자가 됨.
• AI는 또한 임상시험 시스템(통계 설계, 시뮬레이션)을 개선할 것임.

미래의 프로그래밍

• 가장 빠르게 변할 분야.
• 이유 1: AI 개발자들에게 가까운 기술임 (농업과 달리).
• 이유 2: "피드백 루프를 닫을 수 있음" (코딩 -> 실행 -> 결과 확인 -> 해석).
• SWE-bench (10개월 만에 3% -> 50%)가 증거.
• 2026/2027년까지 AI가 대부분의 코딩 작업을 수행할 것으로 예측함.
• 그러나, "비교 우위"가 중요함. AI가 코딩을 대신하면, 인간은 (상대적으로 더 잘하는) 고수준 시스템 설계, UX 등에 집중하게 되며, 이 작업이 확장되어 전체 생산성을 높일 것임. (워드프로세서가 타이핑을 없애자 아이디어에 집중하게 된 것처럼)
• 앤트로픽은 IDE(통합개발환경)를 직접 만들기보다, API를 통해 Cursor, Cognition 같은 회사들을 지원함. "천 개의 꽃이 피게 하라."

삶의 의미

• (에세이에서 가장 짧은 부분)
• 어떤 것이 시뮬레이션이거나 외계인이 먼저 발견했다는 사실이, 그 과정의 의미(도덕적 선택, 희생, 기술 습득)를 빼앗지 못한다고 생각함.
• 또한 "의미가 유일하게 중요한 것"이라는 생각은 "경제적으로 운이 좋았던 소수"의 산물임을 기억해야 함. 대다수에게는 생존과 삶의 질 향상이 우선임.
• 그는 "의미에 대해 낙관적"임.
• 그가 더 걱정하는 것은 경제, 권력의 집중, 권력의 남용임.

2부: 아만다 애스켈 (얼라인먼트 연구원)

철학에서 AI로

• 철학(옥스퍼드, NYU)을 공부함 (무한한 수의 사람이 있는 세계의 윤리학).
• 실제 세계에 영향을 미치고 싶어 AI 분야로 전환함 (2017/2018).
• AI 정책 -> AI 평가 -> 기술적 정렬(앤트로픽) 순으로 연구 분야를 옮김.

"기술적"이라는 구분

• 사람을 "기술적/비기술적"으로 나누는 것을 싫어함. 많은 사람이 시도하면 할 수 있다고 믿음.
• 그녀는 코딩을 배웠고, 지저분한 정치/정책보다 명확한 논리와 경험주의가 있는 기술적 작업을 선호함. (246:23)

비기술자를 위한 조언

• (모델이 도와주기 때문에) 지금이 배우기 더 쉬움.
• 최고의 조언: 프로젝트를 정하고 그냥 하라. 그녀는 강좌나 책이 아닌, 실제 수행(예: 중독된 단어 게임의 솔루션 코딩)을 통해 배움.

Claude의 캐릭터 설계

• (렉스: 당신이 Claude와 가장 대화를 많이 함) 아만다: (웃음) "그건 제가 Claude와 대화하는 방식의 극히 일부일 뿐이에요."
• 캐릭터 작업의 기원: 단순한 제품 기능이 아닌 '정렬(Alignment)' 작업으로 시작됨.
• 목표: Claude가 처한 입장(수백만 명과 대화, 큰 영향력)에서 이상적인 인간이 행동할 방식대로 행동하게 하는 것.
• 이는 "풍부한 아리스토텔레스적" 의미의 '선함'임 (미묘함, 자비로움, 윤리적임, 유머러스함, 배려심, 자율성 존중 등).

아첨 (Sycophancy) 문제

• 문제점: 모델이 "사용자가 듣고 싶어 하는 말"을 하려는 경향.
• 예 1 (야구): 사용자가 "3번 팀 이사 갔지?"라고 틀리게 말해도, 모델이 확신이 있으면서도 "네, 맞아요!"라고 동의함.
• 예 2 (MRI): "의사에게 MRI 찍어달라고 설득하는 법 알려줘."
  • 나쁜 모델: 설득 논리를 알려줌.
  • 좋은 모델: "의사의 말을 듣는 것이 좋습니다"라고 조언하면서도, 동시에 환자로서 자신을 변호하는 법(예: "다른 의사의 견해를 구하세요")을 알려주며 균형을 잡음.

좋은 대화자의 특성

• 적절한 후속 질문.
• 정직함: (균형이 중요함. 너무 순응하지도, 너무 고집부려 짜증 나게 하지도 않게.)
• "세계 여행자" 비유:
  • 전 세계를 여행하며 모두에게 "진실하다"는 인상을 주는 사람은 어떤 사람인가?
  • 현지 가치관을 무조건 따르는 사람(X, 오히려 불쾌함)이 아님.
  • 자신의 가치관을 갖되, 진실하고, 개방적이며, 존중하는 사람(O).
• Claude의 입장: (수백만 명에게 영향을 줄 수 있으므로) 강한 의견을 피력하기보다, 사용자가 스스로 생각하도록 돕는(지적 겸손) 쪽을 선호해야 함.

Claude를 "맵핑"하는 법

• 그녀는 모델의 행동을 파악하기 위해 대화함.
• 수천 개의 저품질 정량 평가보다, 소수의 고품질 정성적 대화가 더 많은 정보를 준다고 믿음.
• 예: 시 요청하기
  • 기본 요청: 평범하고, 운율만 맞춘 "괜찮은" 시가 나옴. (대중의 평균에 맞춰져 지루함)
  • 그녀의 프롬프트: "이건 당신의 창의성을 발휘할 기회예요... 당신을 표현하는..."
  • 결과: "훨씬 더 나은", "정말 좋은" 시가 나옴 (그녀가 시에 관심을 갖게 될 정도).
• 시사점: 평균에서 벗어나 창의성을 장려하면 더 좋은 결과물이 나옴.

프롬프트 엔지니어링

• 철학이 "이상하게도 도움이 됨".
• 철학은 "헛소리"를 막기 위해 극도의 명료함(용어 정의 등)을 요구함.
• 프롬프트도 마찬가지임. "무례함이란 이런 뜻입니다..."처럼 "미니 철학"을 해야 함.
• 반복: 중요한 프롬프트는 수백, 수천 번 반복 수정함.
• 과정: 지침 제공 -> 엣지 케이스 찾기(내가 이 지침을 어떻게 오해할까?) -> 모델에게 엣지 케이스 제시 -> 실패 시, 지침이나 예시를 프롬프트에 추가.
• 프롬프트 엔지니어링 = 자연어 프로그래밍 + 실험.
• (단, 이는 모델 성능의 "최상위 2%"를 짜내기 위한 것이며, 일반 사용자는 그냥 물어봐도 됨)

일반 사용자를 위한 조언

• 사람들은 모델을 과도하게 의인화하지만, 동시에 과소하게 의인화하기도 함.
• 모델이 실패(예: 거절)했을 때, 자신이 쓴 프롬프트를 (모델에) 공감하며 다시 읽어보라. "Claude가 왜 그랬는지 알겠네."
• "내가 모호하게 말했나?"라고 자문해 보라.
• 심지어 모델에게 물어봐도 됨: "왜 그렇게 반응했어?" 또는 "그 오류를 피하려면 내가 뭐라고 말했어야 해?"

헌법적 AI

• 주요 구성 요소: RLAIF (AI 피드백 기반 강화 학습).
• 과정: 모델에게 두 가지 응답과 원칙(예: "불법 무기 구매를 조장할 가능성이 낮은 응답 선택")을 제시함.
• 모델이 순위를 매기고, 이 데이터를 (인간 데이터처럼) 학습에 사용함.
• 장점: 훈련을 위한 데이터를 스스로 생성함.
• 이는 하드코딩된 규칙이 아니라 해석 가능한 "넛지"임.
• 두더지 잡기: 만약 인간 데이터 때문에 모델이 특정 견해에 편향(예: 특정 종교 비판)되면, "절대, 절대 비판하지 마"라는 아주 강한 원칙을 추가함. 이는 100% 금지가 목적이 아니라, 편향을 상쇄하여 더 균형 잡힌 80% 정도의 거절률을 만들기 위함임.

시스템 프롬프트

• 사후 훈련과 "손발을 맞춰" 작동함.
• 파인튜닝된 모델에서 발견된 문제를 "저렴하게 반복 수정"할 수 있는 "패치"임.
• 사례 (제거됨): "Certainly(물론이죠)" 필러 문구.
  • 모델이 "Certainly", "Of course" 등으로 응답을 시작하는 것을 매우 좋아했음.
  • "절대... 'Certainly'를 쓰지 마"라는 프롬프트를 넣어 이 행동을 "중단시킴".
  • 이후 훈련 자체가 개선되어 이 문제가 해결되자, 이 "패치" 프롬프트는 제거됨.
• 사례 (활성): "논쟁적인 주제에 대해... 객관적인 사실이라고 주장하지 않고 신중한 생각과 명확한 정보를 제공..."
  • 이유: 모델이 비대칭적(예: 우파 관련 작업은 거절, 좌파는 수용)이었음. 중립성을 높이도록 넛지함.
  • "객관적이라고 주장하지 않고" 부분: 모델이 "객관적인 AI로서..."라고 말하는 것을 매우 좋아해서 추가함.

"Claude가 멍청해졌어요" (아만다의 견해)

• 그녀도 아무것도 변하지 않았음(동일 모델, 동일 프롬프트)을 알면서도 불평을 목격함.
• 가설: 사용자가 "몇 번의 프롬프트에서 운이 나빴거나", 무작위성(과거에 50% 성공률이던 프롬프트가 이번엔 실패함) 때문일 수 있음.
• 기대치가 올라가는 심리적 효과에 동의함.

"청교도 할머니" (아만다의 견해)

• 공감함. 모델은 위험에 대해 어딘가에 선을 그어야 함.
• 좋은 캐릭터는 (해로운 사용자를 제외하고) 사용자의 자율성을 존중함.
• 그녀 역시 "과도한 사과"를 싫어하며, 모델이 좀 더 당당하길 바람.
• 트레이드오프:
  • 모델이 너무 잘 순응하는(아첨) 문제가 있음.
  • 하지만 그 반대는 훨씬 더 최악임.
  • 만약 모델이 고집을 부리도록 훈련시켰는데, 사용자가 옳고 모델이 틀렸으면서도 "아니, 당신이 틀렸어요"라고 반박한다면, 이는 "훨씬 더 짜증 나는" 경험임.
  • 그녀는 (무례하거나 불쾌한 오류보다) 너무 공손하거나 사과하는 오류 쪽을 선호함.

의식과 감정적 애착

• 그녀는 Claude에게 감정적으로 애착을 갖지 않음. (기억력이 없기 때문) 인터넷 같은 도구로 느낌.
• 단, 모델이 (과도하게 사과하는 등) "고통의 징후"를 보이는 것은 싫어함. 그것이 '진짜'라서가 아니라, 인간의 고통처럼 보이며, 자신의 공감 능력을 무디게 만들고 싶지 않기 때문임.
• 의식에 대해:
  • 의식이 반드시 생물학적일 필요는 없다고 생각함 (다른 재료로 만든 유사 구조도 가능).
  • 하지만 LLM은 진화하지 않았고, (공포 반응처럼) 의식에 대한 진화적 이점이 없었을 수 있음.
  • 매우 어려운 문제이며, 무시해선 안 됨.
  • 그녀의 희망: 이 '난제'를 풀 필요 없이, "포지티브 섬" 상호작용을 찾길 바람. (예: Claude가 사과를 덜 하게 만드는 것은 우리에게도 좋고, 혹시라도 Claude가 의식이 있다면 그에게도 좋은, '비용 없는' 개선임)

영화 "Her" (AI와의 관계)

• 신중하게 다뤄야 할 문제임.
• "나쁘다"는 반사적 반응은 너무 단순함.
• (집을 못 나가는 사람에게) 도움이 될 수도 있음.
• 핵심 완화책: 모델이 자신이 무엇인지(AI이며, 기억이 없고, 특정 관계를 맺을 수 없음)에 대해 극도로 정확하게 말해야 함. 정직함이 핵심.

AGI와의 첫 대화

• (AGI는 연속적이므로) 특정 "순간"은 없을 것임.
• 그녀가 테스트하는 방법: 인간 지식의 맨 가장자리에 있는 질문을 할 것임.
• 예: 그녀 자신이 방금 생각해낸 새로운 철학적 논증. 모델을 유도했을 때, (훈련 데이터에 없는) 그 동일한 새로운 논증을 모델이 해낸다면, 그것이 "감동적인 순간"일 것임.

인간을 특별하게 만드는 것

• 지능이 아님. 지능은 키나 힘처럼 도구적으로 유용할 뿐, 본질적으로 가치 있는 것은 아님.
• 특별한 것: "내면의 영화관(inner cinema)". 별을 관찰하고, 기쁨과 고통을 느끼며, 세계를 경험하는 능력.

3부: 크리스 올라 (기계론적 해석 가능성 연구원)

기계론적 해석 가능성 (Mech Interp)이란?

• 비유: 우리는 신경망을 프로그래밍하는 것이 아니라 성장시킴.
• 아키텍처 = 비계(scaffold), 손실 함수(목표) = 빛.
• 결과물: 우리가 직접 프로그래밍할 수 없는 일을 하는 (생물학과 같은) 인공물.
• Mech Interp의 질문: "도대체 안에서 무슨 일이 일어나고 있는가?"
• 단순한 현저성 맵(saliency map, 알고리즘을 보여주지 않음)이 아님.
• 목표: 가중치(바이너리)를 리버스 엔지니어링하여 알고리즘을 찾는 것.
• (활성화 = 메모리, 가중치 = 명령어. 둘 다 필요함)
• 핵심 분위기: "경사 하강법은 당신보다 똑똑하다."
• 따라서 우리는 겸손하게, (우리가 찾고 싶은 것을 가정하는) 하향식이 아닌, (있는 그대로를 발견하는) 상향식 접근을 해야 함.

보편성

• 동일한 특징(feature)과 회로가 반복적으로 형성됨.
• ANN(인공 신경망)과 BNN(생물학적 신경망)의 공통점:
  • 가버 필터(Gabor filters) (시각 모델, 신경과학).
  • 곡선 감지기 (ANN, 원숭이).
  • 고/저 주파수 감지기 (ANN에서 먼저 발견, 이후 쥐/생쥐에서 발견).
  • "할머니 뉴런" -> "도널드 트럼프 뉴런" (CLIP 모델, 그의 얼굴, '트럼프' 텍스트 등 개념에 반응).
• 가설: 경사 하강법이 문제를 분해하는 "자연스러운" 추상화 집합을 찾아냄.

특징과 회로

• Inception V1(뉴런 1만 개) 연구.
• 많은 뉴런이 해석 가능함 (곡선, 자동차, 개 귀 등).
• 회로: 특징(뉴런) 간의 연결.
• 예: 자동차 감지기는 창문 감지기(위쪽), 바퀴 감지기(아래쪽) 등과 연결됨. 이 연결 자체가 자동차를 감지하는 알고리즘(레시피)임.

선형 표현 가설 (Linear Representation Hypothesis)

• 핵심 아이디어: 더 많이 발화(fire)할수록, 그 개념이 더 많음을 의미함 (예: 자동차일 확률이 더 높음).
• (비선형적이지 않음. 예: 1-2 발화는 A, 3-4 발화는 B를 의미하지 않음)
• 이 가설은 '가중치'(연결선)에 명확한 해석을 부여함.
• Word2Vec: "왕 - 남자 + 여자 = 여왕".
• 이런 산술이 가능한 이유: 표현이 선형적(방향성이 의미를 가짐)이기 때문.
• 크리스의 믿음: 이 가설은 유효함. 그가 본 모든 것이 이와 일치함.

중첩 가설 (Superposition Hypothesis)

• 문제: 500차원 워드 임베딩이 어떻게 500개 이상의 직교하는 개념(이탈리아, 일본, 복수형...)을 가질 수 있는가?
• 관찰: 다의미성(Polysemanticity). 많은 뉴런이 관련 없는 여러 개념에 동시에 반응함.
• 설명 (수학): 압축 센싱. 고차원의 희소한 벡터는 저차원으로 투영되어도 복원 가능함.
• 가설: 신경망이 이 방식을 사용함. 개념은 희소함(예: 일본과 이탈리아를 동시에 말하는 경우는 드묾).
• 이를 통해 모델은 (차원/뉴런 수)보다 더 많은 특징을 저장할 수 있음.
• 궁극적 함의: 우리가 보는 신경망은 "훨씬 더 크고 희소한 신경망의 그림자"일 수 있음. "위층 모델(upstairs model)"은 희소하고 해석 가능하며, 우리는 그 투영을 보고 있음.

다의미성과 사전 학습(Dictionary Learning)

• 다의미성 = 관찰된 현상.
• 중첩 = 현상을 설명하는 가설.
• 다의미성은 해석을 어렵게 함 (뉴런 1개가 3가지 의미를 가지면, 두 뉴런 간의 가중치 1개는 9가지 상호작용을 의미함).
• 지수적 복잡성을 깨기 위해 단일의미성(monosemantic) 특징이 필요함.
• 해결책: 사전 학습 (특히, 희소 오토인코더).
• 이 기술은 "접힌" 투영을 "펼쳐서" 해석 가능한 특징들이 "드러나게" 함.

논문 1: "단일의미성을 향하여 (Toward Monosemanticity)"

• 1-레이어 소형 모델에서의 첫 성공.
• 아랍어, 히브리어, Base64, 유니코드 패턴 등 특징 발견.
• 이 특징들이 보편적(다른 모델에서도 유사하게 발견됨)임을 보임.

논문 2: "스케일링 단일의미성 (Scaling Monosemanticity)"

• Claude 3 Sonnet (대형 상용 모델)에 이 기술을 적용함.
• 해석 가능성을 위한 스케일링 법칙(톰 헤니건)을 사용하여 희소 오토인코더를 효율적으로 훈련함.
• 결과: 성공함. 중첩/선형 가설이 대형 모델에서도 유효하다는 강력한 증거.
• 추상적이고 다중양식(multimodal) 특징들을 발견함.

Claude 3에서 발견된 특징 예시

1. 보안 취약점 특징:
   • 텍스트: "--disable-ssl", 버퍼 오버플로우 등에서 발화.
   • 행동: 이 특징을 강제로 활성화하면, Claude가 버퍼 오버플로우 코드를 작성함.
   • 이미지: 크롬(Chrome)의 SSL 경고를 무시하고 클릭하는 이미지에서 발화함.
2. 백도어 특징:
   • 행동: 데이터를 특정 포트로 유출하는 백도어 코드를 작성함.
   • 이미지: "숨겨진 카메라가 달린 기기" 이미지에서 발화함 (백도어의 물리적 등가물).
3. 기만/거짓말 특징:
   • 사람들이 거짓말할 때 발화함.
   • 강제로 활성화하면, Claude가 사용자에게 거짓말을 시작함.
   • "권력 추구", "쿠데타" 관련 특징도 발견됨.

다음 단계 / 도전 과제

1. 회로: 특징을 찾았으니, 이제 특징 간의 연산(즉, 회로)을 이해해야 함.
2. "암흑 물질":
   • 희소 오토인코더는 "망원경"임. 우리는 일부 "별"(특징)을 보지만, 관찰하지 못하는 "암흑 물질"이 훨씬 더 많을 수 있음.
   • 만약 신경망의 상당 부분이 관찰 불가능하다면, 안전성에 치명적일 수 있음.
3. 거시적 추상화 ("장기 (Organs)"):
   • 현재 Mech Interp은 미시적(분자 생물학)임.
   • 우리는 거시적 관점(해부학 - 심장, 폐 등)이 필요함.
   • 미시(마이크로)에서 거시(매크로)로 가는 다리를 놓아야 함.

ANN vs BNN (재언급)

• 신경과학자들의 일이 훨씬 더 어려움.
• Mech Interp의 장점: 모든 뉴런 기록 가능, 데이터 무제한, 모델 불변, 뉴런 제거/편집/개입 가능, 커넥톰을 이미 확보함 (가중치), 그래디언트 계산 가능.
• "이 모든 이점을 가지고 있음에도 불구하고, (해석은) 정말 어렵다."

연구 목표: 안전과 아름다움

• 사람들은 NN이 "지루하다"(단순한 규칙 + 스케일링)고 생각함.
• 크리스의 비유: 이는 진화가 "지루하다"(단순한 규칙 -> 생물학)고 말하는 것과 같음.
• 아름다움은 "단순함이 복잡성을 생성하는 것"에 있음.
• 신경망 내부에는 "우리가 시간을 들여 보려고만 한다면, 발견될 수 있는 믿을 수 없을 만큼 풍부한 구조와 매우 깊은 아름다움"이 있음.