Building Anthropic: A conversation with our co-founders

제공된 유튜브 영상 'Building Anthropic | A conversation with our co-founders'의 전체 스크립트를 요청하신 대로 매우 상세하게 정리했음.

Building Anthropic | A conversation with our co-founders

앤스로픽 공동 창업자들의 AI 입문 계기

• Jared (재러드): 원래 물리학을 했으나 지루함을 느낌. Dario(다리오)가 AI 모델의 '일반성'(한 가지에만 적용되지 않음)을 보여주며 설득함. 당시 6년차 교수였음.
• Chris (크리스): 19살 때 베이 방문 중 당시 포닥이던 Dario와 Jared를 처음 만남. 이후 구글 브레인에서 Dario(옆자리 근무), Tom(톰)과 함께 일했고, OpenAI에서 모두와 합류함. 10년 이상 알고 지낸 사이.
• Tom: 2015년 저널리스트 시절, 컨퍼런스에서 Dario를 인터뷰하려다 만남.
• Dario: 구글 재직 시절 "AI 안전성의 구체적인 문제들(Concrete problems in AI safety)" 논문을 작성 중이었음.

AI의 심각성 인지와 스케일링 법칙

• 초기 인식: Dario가 AI의 심각성(컴퓨팅 규모, 파라미터 수, 뇌 뉴런 수 등)을 설명하며 주변 사람들에게 경각심을 줌.
• 스케일링의 작동: OpenAI 시절, '스케일링 법칙'(모델을 키우는 것)이 실제로 작동한다는 것을 깨달음. GPT-2, 스케일링 법칙, GPT-3를 거치며 이 접근법이 계속해서 성공하는 것을 목격.
• 안전과 스케일링의 결합:
  • 당시 AI가 강력해지지만 인간의 가치를 이해하지 못하거나 소통 불가능할 수 있다는 우려가 있었음.
  • 창업자들은 언어 모델이 AI가 인간의 '암묵적 지식'을 이해하게 만드는 방법이라고 생각함.
  • 궁극적인 목표는 언어 모델 위에 '인간 피드백 기반 강화학습(RLHF)'을 적용하는 것이었음.
  • RLHF를 적용하려면 모델이 '충분히 똑똑해야' 했고, 이것이 바로 모델을 스케일업해야 했던 이유임. 즉, 안전과 스케일링은 처음부터 밀접하게 얽혀 있었음.

초기 안전 연구와 GPT-2 출시

• Dario가 OpenAI에서 시작한 안전팀은 스케일링 작업이 안전의 일부라고 봄. AI 트렌드를 '예측'하는 것이 안전 문제를 심각하게 다루기 위해 중요하다고 판단했기 때문.
• Jared가 영국 공항에서 GPT-2로 가짜 뉴스 기사를 샘플링하며 기술의 파급력(정책적 함의)을 깨닫고 Dario에게 연락함.
• 이후 GPT-2 출시 전략을 논의하며 창업자 그룹이 긴밀하게 협력하기 시작함.
• 이들은 OpenAI에서 했던 '안전 지향적인 일'이 확장되어 앤스로픽이라는 '더 크고, 안전 지향적인 일'로 이어졌다고 평가함.

"AI 안전성의 구체적인 문제들" 논문의 배경

• 2016년 당시 이 논문은 AI 안전을 다룬 사실상 최초의 주류 논문으로 인식됨.
• Dario (저술 계기): 구글 시절, 다른 메인 프로젝트에서 '딴짓'으로 Chris와 함께 시작함. 당시 매우 추상적이던 AI 안전 문제를 실제 머신러닝 연구의 영역으로 끌어오려 함.
• Chris (저술 목표): 당시엔 '정치적 프로젝트'의 성격이 강했음.
  1. 당시 사람들은 안전을 심각하게 여기지 않았음.
  2. 합리적이고 이미 알려진 문제들을 모아 목록화함.
  3. 여러 기관의 신뢰할 만한 연구자들(구글 브레인 20명 설득 등)을 저자로 모아 합의를 구축함.
• Chris의 현재 평가: 논문에서 다룬 문제들이 지금 와서 '올바른 문제'가 아닐 순 있지만, "AI 안전이 실재하며 진지하게 다룰 가치가 있다"는 합의를 이끌어낸 매우 중요한 순간이었음.

헌법 AI (Constitutional AI)

• 앤스로픽 설립 초기의 핵심 연구 아이디어 중 하나.
• Jared (아이디어): 처음엔 "언어 모델을 위한 헌법을 쓰면 행동이 바뀐다"는 아이디어가 미친 소리처럼 들렸음. 하지만 AI 분야에서는 '간단한 것들이 매우 잘 작동한다'는 믿음이 있었음.
• 작동 원리: 초기엔 복잡했으나, "AI가 객관식 시험을 잘 푼다"는 특성을 활용함. AI에게 '원칙(헌법)'을 주고, AI 스스로 자신의 행동이 그 원칙에 맞는지 비교(시험)하게 하는 방식으로 단순화함.
• Dario (원리): 이는 '스케일링 가설'과 일맥상통함. AI에게 명확한 데이터(원칙 세트)와 명확한 목표(자신의 행동과 비교)를 주면, 세부 사항을 조율하여 결국 작동하게 만들 수 있음.

AI 연구 문화: 비전의 부재와 변화

• Jared (물리학자 관점): AI 연구자들이 과거 'AI 겨울'로 인해 심리적 손상을 입어, '야심 찬 비전'을 갖는 것을 금기시한다고 느낌.
• 안전과 비전: AI 안전을 고민한다는 것 자체가 "AI가 실제로 매우 강력해질 것"이라는 야심 찬 전제를 필요로 함. 하지만 당시엔 이런 야심이 억압됨. (반면 물리학자들은 '오만할' 정도로 야심 찬 경향이 있음)
• Dario (위험 회피 성향): 2014년경엔 말할 수 없는 것들이 있었음. 이는 학계 전반의 위험 회피적 성향이 AI 산업에도 이식된 것. 이 사고방식은 2022년경까지도 이어짐.
• 보수주의의 두 종류:
  1. (좋은 보수주의) 기술의 잠재적 위험을 매우 심각하게 받아들이는 태도.
  2. (나쁜 보수주의) "아이디어가 크게 성공할 거라 믿는 것" 자체를 '과학적 오만'으로 치부하는 태도.
• 당시엔 2번이 지배적이었음. (핵물리학 비유: 페르미(2번) vs 실라르드/텔러(1번)).
• Dario의 교훈: 겉보기에 현명한 '합의'처럼 보이는 것들이, 실제로는 성숙함으로 위장한 '집단 순응 행동(herding behavior)'에 불과할 때가 많음. 합의는 하룻밤 만에 바뀔 수 있음. 남들이 다 틀렸다고 해도 소신대로 베팅해야 함.

AI에 대한 인식 변화

• 대중의 인식: 최근(영상 촬영 시점) 고객 및 일반 대중도 AI가 세상(일자리, 편견, 인간관계)에 미칠 근본적 변화를 걱정하기 시작함.
• 연구자 vs 대중: 흥미롭게도, 과거엔 AI 연구자들이 대중보다 AI의 잠재력에 더 비관적이었음.
• 정부의 인식: 2023년 백악관 회의에서 정부 고위 관계자들(해리스 부통령 등)이 "우리가 (AI를) 지켜보고 있다. 이건 정말 큰일이다"라고 공식적으로 언급함. 2018년만 해도 상상할 수 없던 일.

창업자들의 초기 AI 커리어 (2010년대 중반)

• 초기 회의론: 2015-17년경엔 AI가 지금처럼 큰일이 될 거라는 증거가 명확하지 않았음.
• (익명 창업자): AI 안전에 기여하고 싶었으나 수학을 못해 고민함. 당시엔 "결정 이론을 잘해야 한다"거나 "AI는 별거 아닐 것이다"라는 반응이 대부분. OpenAI에서 "엔지니어링"으로도 안전에 기여할 수 있다는 말을 듣고 합류함. 당시엔 엔지니어의 AI 기여라는 개념이 생소했음.
• Tom (저널리스트 시절):
  • 2014년: 이미지넷(ImageNet) 결과 그래프로 AI 기사를 쓰려다 미친 사람 취급당함.
  • 2015년: 모든 AI 논문이 GPU를 언급하기 시작해 NVIDIA 기사를 쓰려 했으나 블룸버그에서 거절당함.
  • 2016년: 저널리즘을 떠나 AI 업계로 가자 "인생 최악의 실수"라는 이메일을 받음.
  • 계기: 아카이브에서 Dario의 바이두 논문 등 최신 논문을 읽으며 "완전히 미친 일이 벌어지고 있다"는 확신을 갖고 베팅함.
• Daniela (다니엘라):
  • Stripe에서 5.5년 근무 후 합류. 원래는 비영리/국제 개발 분야로 돌아가려 했음.
  • Stripe의 상사였던 Greg(OpenAI 창업자)에게 "내가 아는 가장 똑똑한 사람은 Dario"라며 Dario를 소개해 줌.
  • 합류 이유: OpenAI는 당시 비영리 단체였고 숭고한 미션이 있었음. "훌륭한 의도를 가진 훌륭한 사람들이 있지만, (조직이) 약간 엉망인(a mess) 상태"였음. Stripe에서 배운 스킬로 매니지먼트(인사, 기술팀, 정책 등) 도움을 주고자 함.
• "신뢰와 안전 (Trust and Safety)": GPT-3 출시 이후, Daniela가 Stripe에서의 경험을 바탕으로 OpenAI에 이 개념을 처음 소개함. 이는 추상적인 AI 안전 연구와 실용적인 일일 운영 사이의 중요한 중간 단계였음.

책임 있는 스케일링 정책 (RSP - Responsible Scaling Policy)

• 기원: 2022년 말, Dario와 Paul Christiano가 처음 논의함.
• 개념: 특정 지점에서 스케일링을 '중단'하는 단순한 방식이 아님. 여러 '임계값'을 설정하고, 각 단계를 통과할 때마다 모델 능력 테스트 및 안전/보안 조치를 강화하는 계단식 정책.
• 개발: 초기엔 제3자(Paul)가 설계하는 것이 낫다고 판단. Paul이 개념을 발표한 후 앤스로픽도 한두 달 내 자체 버전을 발표함 (Dario도 초안 작성에 참여).
• RSP = 신성한 문서:
  • 미국 헌법에 비유됨. 앤스로픽이 궤도에서 벗어나지 않도록 붙잡아주는 핵심 문서.
  • 수많은 수정을 거쳤으며, 그럴 가치가 있다고 봄.
• 운영의 중요성 (Daniela): RSP라는 '헌법'이 작동하려면, 이를 뒷받침하는 사법부, 행정부, 의회 같은 '인프라'와 '조직'이 반드시 필요함.
• RSP = 풀 수 있는 문제: 자동차 안전 제도가 수십 년에 걸쳐 만들어졌듯, AI 안전 제도도 구축해야 함. 다만 시간이 없기에 매우 빠르게 구축 중.

RSP의 핵심 역할

1. 조직의 통합 (Dario):
   • RSP는 조직의 통합을 강제함.
   • 만약 어떤 부서가 안전 가치와 어긋나는 일을 하려 하면, RSP가 그들의 작업을 물리적으로 '차단'함.
   • 안전을 단순한 구호가 아닌 실제 '제품 요구사항'으로 만듦.
2. 외부 소통 및 명확성 (Tom, Daniela):
   • (Tom) 상원의원들에게 RSP를 설명하면 "그거 당연히 해야 하는 일 아닌가요?"라는 반응이 옴. RSP를 지루하고, 평범한 회계 감사 과정처럼 만드는 것이 목표.
   • (Daniela) 명확성을 제공함. 회사가 무엇을 목표로 하는지 내외부에 명확히 보여줌. "안전 때문에 X를 못한다/해야 한다"는 식의 모호한 주장을 방지함.
   • (Daniela) 과도한 걱정 방지. (양치기 소년 비유: 화재경보기가 매주 울리면 실제 불이 났을 때 아무도 신경 쓰지 않음).
3. 건강한 인센티브 (Chris):
   • (내부) 안전에 진전이 없으면 다음 단계로 진행이 막히므로, 모든 팀이 안전에 신경 쓰도록 인센티브를 부여함.
   • (외부) 만약 "모델이 위험해 중단한다"는 어려운 결정을 내려야 할 때, 그 결정이 즉흥적이 아니라 명확한 증거와 사전에 합의된 프레임워크(RSP)에 기반하게 함.
4. 회색 지대 대응 (Dario, Jared):
   • (Daniela) RSP 구현의 가장 큰 어려움은 '회색 지대'임. 명확히 위험하거나 안전한 영역 외에, 새로운 기술의 모호한 부분이 너무 많음.
   • (Dario) 회색 지대는 예측 불가능함. 유일한 방법은 일단 모든 것을 '구현'해보고 무엇이 잘못되는지 직접 보는 것. 판돈이 커지기 전에 초기에 반복을 많이 해야 함.
5. 실무 적용 (Evals, Policy, Tone):
   • (Jared) (컴퓨팅 담당자로서) 외부 파트너(AI 속도에 대해 다른 견해를 가짐)와 소통 시 유용함. "정말 심각해지기 전까진 극단적 조치를 안 한다"고 명시하므로 합의점 도출이 쉬움.
   • (Evals) 모든 팀이 Evals(평가)를 수행함. 모델이 위험한 능력(Chain of Thought, Tool use 등)을 갖게 되었는지 'Frontier Red Team' 등이 끊임없이 측정함.
   • (Tom) '안전'이라는 추상적 개념을 "배포 여부를 결정하는 구체적인 평가"로 만듦. 정책 입안자, 국가 안보 전문가(CBRN 등)와 협력하여 이 평가 기준을 함께 보정함.
   • (Daniela) RSP의 '톤'이 중요함. 초기엔 지나치게 기술 관료적/적대적이었음. 모든 직원이 쉽게 이해하고 참여하고 싶은 시스템으로 만들어야 함. (공장 직원이 안전벨트 문제를 발견하고 쉽게 보고할 수 있듯이).

앤스로픽 창업 동기: 사명감과 신뢰

• 의무감 (Dario): 아무도 회사를 차리고 싶어 하지 않았음. "우리가 이 일을 해야만 한다"는 의무감으로 시작함. AI를 더 나은 방향으로 이끌기 위한 '수단'이었음. (80% 서약도 같은 이유).
• 기존 방식의 한계: 기존 기술 커뮤니티의 실수(기존 인물, 태도, 패턴 매칭)를 반복하지 않고, 공익에 기여하는 방식으로 AI를 개발하기 위해 직접 회사를 설립함.
• Jared의 동기: 과학이 공익에 기여하는 방법을 찾고자 함. AI가 엄청난 궤도에 올랐음을 확신했고, 교수로서는 한계가 있었음. 신뢰하는 사람들과 AI를 올바른 방향으로 이끌 기관을 만들고 싶었음.
• 핵심 전략: 신뢰 (Daniela): 이 창업자 그룹이 가진 높은 수준의 상호 신뢰는 그 자체로 엄청난 전략적 이점임.
• 사명: 리더십 그룹 모두가 명확하고 순수한 사명을 위해 모임. 2020년 GPT-3와 스케일링 법칙을 보며 '돌이킬 수 없는 지점'이 오기 전에 행동해야 한다고 느낌.
• 80% 서약: 창업 동기에 따라, 모두가 "당연히 해야 한다"고 동의함.

앤스로픽의 문화: 낮은 정치, 통합, 실용주의

• 문화의 특징 (Daniela):
  • 높은 기준 유지 (스스로 '광대 관리자(clown wrangler)'라 농담함).
  • 정치적 역학이 매우 낮음. (낮은 자아 덕분). 정치적인 것에 대한 알레르기 반응이 있을 정도.
• 문화의 특징 (Dario):
  • 통합. 제품, 연구, 신뢰/안전, GTM, 정책 등 모든 팀이 '단일한 변화 이론(single theory of change)' 하에 동일한 목표를 위해 기여함. (일부는 망가뜨리고 일부는 수리하는 이분법적 구조가 아님).
• 문화의 특징 (Chris):
  • 극단적 실용주의.
  • Chris는 OpenAI를 떠나는 것을 주저했음. 더 많은 AI 연구소가 생기는 것이 세상에 좋은지 확신 못 함. 처음엔 비영리 단체(안전 연구만 집중)를 주장했었음.
  • 그러나 '제약 조건을 직시하고 임무를 완수'하기 위한 실용주의가 앤스로픽 설립으로 이어짐.
• 실용주의와 트레이드오프 (Dario):
  • "약속은 적게 하고, 더 많이 지켜라". 신뢰와 신용이 특정 정책보다 중요함.
  • 앤스로픽의 기능적 문화는 트레이드오프를 리더십뿐 아니라 전 직원에게 확산시키는 것임.
  • 세상은 불완전하며 모든 결정은 차선책임. 모두가 이 트레이드오프를 '함께' 직면하고 있음을 인지하는 것이 핵심.

핵심 베팅: '정상으로의 경쟁 (Race to the Top)'

• 앤스로픽의 핵심 베팅은 '정상으로의 경쟁'이 가능하다는 것임.
• 논리 (Dario/Tom):
  1. 앤스로픽이 회사로서 성공할수록, 시장은 우리의 성공 요인을 모방할 인센티브를 갖게 됨.
  2. 우리의 성공이 우리가 수행하는 '안전 조치'와 강력하게 연결되어 있다면,
  3. 업계 전체가 안전 분야에서 경쟁하도록 만드는 '중력'이 발생함.
• "안전벨트를 만들어 수출하라": 우리가 더 나은 안전벨트(안전 기술)를 만들면 남들이 따라 할 것. 이것이 세상을 이롭게 하는 길임.
• "고귀한 실패"의 함정 (Chris):
  • 만약 비실용적인 방식으로 순수성만 증명하려다 '고귀하게 실패'한다면,
  • 결국 의사결정권은 안전에 관심 없는 사람들에게 넘어가게 됨.
  • 이는 장기적으로 안전 목표에 자멸적인 결과를 낳음.
• 핵심: 경쟁력을 희생하지 않고도 안전을 달성할 수 있음을 증명해야 함. 규제 환경, 인재 유치, 고객의 견해 등이 모두 이 방향으로 작용하도록 유도해야 함.
• 실제 사례: 앤스로픽 RSP 발표 후 3대 AI 기업 모두 RSP 도입. 해석 가능성 연구, Frontier Red Team 등이 업계 표준으로 복제됨.
• 고객의 요구: 고객들도 안전(환각/탈옥 방지)을 원함. "Claude가 더 안전해서 선택한다"는 피드백이 이미 시장 압력으로 작용 중.

미래에 대한 기대

• Chris: 해석 가능성(Interpretability).
  • 안전의 핵심일 뿐 아니라, 그 자체로 아름다움.
  • 뉴럴넷 내부는 '인공 생물학'처럼 놀라운 구조로 가득 차 있음. (10년 뒤 서점에서 '뉴럴넷 생물학' 교과서를 살 것을 상상함).
• Tom: 정부의 역량 강화.
  • AI 안전 연구소 등 유능한 AI 테스트/평가 기관이 실제로 설립되고 있음.
  • 이는 이 사회적 전환에 대응할 '국가 역량'이 기업 외부에 생겼다는 의미.
• Daniela: AI의 인류 기여 (과학/보건).
  • Claude가 백신 개발, 암 연구 등 인류의 근본적인 보건 문제를 해결하는 미래.
  • (과거 국제 개발 분야에서 하려던 일을 Claude가 훨씬 효과적으로 수행할 것).
• Mike: 업무용 Claude (Claude for work).
• Jared: 코딩용 Claude.
  • 6개월 전엔 아무도 안 썼는데, 최근 (YCU 강연 기준) 95%의 엔지니어가 코딩에 사용한다고 답함. 엄청난 변화.
• Dario: '합의'가 깨지는 지점들.
  1. 해석 가능성: 안전의 열쇠이자 지능/뇌 작동의 통찰. (Dario는 Chris Olah가 이 분야 연구로 미래에 노벨 의학상을 받을 것이라 예측함. 뇌(정신분열증 등) 연구에 뉴럴넷이 완벽한 비유가 될 것).
  2. AI의 생물학 적용: AlphaFold 같은 성과를 100개 만들도록 도울 것.
  3. AI를 통한 민주주의 강화: 독재의 도구가 아닌 자유와 자결의 도구로 활용.
• Sam (샘):
  1. 비전의 통합: AI 발전을 보며 과학적 호기심으로 입사한 사람들이 점차 안전의 필요성(책임감)에 공감하며 비전이 하나로 통합되는 현상.
  2. 실제 위험 연구: 'Concrete Problems' 시절의 추상적 논의를 넘어, 이제는 매우 진보된 시스템에서 발생할 수 있는 실제 위험을 직접 연구(해석 가능성 등)할 수 있게 된 것.