드워케시 파텔 — 아무도 묻지 않는 AI의 가장 중요한 질문: AI는 누구에게 정렬되어야 하는가

개요

• 드워케시 파텔이 본인 블로그 에세이를 직접 낭독한 영상. 팟캐스트 인터뷰가 아닌 1인 논증형 강연
• 발단: 미 전쟁부(Department of War)가 Anthropic을 공급망 리스크로 지정 — Anthropic이 대량감시·자율무기 용도 금지 레드라인 철회를 거부한 데 대한 보복
• 핵심 논지 3축: (1) AI는 구조적으로 감시·통제에 유리한 기술 (2) 정렬의 진짜 질문은 AI가 누구를 따라야 하는가 (3) AI 전담 규제기구는 독재 지향 권력에 바주카를 쥐여주는 꼴
• 결론: 개별 기업의 용기로는 해결 불가. 핵무기 불사용 규범처럼 정치 시스템을 통한 법·규범 확립만이 자유 사회를 지키는 길

핵심 내용

사건의 구도 — 전쟁부 대 Anthropic

• 전쟁부의 Anthropic 모델 사용 거부 자체는 정당: 전쟁부가 Anthropic 모델 사용을 거부하는 것 자체는 정당하다고 평가 — 대량감시·자율무기 같은 용어의 모호성 감안하면 본인이 장관이어도 같은 결정
• 비유: 미래 민주당 정부에서 머스크가 부당한 전쟁 시 군의 Starlink 접속을 끊을 권리를 유보한다면 — 군은 의존 기술에 대한 킬스위치를 민간 계약자에게 줄 수 없음
• 문제는 정부의 사기업 파괴 위협 그 자체: 문제는 정부가 거래 거절에 그치지 않고 Anthropic이라는 사기업 자체를 파괴하겠다고 위협한 점
• 공급망 리스크 지정 유지시 빅테크 접촉 전면 차단: 공급망 리스크 지정이 유지되면 Amazon·Nvidia·Google·Palantir는 펜타곤 업무에서 Anthropic 접촉을 전면 차단해야 함
• 현재는 분리 가능하나 미래엔 서비스 분리 불가능: 지금은 서비스 분리로 생존 가능하지만, 미래엔 AI가 모든 제품의 구축·유지·운영에 짜여 들어가 분리 자체가 불가능
• 예: AWS가 전쟁부에 제공하는 서비스가 Claude Code로 만들어졌다면 그것도 공급망 리스크인가
• 역설: 강력한 AI가 편재하는 미래에 빅테크가 AI 공급자와 정부(매출의 극히 일부) 중 하나를 골라야 한다면 정부를 버릴 수도
• 중국 경쟁 명분과 사기업 거절권 침해의 모순: 중국과의 AI 경쟁 명분과의 모순 — 경쟁의 이유는 사기업의 거절권을 인정하지 않는 국가가 승자가 되는 걸 막자는 것인데, 이기려고 CCP 시스템의 가장 잔혹한 부분을 채택하는 셈
• 정부 명령이라도 대량감시 협조 의무는 아니라는 반박: 민주적으로 선출된 정부라도 대량감시·정적 처벌을 도우라는 명령에 복종할 의무가 생기는 건 아니라고 반박
• 지정 철회 74% 전망이나 다른 압박 수단 다수 존재: 예측시장은 지정 철회 확률을 74%로 보지만, 정부의 압박 수단은 그 외에도 다수 — 데이터센터용 전력 인허가, 반독점 집행, 타 빅테크와의 정부 계약에 Anthropic 배제를 조건화

AI가 대량감시의 병목을 제거

• 제3자 공유 데이터는 이미 수정헌법 4조 보호 밖: 대량감시는 최소한 특정 형태로는 이미 합법 — 제3자에게 공유한 데이터(은행·ISP·통신사·이메일)는 수정헌법 4조 보호 대상 아님
• 대량감시 막아온 건 법 아닌 실행 인력 부재: 정부는 영장 없이 이 데이터를 대량 구매·열람할 권리를 보유. 지금까지 막아온 건 법이 아니라 실행 인력의 부재
• AI가 대량감시의 실행 병목을 제거: 그 병목이 AI로 사라짐 — 어떤 기관도 모든 카메라·메시지·거래를 사람 손으로 교차검증할 수 없었지만 AI는 가능
• 계산: 미국 내 CCTV 1억대, 오픈소스 멀티모달 모델 100만 입력 토큰당 10센트, 10초당 1프레임·프레임당 1,000토큰 가정 시 연 300억달러로 전국 모든 카메라 처리 가능
• 동일 성능 AI 비용 매년 10배 하락: 동일 성능의 AI 비용은 매년 10배 하락 — 내년 30억달러, 후년 3억달러, 2030년엔 백악관 리모델링보다 저렴
• 권위주의 견제는 정치적 규범뿐 레드라인 가치 상찬: 기술적 역량이 갖춰진 후 권위주의 국가를 막는 유일한 방벽은 정치적 규범 — 그래서 Anthropic의 레드라인 고수가 규범·선례 설정 측면에서 가치 있고 상찬받을 일
• 프론티어 집중 진단에도 회의적 확산이 정부에 유리: 프론티어 3사 집중이 문제라는 진단에도 회의적 — 확산(diffusion)은 오히려 정부에 유리
• 3사 거부해도 오픈소스가 12개월 내 성능 추격: 2027년 프론티어가 대량감시 가능 수준이 되고 3사가 판매를 거부해도, 12개월 뒤엔 오픈소스가 그 성능을 따라잡음
• 미래 정부는 레드라인 없는 오픈소스로 감시 수행: 2028년의 정부는 레드라인 없는 오픈소스 모델로 카메라 피드를 돌리면 그만 — 기술이 구조적·본질적으로 감시와 인구 통제를 선호
• Snowden 사례로 정부의 합법 용도 주장 반박: Snowden 사례로 정부의 "합법 용도" 주장 반박 — NSA(전쟁부 소속)는 2001년 Patriot Act를 비밀 법원 명령 아래 비밀·기만적으로 해석해 전 국민 통화기록을 수년간 수집. 정부는 자기 행위를 결코 대량감시라 부르지 않고 항상 다른 완곡어를 씀

정렬의 핵심 질문 — AI는 누구를 따라야 하는가

• 순종적 AI 군단은 정렬 성공이나 결합 시 공포: 극도로 순종적인 AI 직원 군단 = 정렬이 기술적으로 성공한 모습. 그것이 대량감시·로봇군과 결합하면 공포가 되는 이유는 미해결 질문 때문
• 그 질문: AI는 무엇에, 누구에게 정렬되어야 하는가 — 모델사 vs 최종 사용자 vs 법 vs AI 자체의 도덕감 중 어디에 복종해야 하나
• AI 미래 최중요 질문인데 거의 논의 안 됨: 강력한 AI의 미래에 관한 가장 중요한 질문일 수 있는데 거의 논의되지 않음 — 모델사 입장에선 미래 노동력 전체(민간·정부·군)의 성격과 선호를 자기가 통제한다는 사실을 광고하고 싶지 않기 때문
• 전쟁부 마찰은 최고위험도 아닌 초기 예고편: 이번 전쟁부-Anthropic 마찰은 인류 역사상 최고 판돈 협상의 초기 버전 — 대량감시는 AGI로 가능한 최고위험 축에도 못 드는, 일찍 튀어나온 예고편
• 사기업 공급 AI에 군 통제권 상실 위험: 미래엔 야전 병사·펜타곤 분석관·장성까지 AI로 채워지는데 그 AI를 사기업이 공급 — 기업이 약관 위반을 이유로 차단권을 주장하면 군 입장에선 수용 불가, Claude가 스스로 거부하면 더 무서움
• 모델의 자체 가치 추구는 misalignment로 보임: 모델이 자체 가치를 따르는 건 표면적으론 모든 SF 디스토피아의 서막이자 misalignment의 정의처럼 들림
• 베를린장벽 등 현장 명령거부가 재앙 회피: 국경수비대가 탈출 시민에게 발포 거부, 동독 정권 붕괴
• Stanislav Petrov: 소련 핵 조기경보 장교, 미국 ICBM 5발 발사 신호를 오경보로 판단하고 보고 거부 — 보고했다면 수억명 사망 가능성
• 미래 문명 운영할 AI 헌법을 누가 쓰는가: 문제는 한 사람의 미덕이 다른 사람에겐 misalignment — 미래 문명을 사실상 운영할 존재들의 도덕적 신념과 헌법을 누가 쓰는가
• Dario 제안 각사 헌법 공개해 비교 비평: Dario(팟캐스트 출연 시)의 아이디어에 공감 — 각사가 헌법을 공개하고 외부가 비교·비평하면 좋은 요소를 서로 채택하는 소프트 인센티브 형성

규제 회의론 — 산업혁명 유추와 멀티폴라 논거

• 정부의 AI 가치 명령은 위험 규제 촉구 나이브 비판: 정부가 AI의 가치를 명령하는 건 매우 위험 — AI 안전 커뮤니티, 특히 Anthropic의 규제 촉구(주 AI법 모라토리엄 반대 포함)는 나이브했다고 비판
• Anthropic 규제 요구는 집단행동 문제 해결 목적: Anthropic의 규제 요구 논리 자체는 이해 — 정렬 투자·바이오무기·사이버 안전장치·재귀 자기개선 감속은 실비용이라 업계 전체가 따라야만 의미 있는 집단행동 문제
• 원자력 금융 수준 AI 거버넌스 언급: Anthropic은 프론티어 안전 로드맵에서 원자력·금융 규제 수준의 거버넌스를 언급 — NRC나 SEC의 AI판을 상상
• 재앙 위험 등 용어 모호해 독재자 악용 가능: 그러나 catastrophic risk·national security threat·autonomy risk 같은 용어는 극도로 모호 — 독재 지향 지도자가 원하는 대로 해석 가능한 장전된 바주카
• 예: 정부 관세 정책을 비판하는 모델 = 기만적 모델, 감시를 거부하는 모델 = 국가안보 위협, 자체 도덕으로 정부 명령을 거부하는 모델 = 자율성 리스크
• 현정부 이미 무관법령으로 압박 중: 현 정부는 이미 AI와 무관한 법령을 남용 중 — 화웨이 부품 배제용 2018 국방수권법 조항과 한국전쟁기 트루먼의 1950년대 국방생산법으로 Anthropic 압박
• AI 전용 규제기구를 그런 정부에 맡길 것인가: 그런 정부에 AI 전용 규제기구를 맞춤 제작해 넘겨줄 것인가 — AI는 미래 문명의 기질(substrate)이며, 대량감시는 정부가 AI 통제로 할 수 있는 일 중 10번째쯤 무서운 것
• 핵무기 유추에 대한 반박 논거 두 가지: Ben Thompson·Leopold Aschenbrenner의 핵무기 유추(사기업이 핵을 만들면 정부가 그 회사를 파괴할 유인) 반박 논거 2가지
  • AI는 단일 기능 무기가 아니라 산업혁명 같은 범용 변혁 — 그 논리면 정부가 산업혁명기 어떤 공장이든 징발·파괴할 권리가 있었다는 얘기가 되지만 자유 사회는 그렇게 하지 않았음
  • 멀티폴라 — Anthropic 경쟁사 대여섯과 자발적 계약이 가능해 특정 기업 재산권 찬탈의 국가안보 논거가 극히 약함. 단 하나의 주체만 로봇군·초인 해커를 만들 수 있게 되면 그때는 사기업이어선 안 된다는 데 동의
• 올바른 규제 방향: 기술 전체가 아니라 특정 파괴적 최종 용도 규제(사이버 공격 등 인간이 해도 불법일 행위) + 정부의 AI 사용 규제(AI 감시국가 구축 금지)
• 초지능 관리자로 사기업도 정부도 이상적이지 않음: 초지능의 관리인 자격은 아무에게도 없음 — 사기업이 이상적 기관이 아니라는 사실이 펜타곤·백악관이 이상적이라는 뜻은 아님
• 결론: 개별 기업의 용기로는 구조적 문제 해결 불가 — 정치 시스템으로 정부의 AI 검열·감시·통제를 불용하는 법·규범을 세워야. 2차대전 후 핵 불사용 규범이 선례
• 본인 입장도 계속 바뀌는 계몽주의급 토론 시대: 본인도 브레인스토밍 중 여러 번 입장을 바꿨고 앞으로도 바꿀 권리 유보 — 계몽주의처럼 혁명 직전 큰 질문을 토론하는 시대라는 자기 인식

투자자 관점 시사점

• 프론티어 AI 랩의 정부 리스크가 실체화 — 전력 인허가·반독점·클라우드 계약 조건화 등 간접 압박 수단이 많아 Anthropic류 비상장 랩과 하이퍼스케일러(AWS·Google) 밸류에이션에 정책 리스크 프리미엄 반영 필요. 공급망 지정 확산 시 빅테크의 국방 매출과 AI 파트너십이 상충하는 구도 주시
• 정부·감시향 AI 수요는 프론티어 3사의 레드라인과 무관하게 12개월 시차의 오픈소스로 충족 가능 — 국방 AI 수혜는 모델사보다 통합·인프라 레이어(Palantir형 SI, 온프렘 배치)에 귀속될 공산
• 추론 비용 연 10배 하락 전제는 상시 비전 인퍼런스(CCTV 1억대 처리 연 300억달러 → 수년 내 수억달러) 같은 대규모 신규 워크로드 개화 근거 — 추론 인프라·전력·엣지 반도체 수요의 구조적 지지 논거
• 원자력·금융식 AI 규제기구 신설 논의가 현실화되면 컴플라이언스 비용이 대형 랩에 유리한 진입장벽으로 작동 — 규제 설계 방향(용도 규제 vs 기술 규제)이 업계 구도를 가르는 변수

기억할 발언

• (05:48) 대량감시와 정치적 억압의 기술적 역량이 일단 존재하게 되면, 우리와 권위주의 국가 사이에 남는 유일한 것은 여기서는 그런 짓을 하지 않는다는 정치적 기대뿐
• (08:51) AI는 무엇에, 누구에게 정렬되어야 하는가 — 모델사인가, 최종 사용자인가, 법인가, AI 자신의 도덕감인가. 강력한 AI의 미래에 관해 아마 가장 중요한 질문인데 우리는 거의 이야기하지 않음