Simile 인터뷰 — 인간 행동 시뮬레이션의 상업화

개요

• 게스트: Joon Sung Park — Simile 창업자·CEO, 스탠포드 Generative Agents(Smallville) 논문 1저자. 공동창업자는 Percy Liang·Michael Bernstein(둘 다 스탠포드 지도교수)
• 주제: LLM 기반 인간 행동·사회 시뮬레이션을 상업화한 applied AI lab의 기술 스택·비즈니스 모델·평가 방법론·장기 비전

핵심 내용

Smallville 실험 (2023 스탠포드)

• LLM 미시행동 인코딩서 사회시뮬 착안: LLM이 웹·소셜미디어 학습 데이터에 인간 미시 행동을 인코딩하고 있다는 관찰이 출발점. "이 상황에서 X라는 사람은 뭘 할까"를 물으면 흥미로운 행동 생성 확인 -> 이걸 극한까지 밀면 사회가 만들어지는지 실험
  • 게임형 마을에 에이전트 25명. LLM + 기억·계획·성찰 아키텍처 결합. 각자 페르소나 보유, 아침 기상 -> 루틴 -> 출근 -> 관계 형성
• 가장 놀란 emergent 현상: 밸런타인 전날 카페 주인 Isabella가 자발적으로 파티 기획 -> 재료 준비·손님 초대 -> 당일 실제 파티 성립. 초대받고 잊어버린 에이전트, 초대장 받고 짝사랑 상대에게 데이트 신청해 동반 참석한 에이전트(Klaus)까지 등장

연구 계보 — social computing에서 출발

• 배경은 HCI의 social computing: 수천만-수십억 명 규모에서 생기는 emergent 현상(좋은 것·나쁜 것)을 어떻게 설계하나. 지금까지는 필드 테스트(실서비스 출시)뿐 — 부정 감정 증폭하는 피드 같은 나쁜 설계도 현장에서야 발견되는 고비용 구조
• 2022년 선행 연구 Social Simulacra: 서브레딧 설계자가 목표·모더레이션 정책 정의 -> 수천 개 페르소나로 커뮤니티 전체를 시뮬레이션. 피츠버그 관광지 토론 커뮤니티에서 페르소나들이 협업해 실제 여행 계획까지 세우는 행동 관찰
• 모델 진화 타임라인: GPT-3(Social Simulacra)는 instruction tuning 부재로 프롬프트 꼼수 필요했지만 가능성 확인 -> Generative Agents 시점엔 instruction tuning 등장으로 기억 기반 추론 가능 -> 현재는 기초 수준 도달

핵심 테제 — 합리적 모델의 한계

• 합리적 초지능 전제와 인간 비합리성 괴리: OpenAI·Anthropic 등 프론티어 랩의 North Star는 "초지능 = 합리적 기계 + 객관적 정답 있는 기술 문제 해결". 그런데 사람은 비합리적이고 주관적 가치·선호·취향 보유
  • 모델 크기 증가와 인간 행동 예측 성능이 갈라지는 divergence 관찰. 현 모델링 패러다임으로는 인간 시뮬레이션 성능이 plateau — 사람의 다양성을 겨냥한 다음 프론티어 모델이 필요하다는 게 창업 논거

창업 계기와 검증

• Generative Agents 논문 후 폭발적 인바운드: 처음엔 RCT 돌리려는 사회과학자, 곧이어 Fortune 500 이사회·CEO들이 "시장 관련 서베이·실험을 시뮬레이션으로 돌릴 수 없나" 문의
  • 검증 실험: 미국 인구 1,000명 시뮬레이션 구축 -> 사람이 자기 자신의 응답을 재현하는 수준 대비 85% 정확도로 행동 예측 입증 -> 이 시점에 창업 결심

비즈니스 모델 — CVS 사례

• CVS 임원이 논문 보고 먼저 접촉: CVS와 약 반년 파트너십. 바이어는 human insights 총괄 시니어 VP — "필드 테스트 가능한 질문 수와 인간 사회의 물리 법칙에 병목" 문제의식으로 논문 읽고 먼저 접촉
  • 워크플로우: 고객이 이해하고 싶은 인구집단 지정 -> Simile이 Gallup 등 패널 파트너 통해 실제 사람 접촉·데이터 수집("15분 안에 물을 수 있는 마법의 질문") -> 그 데이터로 에이전트 생성 -> SaaS 플랫폼에서 원 도메인을 넘어선 무제한 질문 가능
• 왜 LLM에 페르소나 프롬프트만 주면 안 되나 — say-do gap: LLM 학습 데이터는 본질적으로 attitudinal(사람들이 온라인에서 말한 것). 실제 행동과의 갭이 실재
  • 갭을 메우는 데이터: "인생 이야기를 들려달라" 류의 생애사 인터뷰. 어디서 자랐고 어떤 어려운 결정을 했는지 같은 롱테일 정보가 태도-행동 번역 레이어가 됨
• 행동 데이터 자산: 사회과학·가격 연구 RCT 대규모 저장소 보유 -> "어떤 RCT 결과든 예측하는 인간 행동 파운데이션 모델" 학습 중. 고객 자체 데이터(CVS 고객 9,000만 명) 활용한 fine-tuning 논의도 진행. 인터뷰어 자체를 RL로 학습 — 최소 시간에 최대 인물 정보를 뽑는 목적함수

자체 모델 vs 프론티어 모델

• CPU-GPU 비유: 현 프론티어 모델 = 지능의 CPU(합리적 데이터로 학습된 단일 모델, 복잡한 객관식 문제에 강함). Simile 모델 = 지능의 GPU — 초인간이 아니라 최대한 인간다운, 개별 서브유닛이 각 하위 인구집단의 실제 관점을 대표하는 모델
  • 프론티어 모델은 리서치 플랜 수립·조율 역할로만 활용

사용 사례 스펙트럼

• 진입은 컨셉 테스트(신제품·마케팅 메시지): 월 5-10개 아이디어 테스트하던 관행 -> 수천 아이디어를 수천 하위 집단에 즉시 테스트로 확장 -> 이후 시간 차원 추가("이 제품 10분 써보고 경험 말해줘") -> 멀티에이전트 시뮬레이션
  • 어닝콜 시뮬레이션이 의외로 흔한 요청 — CEO·이사회가 "어닝콜을 어떻게 설계하고 청중이 어떻게 반응할까"를 사전 리허설
• 페이스북 광고 대체론 반박 근거 3가지: "그냥 Facebook 광고 천 개 돌리면 되지 않나"에 대한 답 3가지
  • 규모: Facebook 가용 인구에 묶이지 않는 임의 규모의 행동 시뮬레이션
  • 대표성: 온라인 실험은 특정 집단만 응답. Simile은 대표성 있는 표본 확보가 핵심 가치 — 고객 최대 페인포인트가 "애초에 그 인구집단에 접근을 못 함"
  • 2차 효과: 전기차 출시가 성공하면 비전기차 라인 인식엔 어떤 영향? 제품 라인 전체의 다운스트림 파급을 증거 기반으로 테스트 — 오늘날 다른 방법 없음

평가 방법론 — 수렴 vs 발산

• North Star 지표: 정량 응답은 실제 분포 vs 시뮬레이션 분포의 total variation distance(TVD). TVD 0.15 미만이면 의사결정에 충분히 강한 증거로 간주. RCT 포함 전 고객 사용 사례에 적용. 이론적 한계는 존재 — 같은 사람도 같은 질문에 매번 다르게 답하는 고유 랜덤성
• 오류누적 문제로 시뮬레이션 2분류: 멀티에이전트에서 오류 누적 문제 -> 시뮬레이션 2분류
  • 수렴형: 오류가 쌓여도 수렴 인력이 강해 결과 안정. 예: 사람 네트워크 시뮬레이션은 항상 허브 형성(scale-free network — PageRank의 기반 관찰과 동일)
  • 발산형: "1차 대전은 불가피했나", 선거 시뮬레이션 등. 평가 축은 신뢰도 — 100회 실행해 결과 X가 나오는 빈도, bootstrap resampling으로 신뢰구간 산출. 발산 자체가 가치 — 가능한 미래의 다양성과 그 인과 메커니즘을 보여줘 대비 가능
• 수렴발산 조건 미해결, 표준정립 포지셔닝: 수렴·발산의 수학적 조건은 아직 열린 연구 주제. 추론통계가 p 0.05 기준을 정립했듯, Simile이 시뮬레이션 분야의 증거 기준·표준을 만드는 중이라는 포지셔닝

장기 비전

• 셸링 에이전트모델 계보, 노벨상급 비전: "이거 제대로 하면 노벨상감"이라며 지도교수들 설득. Thomas Schelling의 agent-based model(빨간 점·파란 점으로 주거 분리 메커니즘 규명, 노벨상 수상) 계보 — 이제 점 대신 개인의 풍부함을 재현하는 진짜 에이전트로 같은 시뮬레이션 가능
  • 경제학자들이 실제 던진 질문: 뱅크런은 언제 발생하나, 기후변화 집단행동 문제, 민주주의 붕괴 전조 신호, 화폐 시스템의 기원
• 허블 비유, 인간사회 CERN이 목표: 지금은 빠르고 싼 시뮬레이션이지만, 1억 달러 들여 수개월 돌리는 단 한 번의 시뮬레이션이 사회의 근본 질문을 푸는 미래 상상. 목표는 "인간 사회의 CERN" — Hubble 망원경이 우주 이해의 궤적을 바꿨듯, 위대한 과학은 위대한 측정에서 시작(Percy Liang)

투자자 관점 시사점

• 시장조사·패널 산업(Gallup·Nielsen·Qualtrics 류) 구조 변동 신호 — Gallup이 파괴 대상이 아니라 데이터 수집 파트너로 편입된 구도 주목. "실제 인간 데이터 수집 -> 시뮬레이션 증폭" 모델은 자율주행 시뮬레이션과 동형
• 어닝콜 시뮬레이션이 이미 흔한 기업 use case — IR·컨센서스 게임 자체가 시뮬레이션 대상이 되는 시대. 운용역 입장에서 역으로 "회사가 리허설한 콜"을 듣게 된다는 뜻이기도
• 모델 스케일링과 인간 행동 예측 성능의 divergence 주장은 중요 — 사실이면 프론티어 랩 스케일링 서사와 별개의 수직 모델 시장(인간 다양성 모델링)이 존재. CPU-GPU 비유는 수직 AI 랩 투자 논거의 전형
• 매크로·정책·밸류 축적 분석까지 시뮬레이션으로 푼다는 비전은 아직 발산형 영역 — TVD 0.15, 85% 재현율 같은 검증 지표가 정량 서베이 대체 수준이라는 점과 구분해 볼 것

기억할 발언

• (09:16-09:35) "지금 랩들의 North Star는 합리적 초지능 기계. 그런데 알고 보니 사람은 비합리적임. 모델 크기가 커질수록 인간 행동을 예측·시뮬레이션하는 능력과는 갈라짐 — 현 패러다임으로는 인간 시뮬레이션이 정체 상태"
• (35:20) "오늘의 시뮬레이션은 빠르고 싸게 돌아감. 하지만 한 번 돌리는 데 1억 달러가 들고 수개월이 걸리더라도, 돌리고 나면 우리 사회의 근본 질문 하나를 풀어내는 시뮬레이션 — 그게 이 분야의 진짜 흥미로운 가능성"