Engram 인터뷰 — 가중치 메모리와 컨티뉴얼 러닝

개요

• 게스트: Engram 공동창업자 Dan Biderman(뉴로사이언스 출신)·Jessy Lin. 메모리·컨티뉴얼 러닝 전문 신생 랩
• 주제: 외부 메모리(RAG·컨텍스트 엔지니어링)가 아니라 모델 가중치에 직접 새 지식을 학습시키는 접근. "우리 모델은 항상 학습 중"이라는 테제 상세 해설

핵심 내용

Engram의 테제 — 병목은 지능이 아니라 컨텍스트

• 병목은 지능이 아닌 새로운 컨텍스트 이해: 현재 모델의 병목은 raw intelligence가 아니라 "새롭고 진화하는 컨텍스트"의 이해. 회사 고유 데이터를 파리 수도·파이썬 코딩 수준으로 깊게 아는 모델이 목표
• 메모리와 컨티뉴얼러닝은 동전의 양면: 메모리와 컨티뉴얼 러닝은 동전의 양면 — 둘 다 "새 지식을 가중치에 깊이 굽는" 문제
• 외부화 메모리(노트·컨텍스트)의 한계: 곧 1인당 하루 수천만 토큰 생성 시대 — 저장·검색·재독은 비싸고 모델에게도 혼란. 인간처럼 "다음날 뇌에 남는 흔적"이 필요

작동 방식 — 팀 단위 모델 + 어댑터 파인튜닝

• 파트너: Notion·Microsoft·Harvey. 워크스페이스 안의 문서·에이전트 대화·피드백 전부가 원료
• 팀단위 모델 학습으로 암묵지 보유: 워크스페이스별 per-team 모델 학습 — "수년 근무한 직원"처럼 회사 이니셔티브·업무 방식을 암묵지로 보유
  • 기술적으로는 어댑터 파인튜닝(LoRA·prefix·sparse 아키텍처) + 원시 문서/인터랙션을 학습 신호로 변환(SFT·RL·on-policy distillation)
• 가중치 화이트박스 접근 필수 오픈소스 용이: 가중치 white-box 접근 필수 — 오픈소스 모델이 가장 쉽고, 트랜스포머면 어떤 모델이든 적용 가능. 클로즈드 랩과는 파트너십으로 가능
• 팀 단위부터 시작하는 이유: 지식노동 협업 공간에 "정보의 큰 퇴적층"이 있어서. 장기적으로 개인 PC·폰도 타깃

경제성 — 토큰 100배 절감, "RAG 킬러"

• 트레이드오프: 학습에 컴퓨트를 선지출하고 추론 시 컨텍스트 전송을 줄임 — 50%가 아니라 2자릿수 배수(100x) 토큰 절감 주장
  • 사람·조직·우선순위 같은 "한 문서에 없는" 지식은 프론티어 모델이 10만 토큰 쓸 답을 학습된 모델은 100토큰에 답변
• 품질 측면: 프론티어 모델이 못 하는 bespoke 작업의 3-6개월 갭이 항상 존재 — 경량 자율학습으로 그 갭에서 가치 창출
• 회사지식 효율인코딩 목표 RAG킬러 자처: 고객 수요는 "우리 회사 지식이 더 효율적으로 인코딩되길, 누구한테 triage할지 모델이 직관적으로 알길" — 무거운 검색 루프 없이. 스스로 "RAG 킬러"라 표현하되 검색 병행은 인정
• 에이전트추론비용 페인포인트 연상은 가중치에서만 발생: 단기 페인포인트는 에이전트 추론 비용 — 같은 회사 사람들이 같은 문서에 같은 쿼리를 반복. 캐싱으로 일부 해결되지만 연상은 가중치에서만 발생 — 묻지 않은 관련 정보를 먼저 떠올리는 능력
• 검색시스템 한계는 저장 아닌 어드레싱: 검색 시스템의 근본 한계는 저장이 아니라 어드레싱 — 뭘 찾아야 할지 아는 직관 자체가 가중치에 있어야 함

기억 vs 검색 — 무엇을 내재화할 것인가

• 암기 vs 추상학습 거짓 이분법 사실 내재화 필수: 사실 암기 vs 추상 학습은 거짓 이분법 — 복잡한 개념을 조합하려면 기초 사실의 내재화가 필수. 사실을 제거한 "순수 코어" 모델 실험은 부자연스러운 모델만 남김
• 인간 기억 손실은 압축이 지능의 본질: 인간 기억이 lossy한 이유 = 지능의 본질이 "중요한 것의 압축". 학술 벤치마크식 사실 암기는 잘못된 목표
• 내재화 외재화 경계 미해결 휴리스틱 필터 최소화: 내재화/외재화 경계는 미해결 문제 — "1년 전 호텔 방 번호"는 적어두면 되지만 "집 비밀번호"는 몇 년간 각인이 유리. 휴리스틱 필터 최소화 방침 — 인간이 쓰레기 콘텐츠를 봐도 뇌가 탈선하지 않듯 모델도 그래야
• 꿈 비유: 실제 인터랙션에서 물러나 오프라인으로 어포던스를 실험하는 시간(무엇을 할 수 있고 없는지)을 모델에도 부여

프론티어 랩과의 차별화 논리

• 랩은 범용 모델 하나 Engram은 개인화 모델 세계: 랩의 세계관은 "하나의 더 큰 범용 모델", Engram은 "모두가 자기 모델을 갖는 세계"
  • 학습 대상 데이터가 사적(포스트트레이닝 데이터셋에 절대 안 들어감)이거나 상호 충돌(회사마다 원하는 방식이 다름) — 깨끗한 감독·그라운드트루스 보상이라는 기존 ML 도구와 안 맞음
• 랩의 P0는 AGI 메모리는 부차적 프로덕트 과제: 랩의 P0는 AGI(코딩·수학 범용 모델) — 메모리·컨티뉴얼 러닝은 랩 내부에선 프로덕트 수준 노력. Demis도 "이 영역에 새 돌파구 필요" 공언
• 필요한 변화 3가지: 신규 연구 돌파구 + "모두를 위한 소형 모델" 학습 인프라 + 연구-프로덕트 통합 루프(유저 입력이 곧 학습 신호이므로 담장 너머 던지기 불가)
• 동기 부여 사례: 랩이 1주 뒤 수학 올림피아드를 이겨야 한다면 교과서 카탈로그·주석 작업이 아니라 데이터 합성 → 학습 잡 → 평가를 돌림. 그 "학습의 마법"을 모든 도메인에 민주화하겠다는 것

KV 캐시의 비효율 — 1000배 압축 기회

• 위키 한 문서 KV캐시가 70B 가중치 전체와 맞먹음: 회사 출발점이 KV 캐시 딥다이브. 위키피디아 기사 하나의 KV 캐시가 HBM 80GB인데, 70B Llama 전체 가중치는 약 100GB로 인터넷 전체를 (왜곡 포함) 기억 — 가중치가 압도적으로 비트 효율적이라는 존재 증명
• 브레인 스테이트 1000배 압축 로드시 속도비용 함의: 80GB 브레인 스테이트를 오프라인 컴퓨트로 1000배 압축해 로드하면 속도·비용·표현 충실도에 거대한 함의
• 서브쿼드러틱 대안도 메모리 정확도 트레이드오프 불가피: 서브쿼드러틱 대안(state space 계열, 본인들도 기여)은 결국 메모리-정확도 트레이드오프 — 공짜 점심 없음. 진짜 bitter lesson 신봉자라면 "새 컨텍스트에 컴퓨트를 더 태우는" 방향이 맞다는 주장

전망 — 메모리의 ChatGPT 모먼트

• 가르치면 나아지는 인턴이 메모리의 킬러 데모: 킬러 데모 = "가르치면 실제로 나아지는 인턴". 아무리 정교한 컨텍스트 엔지니어링도 아직 여기 도달 못함 — "어제와 다르네" 순간이 티핑 포인트
• 현재 컨텍스트 조탁은 한계 다음 모델 세대 기다려야: 현재는 개인이 24시간 컨텍스트를 조탁해도 성과 한계 — 다음 버전 모델을 기다리는 게 나음. "쏟은 시간이 성능으로 전환되는" 미래가 목표, 단 기존 능력 파괴 없이 학습하는 게 난제
• 메모리 월렛 구상: 개인-업무 컨텍스트는 분리 필요(ChatGPT 메모리의 컨텍스트 혼선 사례). 홀리 그레일은 IP는 회사에 남기고 스킬만 새니타이즈해서 다음 직장으로 이동 — 디지털판 이직
• 5-10년 비전: 수억 개의 개인화 모델이 데이터 플레인에 대한 "뉴럴 인터페이스"가 되는 것 — Databricks·Oracle의 뉴럴 버전. 뇌에서 기억과 공간 내비게이션이 같은 회로라는 신경과학적 유비

투자자 관점 시사점

• 추론 토큰 소비의 구조적 디플레 리스크: 학습 선지출로 추론 토큰 100배 절감이 실현되면, 현재 "에이전트 = 토큰 폭식" 전제로 짠 추론 수요 전망(GPU·네오클라우드·추론 API 물량)에 하방 변수. 반대로 지속 학습용 파인튜닝 컴퓨트라는 신규 수요가 상쇄 — 워크로드 믹스가 추론 일변도에서 소규모 학습 잡 다발로 이동 가능
• RAG·벡터DB 밸류체인 압박: "RAG 킬러" 내러티브가 맞다면 검색·임베딩 인프라 스택의 장기 TAM에 의문. 다만 본인들도 외부화 병행 인정 — 전면 대체가 아니라 내재화/외재화 재배분
• 앱 레이어의 해자 재정의: Notion·Harvey 같은 파트너가 자사 워크스페이스 데이터로 per-team 모델을 갖게 되면, 프론티어 모델 래퍼가 아니라 데이터-학습 루프가 해자가 됨. "누가 모델을 소유하나"의 인센티브 구도 변화가 핵심 관전 포인트
• 프론티어 랩 대비 갭 전략의 지속성: "랩보다 3-6개월 앞서는 bespoke 구간"이 사업 논리인데, 랩들이 메모리를 P0로 승격하면 압축될 수 있는 갭 — 소형 특화 랩들의 공통 리스크

기억할 발언

• (28:43) "같은 회사 사람들이 같은 문서에 같은 쿼리를 반복해서 돌리고 있음. 그건 모델이 그냥 알아야 하는 것. 직원한테 물어보면 검색창에 '내가 어제 뭐 하고 있었지'라고 치지 않음 — 그냥 앎."
• (44:01) "우리는 뉴럴 메모리를 만드는 것. 수억 개의 개인화된 모델이 데이터 플레인에 대한 뉴럴 인터페이스가 됨. 파일 시스템을 있는 그대로 표현하는 게 아니라, 그 파일 시스템의 브레인 스테이트를 표현하는 것."