What we see and what we value: AI with a human perspective—Fei-Fei Li (Stanford University)

발표자 서론 (Ranjay)

• Fei-Fei Li를 환영함. 방이 꽉 찬 것을 보니 Fei-Fei는 소개가 필요 없을 정도임.
• 약력만 읽어도 오늘 시간 대부분이 소요될 것이므로 소개는 짧게 하겠음.
• Fei-Fei는 스탠퍼드 교수이며, 발표자(Ranjay)의 PhD 지도교수였음.
• 현 스탠퍼드 인간 중심 AI 연구소(Human Centered AI Institute) 소장.
• 2017-2018년: 구글 부사장(VP) 및 구글 클라우드 AI/ML 최고 과학자 역임.
• 수백 편의 논문을 발표했으며, 특히 'ImageNet(이미지넷)'으로 가장 유명함.
• ImageNet은 오늘날 우리가 속한 딥러닝 AI 혁명을 이끌었음.
• 또한 유엔(UN) 사무총장 특별 고문, 백악관 과학기술실(OST) 국가 AI 리소스 태스크포스(National AI Resource Task Force) 위원으로 활동 중임.
• 최근 저서 "The World I See-- Curiosity, Exploration, and Discovery at the Dawn of AI"를 출간함. 오늘 강연에서 일부 내용을 다룰 예정.
• 워싱턴 대학에 온 것을 환영함.

Fei-Fei Li 강연 시작

• 감사 인사. 이 자리에 서게 되어 영광임.
• 교수로서 가장 큰 기쁨과 영광 중 하나는 최고의 학생들과 일하고 그들의 경력이 성장하는 것을 보는 것. Ranjay와 동료들의 초대는 매우 특별함.
• 오늘 강연은 컴퓨터 비전과 AI 발전을 렌즈로 하여, 수년간 해온 작업에 대한 개요와 높은 수준의 이야기를 공유하는 자리임.
• 제목: "What We See & What We Value-- AI with a Human Perspective."
• 5억 4천만 년 전 역사(캄브리아기)로 거슬러 올라감.
• 당시 지구는 원시 수프 상태였고, 생명체는 물속에 사는 단순한 동물들뿐이었음.
• 지질학적으로 짧은 기간(약 1천만 년) 동안 이상한 일이 발생함. 화석 연구 결과, 이 시기 동물 종의 수가 폭발적으로 증가함.
• 이 시기를 '캄브리아기 대폭발(Cambrian Explosion)' 또는 '진화의 빅뱅'이라 부름.
• 질문: 왜 생명체가 단순했던 상태에서 폭발적으로 종이 증가했는가?
• 여러 이론(기후 변화, 물의 화학적 구성 등)이 존재함.
• 그중 주도적인 이론 (앤드루 파커, 호주 동물학자): 이 폭발은 '시각'의 갑작스러운 진화에 의해 촉발됨.
• 이는 동물들이 '진화하거나 죽거나' 하는 '진화적 군비 경쟁(evolutionary arms race)'을 시작시킴.
• 즉, 빛을 보자마자 세상을 근본적으로 다르게 보게 됨. 음식, 피난처를 보고, 자신이 음식이 될 수도 있음을 알게 됨. 포식자가 적극적으로 사냥함.
• 생존과 번식을 위해 세상과 적극적으로 상호작용해야 했음.
• 그때부터 오늘날까지, 시각 지능(visual intelligence)은 동물 지능과 신경계 진화의 초석이 됨.
• 궁극적으로 우주에서 가장 놀라운 시각 기계인 '인간의 시각'에 이름.
• 인간과 동물은 세상을 탐색하고, 삶을 살고, 소통하고, 즐기고, 사교하는 등 많은 일에 시각을 사용함.
• (여기까지가 자연 시각의 간략한 역사).
• 컴퓨터 비전의 역사: 진화보다 훨씬 짧음.
• 약 60년 전 (1966년경) MIT 교수의 야심 찬 발언 (도시 전설): "AI 분야가 탄생했으니, 우리는 '여름' 안에 시각을 해결할 수 있다."
• 여름 동안 학부생 인턴을 고용해 시각 시스템의 상당 부분을 구축하려 함.
• 이는 터무니없는 추측이 아님. 인간은 눈을 뜨면 세상을 보는 것이 너무나 수월하게 느껴지기 때문.
• 시각 시스템 구축의 어려움을 과소평가한 것일 수 있으나, 영웅적인 노력이었음.
• 여름 동안 시각을 해결하지 못함. (조금도 못함).
• 60년 후, 오늘날 비전은 학계와 기술계 모두에서 매우 번창하는 분야가 됨.
• 현재 위치 (예시): 시각적 응용 프로그램이 어디에나 있음.
• 자율주행차 (우리 세대에 일어나길 희망).
• 이미지 분류/인식 기술이 헬스케어, 일상 등 많은 곳에 사용됨.
• 생성형 AI가 새로운 시각적 응용과 돌파구를 가져옴.
• 강연의 나머지 부분은 이 질문에 답할 것임: "우리는 어디에서 왔고 어디로 향하고 있는가?"
• 지난 몇 년간 해온 작업의 세 가지 주요 테제를 공유할 것임.

1. 인간이 보는 것을 보는 AI 구축

• 왜? 인간은 보기에 매우 능숙하기 때문.
• 1970년대 인지 과학 실험: 각 프레임이 10Hz (100ms)로 제시됨. 청중에게 "사람이 포함된 프레임을 보면 고개를 끄덕이라"고 요청함.
• 청중은 비디오를 본 적 없고, 사람의 모습, 복장, 등장 프레임 등 정보가 없었음에도 불구하고 사람을 즉시 탐지함. 08:04
• 세기 전환기, 프랑스 연구자들: 이 '수월함'에 시간 측정.
• 인간의 복잡한 물체/범주 인식은 수월하고 정확할 뿐만 아니라 '빠름'.
• 복잡한 사진(동물 포함 vs. 미포함) 제시 후 150ms 이내에, 인간의 뇌 신호에서 차이가 측정됨.
• 즉, 광자가 망막에 닿은 후 150ms 만에 정확한 결정을 내림.
• 실리콘에게는 느릴 수 있으나, 뇌과학 관점(10단계 뉴런 스파이크 전달)에서는 매우 빠른 것임.
• 동시대, 신경생리학자들 (MRI 연구):
• 진화가 인식을 극도로 최적화했기 때문에, 뇌에는 시각 인식을 전문으로 하는 특정 영역(신경 상관물)이 존재함.
• 예: 방추상 얼굴 영역(fusiform face area), 해마방 장소 영역(parahippocampal place area).
• 70~90년대 연구의 결론: '객체'는 시각 지능에 매우 중요하며, 인간에게는 구성 요소임.
• 이는 비전 분야의 중요한 '북극성'이 됨.
• 나의 초기 연구 및 컴퓨터 비전 분야의 방향을 이끎. '객체 인식/범주화'가 중요 문제임을 확인함.
• 이는 수학적으로 매우 어려운 문제임. (예: 웜뱃)
• 3D에서 2D 픽셀로 렌더링되는 방식은 조명, 질감, 배경 혼잡, 폐색(occlusion), 시점 등에 따라 수학적으로 무한함.
• 객체 인식의 3단계 발전:
  • 1단계 (초기, 인지 연구와 동시): '수작업 설계 특징 및 모델'.
  • 똑똑한 연구자들이 자신의 두뇌로 객체의 구성 요소, 모델, 매개변수를 설계.
  • 예: 지온(Geon) 이론, 일반화된 실린더(generalized cylinder), 부품 및 스프링 모델 (70~90년대).
  • 이론적으로, 수학적으로는 아름다웠지만, 실제로는 작동하지 않음(they don't work).
  • 2단계 (딥러닝 이전 가장 중요): '머신 러닝'.
  • 머신 러닝을 통계적 모델링 기법으로 도입.
  • 모델의 입력: 여전히 '수작업 설계 특징' (패치, 객체 일부 등)을 사용. 이는 많은 의미 정보를 담고 있다고 가정됨.
• 아이디어: 인체, 얼굴 등을 인식하기 위해 귀, 눈 같은 패치를 추출하고, 머신 러닝 모델이 이를 결합하는 매개변수를 학습.
• 분야 전체가 다양한 통계 모델 실험 (베이즈넷, SVM, 부스팅, CRF, 랜덤 포레스트, 초기 신경망).
• 2단계와 동시: '데이터'의 중요성 인식.
• 21세기 초, 벤치마킹 데이터셋의 중요성 인식.
• 예: PASCAL VOC, Caltech 101. 이는 분야의 진척을 측정하기 위함.
• 훈련 데이터로도 쓰였으나, 수백~수천 장, 소수 카테고리로 매우 작았음.
• 개인적 계기: '비더만 숫자(Biederman number)' 발견. (얼마 전 작고한 인지 심리학자).
• 비더만 교수는 인간 시각 지능의 규모를 연구.
• 추정: 인간은 평생 3만~10만 개의 객체 범주를 인식. (검증은 어려움, 논문의 추측).
• 또한 6세까지 성인이 아는 거의 모든 시각 범주를 학습함. (매우 빠른 학습 속도).
• 이 숫자는 당시 데이터셋 규모와 너무 비교되어 나를 괴롭힘.
• 이것이 'ImageNet(이미지넷)'의 시작(inception)임.
• 나와 학생들, 협력자들은 시각 지능에 대한 새로운 사고(데이터 중심)를 인식.
• 단순한 데이터 크기가 아닌 '다양성'이 중요함.
• ImageNet은 높은 용량과 데이터 기반 학습이 필요한 가장 중요한 알고리즘 계열, 즉 '컨볼루션 신경망(CNN)'을 다시 불러옴.
• (젊은 학생들은 모르겠지만) 내가 대학원생일 때(세기 전환기) CNN은 고전적 알고리즘, 즉 오래되고 작동하지 않는 것으로 간주됨.
• 데이터와 새로운 기술이 이 알고리즘 계열을 어떻게 부활시켰는지 보는 것은 놀라웠음.
• 3단계 (현재): '객체 인식의 성공적 단계'.
• 빅데이터(훈련)와 CNN을 사용, 이전 1, 2단계에서 불가능했던 '실세계(in the wild)' 객체 인식이 가능해짐.
• 결정적 순간: 2012년 제프 힌튼 교수와 학생들이 딥러닝 혁명의 시작을 알리는 논문 발표.
• 이후 비전 분야와 ImageNet은 트랜스포머 이전 시대 딥러닝의 알고리즘 발전을 주도함.
• RESNET 같은 작업은 'Attention is all you need' 논문의 선구자였음. 비전 분야는 딥러닝 진화에 많이 기여.
• 객체 인식 그 너머로:
  • (Ranjay의 박사 논문 주제이기도 함)
  • 세상은 객체 정체성만으로 정의되지 않음.
  • 예시: [사람과 라마가 있는 두 사진]. 두 사진 모두 '사람'과 '라마'를 포함하지만, 의미가 다름. (왼쪽 사람이 오른쪽 사람보다 낫고, 왼쪽 라마가 오른쪽 라마보다 나음).
  • 객체도 중요하지만, '관계', '맥락', '구조', '구성성'이 시각 지능의 풍부함을 구성.
  • ImageNet은 이런 연구를 진척시키기에 충분하지 않았음.
• Ranjay가 이미지와 시각적 표현에 대한 새로운 사고(주로 시각적 관계에 초점)를 주도.
• '씬 그래프(Scene Graph)' 표현 방식 도입: 객체 단위의 엔티티, 속성, 엔티티 간 관계를 인식.
• 'Visual Genome' 데이터셋 구축 (엄청난 작업).
• 수십만 장의 이미지, 수백만 개의 관계, 속성, 객체, 자연어 설명 포함.
• Visual Genome에서 많은 작업 파생 (대부분 Ranjay 저술).
• 가장 좋아하는 작업 중 하나: '시각적 관계의 원샷 학습(One-shot learning)'.
• 객체의 구성성을 사용해 '사람이 말 타기', '사람이 모자 쓰기' 등을 학습.
• 구성성을 통해 '롱테일(long-tail)' 관계 (학습 예제가 부족한) 인식이 '거의 공짜로' 가능해짐.
• 예: '모자 쓴 말', '소화전 위에 앉은 사람'. (당시 SOTA보다 우수했음).
• 자연어로 확장: 이미지 캡셔닝, 덴스 캡셔닝, 문단 생성 등 (안드레 카파시, 저스틴 존슨 등).
• 과학자가 미래 예측을 얼마나 못하는지에 대한 일화:
• 2005년 졸업 당시, "죽기 전에 컴퓨터가 사진을 보고 이야기를 들려주는 것을 보고 싶다"는 것이 평생의 꿈이었음.
• 그것이 컴퓨터 비전의 최종 목표라 생각.
• 졸업 후 10년도 안 되어 (LSTM과 CNN으로) 이 꿈이 실현될 줄은 상상도 못 함.
• 교훈: 1) 그것이 컴퓨터 비전 성취의 끝이라는 잘못된 꿈이었음. 2) 얼마나 빨리 올지 몰랐음. (꿈꿀 때 조심하라).
• 정적 관계는 쉬움. 실제 세계는 '동적 관계'로 가득.
• 동적 관계는 더 미묘하고 어려움. (최근 연구: 2년 전 NeurIPS)
• 다중 객체, 다중 행위자 활동 인식/이해 작업은 현재 진행형이며, 미해결 문제로 여전히 흥미로움.
• 비전 분야는 다른 사람들의 작업(3D 비전, 포즈 추정, 이미지 분할-SAM, 생성형 AI 등) 덕분에 흥미진진함. (이것들은 내 작업 아님).
• 결론 (섹션 1):
  • 인간이 보는 것을 보는 AI 구축은 아직 끝나지 않았지만, 먼 길을 왔음.
  • 이는 데이터, 컴퓨팅, 신경망 같은 알고리즘이 가져온 딥러닝 혁명 덕분.
  • 비전 분야가 이에 기여한 것을 자랑스럽게 생각.
  • AI 발전은 뇌과학, 인지에서 영감을 받아왔고 앞으로도 그럴 것임.

2. 인간이 보지 못하는 것을 보는 AI 구축

• 인간이 뛰어나다고 했지만, 충분히 좋지는 않음.
• 예: 나는 이 공룡들을 다 구별하지 못함.
• '세분화된 객체(fine-grained objects)' 인식은 인간이 잘 못하는 영역.
• 1만 종 이상의 새가 있음. 4천 종의 새 데이터셋을 구했으나, 인간은 모든 종을 인식하는 데 처참히 실패.
• 이 영역을 '세분화된 객체 범주화'라 부름.
• 컴퓨터가 인간 능력을 넘어서, 더 세분화된 객체 탐지기를 훈련할 수 있다는 점은 흥미로움.
• 응용 논문 (매우 흥미로움): 세분화된 자동차 인식.
• 1970년대부터 제작된 3,000가지 유형의 자동차(제조사, 모델, 연도별)를 다운로드. (테슬라 유행 전이라 테슬라 없음).
• 탐지기 훈련 후, 미국 100개 도시(주별 2개)의 스트리트뷰 사진 다운로드.
• 2010년 인구 조사 데이터와 상관관계 분석.
• '비전'을 렌즈로 세상을 보니, 자동차 탐지와 인간 사회(소득, 교육 수준, 투표 패턴 등) 간의 상관관계가 놀라웠음.
• 개인의 눈으로는 못 보지만, 컴퓨터는 우리가 못 보는 방식으로 우리 사회를 보게 도와줌.
• 인간이 그렇게 좋지 않다는 또 다른 예: 시각적 착각.
• 스트룹 테스트(Stroop test): 단어의 의미가 아닌 '색상'을 읽기. (매우 어려움. 예: 빨강, 주황, 초록...)
• 변화맹(Change Blindness): 두 개의 번갈아 나오는 사진. 차이점을 찾기 어려움. (IQ 테스트 농담)
• 정답: (비행기) 엔진. (엄청나게 큰 부분임에도 망막에 맺혔지만 놓침).
• 이것이 현실 세계, 특히 중대한 상황(공항 보안, 수술실)이라면 재미있는 일이 아님.
• 보지 못하는 것의 심각한 결과:
• '의료 오류'는 미국인 사망 원인 3위.
• 수술실에서 기구, 거즈 등을 확인하는 것은 매우 중요함.
• 무언가 없어지면, 수술이 평균 1시간 이상 중단됨 (간호사/의사가 찾아야 함). 환자에게 생명 위험.
• 현재 방식: 손으로 직접 계산.
• 만약 컴퓨터 비전이 수술 환경에서 작은 기구 계산을 도울 수 있다면 매우 유용할 것.
• (현재 내 연구실 헬스케어팀과 스탠퍼드 병원 외과의 협업 진행 중).
• (수술 시나리오에서 거즈 계수 데모 시연).
• '보는 것'은 '주의력'만의 문제가 아님. (더 심오한 문제)
• 체커보드 착시 (Checkerboard illusion): (테드 에디슨, MIT)
• A와 B는 다른 회색조로 보임.
• (가림판 추가) 사실 같은 회색조임. 답을 알아도 눈에 속기 쉬움.
• 클린턴/고어 착시:
• 청중: "빌 클린턴과 앨 고어".
• 사실: 클린턴과 클린턴. (고어의 머리카락, 맥락 속에 클린턴 얼굴을 복사한 것).
• 우리는 클린턴과 고어로 보도록 '점화'됨.
• '점화(Priming)'는 '인간 편향'의 근본적 요소.
• 컴퓨터 비전도 조심하지 않으면, (주로 데이터셋을 통해) 인간의 편향을 물려받음.
• 예: 조이 부올람위니(Joy Buolamwini) (MIT) - 컴퓨터 비전의 편향을 드러내는 시.
• (나는 이 분야 전문가가 아니지만) '보지 못하는 것'은 결과가 따름을 지적하는 것이 중요.
• AI 시스템에 스며드는 편향과 싸우기 위해 열심히 노력해야 함.
• 반대로, '보지 않아야 하는 것'도 있음. (너무 많이 보는 것).
• '프라이버시'의 가치.
• 내 연구실은 헬스케어 맥락에서 프라이버시 컴퓨팅 연구 중 (인간 존엄성, 정체성 보호).
• 좋아하는 작업 (후안 카를로스 니블스): 하드웨어/소프트웨어 결합.
• 중요한 '행동'은 인식하면서 '프라이버시'는 보호.
• 아이디어: (예: 아기가 상자 미는 영상). 아이나 환경을 노출하고 싶지 않다면?
• 원시 픽셀 신호를 흐리게 하는 렌즈(warped lens)를 설계.
• (결과물) 인간은 아기를 볼 수 없음.
• 이 렌즈(top row)와 함께, 초고해상도 복원이 아닌, '활동'만 복원하는 알고리즘 설계.
• 이 하드웨어/소프트웨어 접근 방식은 프라이버시를 보호하면서, (운송, 헬스케어 등에서) 필요한 통찰력만 읽어냄.
• 결론 (섹션 2):
  • 인간이 못 보는 것을 보려는 것은 컴퓨터 비전의 탐구 일부.
  • 인간이 못 보는 것(편향)은 나쁘다는 것을 인식해야 함.
  • 동시에 컴퓨터가 프라이버시를 위해 '보지 않도록' 만들어야 함.
  • AI는 인류 사회의 고질적인 문제들을 증폭/악화시킬 수 있음.
  • 우리는 AI가 인간과 사회에 미치는 영향을 연구, 예측, 가이드하는 데 전념해야 함.

3. 인간이 보고 싶어 하는 것을 보는 AI 구축

• 인간을 기술 설계의 중심에 두어, 진정으로 돕게 함.
• 오늘날 대중이 AI라는 단어를 들으면 떠올리는 것: '불안감'.
• 상당 부분은 '노동 환경', '일자리' 때문.
• 하지만 실제로는 '인력난'이 심각한 분야도 많음.
• 헬스케어 산업:
• 작년 미국, 최소 100만 명의 간호사 부족. 상황은 악화 중.
• (앞서 언급한) 의료 오류 상황.
• 고령화 사회는 돌봄 인력 부족을 악화시킴.
• 이 부담은 여성, 유색인종에게 불공평하게 전가됨. (돌봄은 GDP에도 미포함).
• AI가 인간을 '대체'하는 것 대신, '증강'하고, 인간의 일을 돕고, 손을 내미는 것을 생각해야 함.
• 헬스케어 (비전 관점): 우리가 '보지 못하는' 시나리오가 너무 많음. (환자 상태, 치료 품질, 기구 분실, 투약 오류 등).
• 지난 10년간, 내 연구실과 협력자들은 '헬스케어를 위한 앰비언트 인텔리전스(Ambient Intelligence)'라는 새로운 연구 분야 시작.
• 스마트 센서(주로 깊이 센서, 카메라)와 머신 러닝 알고리즘을 사용해 건강에 중요한 통찰력 확보.
• (Nature 논문: "Illuminating the Dark Spaces of Healthcare with Ambient Intelligence")
• 예시 1: 손 위생.
• (코로나19 한참 전에 시작. 당시엔 지루한 프로젝트 취급).
• 병원 내 감염(Hospital acquired infection)은 매년 미국에서 교통사고 사망자보다 3배 많은 사람을 죽임.
• 상당수는 의료진이 병균을 옮기기 때문.
• WHO는 명확한 손 위생 프로토콜이 있지만, 인간은 실수함.
• 현재 병원의 모니터링 방식: 비싸고, 드물고, 방해가 됨. (사람이 병실 앞에 서서 상기시킴. 확장성 없음).
• (스탠퍼드 아동병원, 유타 인터마운틴 병원과 협력):
• 손 세정제 디스펜서 앞에 '깊이 센서' 설치.
• 비디오 분석, 활동 인식 시스템으로 의료진의 손 위생 수행 여부 관찰.
• (결과) 컴퓨터 비전 알고리즘의 정밀도/재현율이 병실 앞 '인간 관찰자'보다 높음.
• 예시 2: ICU 환자 이동성 프로젝트.
• ICU에서 환자를 올바른 방식으로 움직이게 하는 것이 회복에 중요함.
• (ICU는 미국 GDP의 1% 사용, 헬스케어는 18%).
• (스탠퍼드 병원 협력): ICU 병실에 RGBD 센서 설치.
• 환자가 어떻게 움직이는지 연구. (중요한 움직임: 침대 밖/안, 의자 밖/안).
• 컴퓨터 비전 알고리즘이 의료진의 움직임 추적을 도움.
• 예시 3: 에이징 인 플레이스(Aging in Place).
• 노년층을 안전하고, 건강하고, '독립적으로' 유지하는 방법.
• 감염, 이동성 변화, 수면 장애, 식단 문제 등의 초기 징후를 파악하는 방법.
• (컴퓨터 비전이 큰 역할). (현재 태국, 싱가포르와 협력 시작).
• (프라이버시 문제 유념하며) 노인 가정에 알고리즘 적용 중.
• 마지막 주제: 로봇 (Embodied AI).
• 미래에는 로봇이 인간과 협력하여 삶을 개선하는 세계가 올 것.
• (앰비언트 인텔리전스 = 수동 센서).
• 궁극적으로 '체화된 AI'가 소방관, 의사, 돌봄 제공자, 교사 등을 돕는 데 매우 중요할 것.
• 기술적으로, 로봇을 세상에 내놓기 위해 '인식'과 '행동' 사이의 루프를 닫아야 함.
• 격차는 여전히 큼.
• (로봇이 상자 놓기에 처참히 실패하는 영상 시연).
• (물론 로봇 연구는 빠르게 발전 중이라 이 예시만 보는 건 불공평함).
• 하지만 여전히 로봇 학습은 '기술 수준(skill level)'의 작업, '짧은 범위(short horizon)'의 목표, '폐쇄된 세계(closed world)'의 지시에 머물러 있음.
• '열린 세계(open world)' 지시를 향한 로봇 학습 시도 (내 연구):
• 'VoxPoser' (반년 전 공개).
• (예: 문 열기) 기존 로봇 학습: [작업 부여 -> 훈련셋 -> 행동 모델 훈련 -> 테스트].
• 문제: 어떻게 일반화? 어떻게 '실세계' 일반화? 어떻게 '열린 세계' 지시?
• 이 작업의 초점: 실세계/개방형 어휘(open vocabulary)를 사용한 '모션 플래닝(motion planning)'.
• 아이디어: LLM(대형 언어 모델)을 활용.
• LLM: (1) 작업 구성.
• VLM(시각 언어 모델): (2) 목표와 장애물 식별.
• 코드 생성 3D 가치 맵(value map): (3) 모션 플래닝 가이드.
• (작동 방식):
• 지시: "위쪽 서랍 열어"
• LLM이 지시 구성 -> VLM이 서랍 식별 -> 플래닝 맵 업데이트 (서랍에 가치 부여).
• 추가 지시: "꽃병 조심해"
• LLM -> VLM이 꽃병 식별 -> 장애물이 포함된 경로 식별 -> 가치 맵 업데이트 -> 모션 맵 재계산 (최적화될 때까지 반복).
• (시뮬레이션 및 실제 세계 예시 시연: 관절형 객체, 변형 가능한 조작, 일상 조작).
• VoxPoser 및 다른 프로젝트들의 한계:
• (내 배경인 시각 세계와 비교할 때) 이 작업들은 매우 '소규모 데이터', '일화적인' 실험 설정.
• 표준화 부족. 작업이 연구실에 한정됨.
• 실제 세계(복잡, 동적, 가변적, 상호작용, 다중작업)와 비교하면 불만족스러움.
• 로봇 학습의 진전을 위한 질문: (비전/NLP는 이미 대규모 데이터와 벤치마킹이 학습을 주도함을 보여줌).
• 어떻게 '대규모 데이터'와 '효과적인 벤치마킹'을 로봇 학습에 결합할까?
• 새 프로젝트 (지난 3년간): BEHAVIOR
• (Benchmark for Everyday Household Activities in Virtual Interactive Ecological environments).
• 핵심: 일화적인 소규모 작업 대신, '사람들에게 중요한 1,000가지 작업' 수행.
• '인간 중심(Human Centered)' 접근:
• 수천 명에게 물음: "로봇이 OOO을 도와주면 좋겠는가?"
• (청중 질문) 부엌 바닥 청소? (대체로 예). 눈 치우기? (예). 빨래 개기? (예).
• 아침 식사 요리? (반응 섞임).
• 크리스마스 선물 열기? (아니오).
• (미국 정부 데이터, AMT 크라우드소싱 등 활용).
• 사람들이 도움을 '원하는 것'과 '원하지 않는 것' 순위 매김.
• 결론: '청소'는 모두 싫어함. / '선물 열기', '반지 사기', '아기 시리얼 섞기' 등은 인간이 직접 하길 원함.
• 사람들이 도움을 원하는 상위 1,000개 작업을 BEHAVIOR 데이터셋 목록으로 선정.
• 8가지 유형(아파트, 식당, 상점 등)의 50개 실제 환경 스캔.
• (UW의 Object Verse 같은 작업에 비하면 작지만) 수천 개의 객체 에셋 확보.
• 시뮬레이션 환경 구축.
• (UW의 Ai2THOR, Habitat, Sapien 등 로봇 시뮬레이션 분야의 훌륭한 기여들 언급).
• NVIDIA (Omniverse 그룹)와 협력:
• '현실적인' 시뮬레이션 환경 구축에 초점. (좋은 물리-열, 조명 등, 좋은 인식-사용자 연구로 확인, 상호작용).
• (BEHAVIOR 환경이 1,000개 로봇 작업 훈련에 강점이 있음을 비교를 통해 보임).
• 현재 벤치마킹, 로봇 학습, 다중 감각 로봇, 가정용 로봇의 경제적 영향 연구 등 진행 중.
• (언급 안 한 것): '뇌-로봇 인터페이스(Brain Robotic Interfacing)' 연구.
• BEHAVIOR 환경에서 EEG를 사용해 로봇 팔을 조종하는 인터페이스 (이번 분기 발표).
• BEHAVIOR는 커뮤니티와 우리 연구실을 위한 풍부한 연구 환경이 되고 있음.
• 목표: 언젠가 로봇(협업 로봇, 가정용 로봇)과의 격차를 줄이는 것.
• 결론 (섹션 3):
  • 이 연구(헬스케어, 체화된 AI)는 AI가 '인간이 원하는 것'을 보고 수행하도록 구축하는 것임. (환자 돕기, 노인 돕기).
  • 핵심 강조점은 '증강'임.

종합 결론 (인간 중심 AI)

• 이 세 가지 작업은 '인간 중심 AI' 접근 방식으로 귀결됨.
• 핵심: 1. 인간 영향에 대한 '고려'를 가지고 AI 개발.
• 핵심: 2. 인간을 '증강'하고 '향상'하는 데 AI 초점.
• 핵심: 3. 인간 지능, 인지과학, 뇌과학에서 '영감'을 얻는 것의 지적 중요성.
• 이것이 5년 전 스탠퍼드 인간 중심 AI 연구소(HAI) 설립의 기반. (영문학, 의학, 경제학, 철학, 법학 등 다양한 교수진과 공동 설립).
• HAI의 활동 (5년간):
• 디지털 경제 연구.
• 기초 모델 연구 센터(Center for Research for Foundational Models): LLM 벤치마킹, 평가 (Percy, Chris 등).
• AI 연구를 위한 '윤리 및 사회 검토(ethics and society review)' 프로세스 생성 (Michael Bernstein 등).
• 교육: (1) 학부생 대상 윤리 중심 AI 교육. (2) 외부 세계(정책 입안자, 비즈니스 임원) 대상 교육.
• 국가 정책(의회, 상원, 백악관)에 직접 참여: 공공 부문 AI 투자(특히 국가 AI 연구 클라우드 법안) 옹호. (UW도 파트너).
• (강연 종료).

질의응답 (Q&A)

• Q1: 향후 5~10년 내 컴퓨팅 분야의 가장 흥미로운 돌파구는?
• A: (나는 예측을 매우 못한다고 방금 말했음).
• (1) AI의 영향력 '심화 및 확장': 기술이 강력해진 현시점에서, 이를 과학적 발견, 맞춤형 교육, 헬스케어, 생물 다양성 매핑 등에 적용하는 것. 즉, '학제간 AI'의 심화/확장.
• (2) (개인적 편향) '컴퓨터 비전'은 또 다른 혁명을 앞두고 있음(at the cusp of it). 많은 것이 융합되고 있어, 다음 비전 돌파구가 기대됨.
• Q2: LLM은 시맨틱 이해로 인상적. 이미지/컴퓨터 비전의 프론티어는?
• A: (1) 세상은 근본적으로 매우 풍부함.
• (Ranjay에게) 언어는 세상을 '손실 압축(lossy compression)'한 것임. (언어는 풍부하고, 추론/추상/창의성 등을 담지만, 상징적(symbolic) 압축임).
• (2) 반면 3D, 4D의 '세상 그 자체'는 매우 풍부함.
• 세상은 모델을 가질 자격이 있음(The world deserves a model). (언어뿐만 아니라).
• 세상의 구조를 근본적으로 이해하는 새로운 기술의 물결이 필요함.
• Q3: '영어'가 연구 분야(데이터셋 레이블링 등)를 지배하는 현상(편향)에 대해 어떻게 생각하는가? (다른 언어는 관계/객체를 다르게 묘사할 수 있음).
• A: (1) 매우 중요한 지적. '물려받은 인간 편향'의 한 측면임.
• (2) (변명은 아니고, 재미있는 사실): ImageNet 구축 시, (조지 밀러의 어휘 분류가 다국어였기에) 영어 'synsets'을 프랑스어, 이탈리아어, 스페인어, 포르투갈어, 아시아 언어 등으로 매핑하기 쉬웠음.
• (ImageNet이 영어로 보일지라도, 데이터는 라이선스를 얻을 수 있는 모든 언어에서 왔음).
• (3) 하지만 이것이 지적한 문제를 해결하진 않음. 당신 말이 맞음.
• (4) 우리는 매우 유념해야 함(mindful).
• (5) 예: BEHAVIOR 데이터셋도 처음엔 미국 정부 데이터(TV 시청 편향)로 시작 -> 유럽 데이터 추가 -> 하지만 여전히 '글로벌 사우스(Global South)'가 빠져 매우 편향됨.
• 발표자: (시간 종료 및 감사 인사).