2023. 3. 27. Ilya Sutskever(OpenAI 수석 과학자) - 차세대 토큰 예측이 인간 지능을 능가할 수 있는 이유

일리야 수석 과학자 소개

• OpenAI 공동창업자이자 수석 과학자인 일리야 수츠케버(Ilya Sutskever) 인터뷰.
• 본인이 다수의 돌파구를 만든 비결: 매우 열심히 노력하고, 모든 것을 쏟아부었으며 그것이 지금까지 효과가 있었음. 그게 전부라 생각함.

GPT의 악의적 사용

• 왜 GPT의 불법적 사용이 더 많지 않은가: 아직 본격적으로 시도하지 않았을 수 있음.
• 일부는 이미 일어나고 있을 수 있으며, 놀랍지 않음. 특히 오픈소스 모델을 선전이나 사기에 사용하려 할 수 있음. 미래에 이런 관심이 생길 것으로 예상함.
• 기술적으로 가능하지만 아직 충분히 생각하지 않았거나, 대규모로 수행하지 않았을 수 있음. 혹은 이미 일어나고 있을 수 있음.
• 대규모 추적은 특별한 작업이 필요하지만 가능함.

AI의 경제적 가치와 AGI 타임라인

• AGI 이전에 AI가 경제적으로 매우 가치 있는 시기: 상당한 '다년간의 창'이 될 것임. AI 가치는 AGI가 되기 전까지 매년 기하급수적으로 증가할 것임.
• 돌이켜보면, 가장 가파르게 성장한 1~2년만 중요하게 느껴질 수 있음. 하지만 이미 작년에도 상당한 경제적 가치가 창출됐고, 내년, 내후년은 더 커질 것임. 지금부터 AGI까지 꽤 긴 기간 동안 이 추세가 지속될 것.
• OpenAI 모델을 사용하는 스타트업의 기회: "AGI까지 얼마나 남았는가?"라는 질문과 같음. 답하기 어려움. 기술을 연구하는 낙관적인 사람들은 시간을 과소평가하는 경향이 있음.
• 자율주행차 비유: 테슬라의 자율주행을 보면 모든 것을 하는 것처럼 보이지만, 신뢰성 측면에서 갈 길이 멈. 현재 AI 모델도 모든 것을 할 수 있는 것처럼 보이지만, 모든 문제를 해결하고 정말 신뢰할 수 있고 견고하게 만들기까지 더 많은 작업이 필요할 수 있음.

2030년 AI의 GDP 비중

• 답하기 매우 어려움. 오차 범위가 로그 스케일임. 엄청나게 큰 비율일 수도, 실망스러울 정도로 작은 비율일 수도 있음.

AI가 실패할 경우의 이유 (2030년 가정)

• 그럴 가능성은 매우 낮다고 생각함.
• 하지만 만약 그렇게 된다면(실망스러운 결과), 그 이유는 신뢰성 때문일 것임.
• 모델이 신뢰할 수 없게 되거나, 신뢰성을 확보하는 것이 예상보다 훨씬 어렵다는 것이 밝혀질 경우. (물론 그렇게 생각하지 않음)
• 만약 계속 답을 확인하고 더블 체크해야 한다면, 이는 시스템이 생산할 수 있는 경제적 가치를 크게 저해함. 신뢰할 수 없다는 것은 기술적으로 성숙하지 않았다는 의미임.

생성 모델 이후와 AGI 패러다임

• 현재의 생성 모델 패러다임이 AGI로 가는 길인가: 이 패러다임은 매우, 매우 멀리 갈 것이며 과소평가해선 안 됨.
• 하지만 이 정확한 패러다임이 AGI의 최종 형태는 아닐 가능성이 꽤 있음. 다음 패러다임이 무엇인지 정확히 말하기는 망설여지지만, 아마도 과거의 모든 다양한 아이디어들의 통합을 포함할 것임.

다음 토큰 예측과 초인간적 성능

• 다음 토큰 예측이 인간의 성과를 능가할 수 있는가: 그렇다. 인간의 성과를 능가할 수 없다는 주장에 동의하지 않음.
• 표면적으로는 모방만 하므로 사람을 복사하는 것처럼 보임.
• 반론: 만약 기본 신경망이 충분히 똑똑하다면, "훌륭한 통찰력, 지혜, 능력을 갖춘 사람이 무엇을 할 것인가?"라고 물어볼 수 있음. 그런 사람이 존재하지 않더라도, 신경망은 그런 사람이 어떻게 행동할지 추론해낼 가능성이 큼.
• 통찰력의 출처: 평범한 사람들의 데이터에서 나옴.
• 다음 토큰을 '잘' 예측한다는 것의 의미: 그 토큰을 생성하게 만든 근본적인 현실을 이해한다는 뜻임. 단순한 통계가 아님.
• 그 통계를 압축하고 이해하기 위해서는, 이 통계를 만들어내는 세상이 무엇인지 이해해야 함. 사람들의 행동을 유발하는 것은 무엇인가? 그들은 생각, 감정, 아이디어를 가지고 특정 방식으로 행동함. 이 모든 것이 다음 토큰 예측에서 추론될 수 있음.
• 이를 통해 (무한정은 아니지만) 상당한 수준까지 "이런저런 특성을 가진 사람이 있다면 무엇을 할까?"를 추측할 수 있게 됨. 그런 사람이 존재하지 않더라도, 신경망은 그 가상의, 우월한 정신 능력을 가진 사람이 무엇을 할지 추측할 수 있어야 함.

강화 학습 (RL)

• RL 데이터 소스: 이미 대부분의 RL 데이터는 AI로부터 나옴. 인간은 보상 함수를 훈련시키는 데 사용됨.
• 그 후 보상 함수와 모델의 상호작용은 자동이며, RL 과정에서 생성되는 모든 데이터는 AI에 의해 만들어짐.
• RLHF(인간 피드백 기반 강화 학습): 인간 피드백이 보상 함수를 훈련시키고, 이 보상 함수가 모델을 훈련시키는 데이터를 생성하는 데 사용됨.
• 인간을 배제하고 '알파고' 방식의 자가 개선이 가능한가: 분명히 가능함.
• 정말 원하는 것은 AI를 가르치는 인간 교사가 AI와 협업하는 것임. (예: 인간 1% 작업, AI 99% 작업) 100% AI가 아니라, 다음 기계를 가르치는 '인간-기계 협업'을 원함.

다단계 추론

• 왜 모델이 다단계 추론에 약한가: 전용 훈련과 기반 모델의 지속적인 개선이 이를 해결할 것임.
• 개인적으로 모델이 다단계 추론에 '그렇게' 나쁘다고 생각하지 않음.
• "소리 내어 생각하는 것(think out loud)"이 허용되지 않을 때, 즉 정신적인 다단계 추론에 약한 것임.
• 소리 내어 생각하는 것이 허용되면 꽤 잘하며, 이는 더 나은 모델과 특별 훈련을 통해 크게 개선될 것으로 기대함.

훈련 데이터 (토큰)

• 인터넷의 추론 토큰이 고갈되고 있는가: 언젠가 그런 날이 올 것임. 그때가 되면 더 많은 데이터 없이 모델을 훈련하고 개선할 다른 방법이 필요함.
• 아직 데이터가 고갈되지는 않았는가: 데이터 상황은 여전히 꽤 좋음. 하지만 언젠가는 고갈될 것임.
• 가장 가치 있는 데이터 소스: "더 똑똑한 것", "더 흥미로운 것"에 대해 말하는 토큰들. (레딧, 트위터, 책 등 언급된 소스 모두 가치 있음. 트위터는 아마도 아닐 수 있음.)
• 다중 모드가 필요한가: 텍스트만으로도 여전히 매우 멀리 갈 수 있지만, 다중 모드로 가는 것은 매우 유익한 방향임.
• 아직 수집되지 않은 토큰이 있는 곳: (OpenAI에 대해 답할 수 없음).

알고리즘 개선

• 데이터나 스케일이 아닌, 순수 알고리즘 개선으로 얻을 수 있는 향상폭: 답하기 어렵지만 "어느 정도(some)"는 확실히 있음. 직접 알아보는 수밖에 없음.

연구 방향에 대한 단견

• 검색 트랜스포머 (Retrieval Transformers): (유망해 보임).
• 로보틱스:
  • 과거 OpenAI가 로보틱스를 포기한 것은 옳은 결정이었음. 당시에는 데이터가 너무 적어 로보틱스 연구가 불가능했음. 로봇 회사가 되어 수백 대의 로봇을 운영하는 거대 조직이 필요했으나, 그래도 데이터는 많지 않았음. 당시에는 데이터 확보 경로가 없었음.
  • 지금은 경로가 있는가: 지금은 경로를 만드는 것이 가능함. 하지만 로보틱스 작업에 대한 진정한 헌신이 필요함.
  • 수천, 수만, 수십만 대의 로봇을 만들고 데이터를 수집하며 점진적인 개선 경로를 찾아야 함. 로봇을 정말 사랑하고 물리적, 물류적 문제를 기꺼이 해결해야 함. 소프트웨어와 전혀 다름. 오늘날 충분한 동기가 있다면 로보틱스에서 진전을 이룰 수 있음.

하드웨어 한계

• 현재 하드웨어가 한계라고 생각하지 않음: (그렇지 않음).
• 하드웨어가 더 저렴하거나 메모리 대역폭이 높으면 좋겠지만, 대체로 하드웨어는 이슈가 아님.

정렬 (Alignment) - 정의

• 정렬에 대한 수학적 정의가 가능할까: 그럴 것 같지 않음.
• 하나의 수학적 정의가 아니라, 정렬을 다른 측면에서 바라보는 여러 개의 정의를 달성하게 될 것임.
• (다양한 테스트에서의 행동, 적대적 스트레스 상황, 신경망 내부 작동 방식 등) 여러 요소를 동시에 살펴봄으로써 원하는 확신을 얻게 될 것임.

정렬 - 출시 기준

• 모델 출시 전 얼마나 확신해야 하는가: 모델의 능력에 달려 있음. 모델의 능력이 높을수록 더 많이 확신해야 함.
• AGI의 경우는?: AGI는 모호한 용어임. (평범한 대학생도 AGI임). 기준을 어디에 두느냐에 따라 필요한 확신의 정도가 다름.

정렬 - 가장 유망한 경로

• 접근법들의 조합이 될 것임.
• (원하는 행동과 실제 행동 간의 불일치를 찾기 위한 많은 연산의 적대적 테스트, 신경망 내부를 이해하기 위해 다른 신경망을 사용하는 것 등) 이 모든 것이 필요할 것임.
• 모델의 능력 증가 속도보다 정렬의 수준이 더 빠르게 증가하는 세상에 있기를 원함.

정렬 - 모델 이해

• 오늘날의 모델 이해 방법이 미래의 초강력 모델에도 적용될까: 보장되지 않음.
• 현재 모델에 대한 이해는 여전히 매우 초보적임.
• 궁극적으로 성공할 방법: 잘 이해된 작은 신경망이, 이해되지 않은 큰 신경망의 행동을 연구하고 검증하는 임무를 맡는 것.

AI가 AI 연구를 수행하는 시점

• Copilot 사용이 이미 그 예임.
• 미래에는 ChatGPT 후손에게 "이런이런 생각을 하는데, 유익한 아이디어를 제안해줘"라고 물으면 실제 유익한 아이디어를 얻게 될 것임.
• 병목 현상은 좋은 아이디어와 통찰력인데, 신경망이 이를 도울 수 있음.

정렬 문제 해결을 위한 상금

• 10억 달러 상금의 구체적인 기준: 이 질문에 대해 생각해 봤지만 아직 정확한 기준은 없음.
• 아마도 소급 적용되는 상. 즉각 결정하는 위원회 대신, 5년 정도 기다린 후 돌이켜보고 "그것이 핵심 결과였다"고 인정되는 것에 수여하는 방식.

모델 아키텍처

• 엔드-투-엔드 훈련이 정답인가: 매우 유망함. 사물들을 함께 연결하는 것도 매우 유망함. 모든 것이 유망함.

OpenAI 수익 추정

• 2024년 10억 달러 수익 예측 근거: GPT-3 API 시절부터 DALL-E, ChatGPT에 이르기까지 제품을 운영해 온 데이터가 있음.
• 이 데이터는 "상대적으로 합리적인 추정(relatively sensible extrapolations)"을 가능하게 함. 근거 없이 만들어낼 수 없음.
• 지수 성장이 계속되지 않는다는 지적에 대해: "당신은 AI에 반대하는 쪽에 베팅하겠는가?"

AGI 이후의 미래

• 일리야 본인은 무엇을 할 것인가: 사람들이 어디서 의미를 찾을지 매우 까다로운 질문임. AI가 우리를 도울 수 있음.
• 예: AGI와 상호작용함으로써 세상을 더 올바르게 보고 내면적으로 더 나아지며, 더 깨달음을 얻게 될 수 있음. (역사상 최고의 명상 스승과 대화하는 것과 같음)
• 세상이 많이 변할 것이기에 무슨 일이 일어나는지 이해하기 어려울 것임.
• 일부 사람들은 자신의 마음과 이해를 확장하고 사회가 직면할 가장 어려운 문제를 풀기 위해 AI의 일부가 되는 것을 선택할 수 있음.

AI의 일부가 되기

• 일리야 본인도 될 것인가: 매우 솔깃함.

서기 3000년의 인류

• 3000년에 물리적 육체를 가진 인간이 있을까: 3000년에 무슨 일이 일어날지 어떻게 알겠는가.
• 그 질문은 우리가 세상의 모습을 결정할 수 있다는 것을 암시하는데, 이는 올바른 그림이 아님. 변화만이 유일한 상수임. AGI가 만들어진 후에도 세상은 계속 변하고 진화할 것임.
• 희망 사항: 행복하고 충만한 삶을 살며, 자신이 원하는 대로 자유롭게 행동하고, 스스로 문제를 해결하는 인류의 후손들이 많기를 희망함.
• 원하지 않는 세상: 강력한 도구를 만들고 정부가 "AGI가 사회를 이렇게 운영해야 한다고 했으니 그렇게 하자"라고 말하는 세상.
• 차라리 사람들이 여전히 자유롭게 실수하고 그 결과를 감수하며 도덕적으로 진화하고 스스로 발전하는 세상을 선호함. AGI는 "기본적인 안전망(base safety net)"을 제공하는 역할.

미래에 대한 고찰

• 이러한 미래 관련 질문들에 대해 꽤 많이 생각함.

2015년의 기대 vs. 현재

• 현재 상황은 2015년에 어느 정도 예상했던 바와 같음.
• 2015년 당시 생각: "딥러닝에 반대하는 베팅은 하고 싶지 않다. 딥러닝에 가능한 가장 큰 베팅을 하고 싶다. 어떻게 될지는 모르지만, 그것이 답을 찾을 것이다."
• 2015년의 구체적인 예측은 기억나지 않음. 7년 후 얼마나 갈지 정확히 몰랐음.
• (2016~2017년경) 일이 아주 잘 풀릴 것이라는 예측을 했지만, 내부적으로는 50% 정도만 믿었을 수 있음. 놀라우면서도 공격적인 예측을 했던 양가적인 상태였음.

남들이 안 믿는 나만의 신념

• (질문) OpenAI 동료들도 믿기 힘들어하는 신념이 있는가: OpenAI에서는 소통을 많이 해서, 모두가 이 문제들에 대해 같은 생각을 하는 지점에 도달했음.

구글의 이점 (TPU, 데이터)

• 구글의 TPU와 데이터가 이점이 되는가: TPU가 처음 나왔을 땐 감명받았지만, 당시엔 하드웨어를 잘 몰랐음.
• TPU와 GPU는 거의 같은 것임.
• 칩 크기나 가격에 약간의 차이가 있을 수 있으나, 근본적으로 둘 다 (프로세서-메모리 간 병목) 문제를 배치 프로세싱으로 해결하려 함.
• 하드웨어에서 중요한 것은 플롭당 비용과 전체 시스템 비용뿐임.
• TPU 비용은 모르지만, 생산량이 적기 때문에 오히려 TPU가 더 비쌀 것으로 추측함.

연구자의 업무 배분

• 새로운 아이디어를 내는 것 vs. 하이퍼파라미터 튜닝: 새로운 아이디어를 내는 것은 업무의 일부임.
• 더 중요한 것: 결과를 이해하는 것, 기존 아이디어를 이해하는 것, 무슨 일이 일어나고 있는지 파악하는 것.
• 신경망이 예상치 못한 결과를 낸 이유를 이해하고, 다음 실험을 계획하는 데 많은 시간을 씀.
• 주요 활동은 '이해'임. 이는 새로운 아이디어를 내는 것과 매우 인접해 있지만, '이해'하는 부분에서 진정한 활동이 일어남.
• ImageNet도 새로운 아이디어가 아니라, 아주 오래된 것들에 대한 '새로운 이해'였음.

MS 애저(Azure) 사용 경험

• 환상적임. 마이크로소프트는 매우 좋은 파트너였으며, Azure를 ML에 정말 좋게 만드는 데 도움을 줬음.

대만 지정학적 리스크

• 대만에 쓰나미 등이 발생할 경우: 상당한 차질이 될 것임.
• 몇 년간 새로운 연산 자원을 얻을 수 없을 것임. 하지만 연산 자원은 다시 생겨날 것임.
• 대만 외에도 팹은 존재함 (예: 인텔). 다만 성능이 좋지 않을 뿐임. (인텔 관련 발언은 확실치 않다고 덧붙임).
• 그것들을 사용해서도 여전히 멀리 갈 수 있음. 단지 비용 문제이고 차질일 뿐임.

추론 비용

• 모델이 커지면 추론 비용이 감당하기 어려워지는가: 이 질문을 보는 다른 방식이 있음.
• 더 나은 모델의 추론 비용이 더 비싸지는 것은 맞지만, '감당하기 어려운'지는 그것이 얼마나 유용한가에 달려 있음.
• 비유: 변호사에게 시간당 400달러를 기꺼이 지불함. 만약 신경망이 신뢰할 수 있는 법률 자문을 400달러에 제공한다면, 이는 전혀 감당하기 어렵지 않음.
• 가격 차별화가 있을 것임. (이미 현재도 API에서 다양한 크기의 모델을 제공하며, 고객들은 용도에 따라 다른 모델을 사용함).

모델의 범용화(Commoditization) 방지

• (경쟁사들이 가격을 낮추는) 힘은 의심할 여지 없이 존재함.
• 답: 계속해서 진보해야 함. 모델을 계속 개선하고, 더 신뢰할 수 있게 만들어야 함.
• 만약 2025년에 누군가 2024년 모델을 원가에 제공한다면?:
  1. 2025년의 새 모델은 더 흥미로운 사용 사례를 주도할 것임.
  2. 추론 비용 문제: 연구를 통해 같은 모델이라도 회사마다 더 저렴하게 서빙할 수 있음.
  3. 전문화: 일부 회사는 특정 영역에 특화하여 경쟁력을 가질 수 있음.

연구 방향의 수렴 vs. 발산

• 단기적으로는 수렴하는 것처럼 보임.
• 수렴-발산-수렴 행동을 보일 것으로 예상함.
• (단기 작업은 수렴, 장기 작업은 발산. 하지만 그 장기 작업이 성과를 내기 시작하면 다시 수렴함. 논문 발표가 줄어들면서 이 재발견이 느려질 수는 있음.)

보안 (스파이, 모델 가중치 유출)

• 스파이나 공격 위협: 절대 무시할 수 없음. 모두에게 문제가 될 것이며, 최선을 다해 방어하려 함.
• 가중치 유출 방지법: 정말 유능한 보안 담당자들이 있음.
• 가중치 유출에 대해 정말 걱정하지 않음.

창발적 속성

• 새롭고 놀라운 속성들이 나타날 것이라 확신함.
• 가장 기대하는 창발적 속성: 신뢰성과 제어 가능성. 이 두 가지가 많은 문제를 해결하는 데 도움이 될 것임.
• 이런 속성을 미리 예측할 수 있는가: 특정 능력에 대해 일부 예측은 가능하지만, 오늘날에는 간단하지도, 매우 세분화되지도 않음. 이 예측력을 높이는 것이 매우 중요함.

스케일링 법칙

• 스케일링 법칙은 다음 단어 예측 정확도의 로그 값에 대해 말해줌.
• 그것과 추론 능력을 연결하는 것은 별개의 복잡한 과제임.
• 연결고리가 있다고 믿지만, (추론 토큰처럼) 단위 노력당 더 많은 추론을 제공하는 다른 것들이 있을 수 있음.

새로운 토큰 생성 (인간)

• 인간을 고용해 토큰을 생성하는 것: 모델이 올바르게 행동하고 거짓된 것을 생성하지 않도록 가르치는 데 사람들에게 의존하는 것은 매우 합리적인 일임.

데이터, GPU, 트랜스포머의 동시 출현

• 이 모든 것이 동시에 일어난 것이 이상하지 않은가: 흥미로운 상황임.
• 덜 이상한 이유: 이 모든 것의 배후 동력은 트랜지스터가 더 작고 저렴해진 것임.
• (트랜지스터 발전 -> PC 보급 -> 인터넷 -> 데이터 폭증)
• (트랜지스터 발전 -> 게이밍 GPU 발전 -> Nvidia의 GPGPU -> GPU 활용)
• 모든 차원의 발전이 서로 밀접하게 얽혀 있음. 우연이 아님.
• 만약 게이밍이 유행하지 않았다면 GPU가 5년 늦게 나왔을 수도 있지만, 여러 발전 차원들은 서로 얽혀 있음.

진보의 필연성

• 만약 힌튼, 수츠케버 등 선구자들이 없었다면: 약간의 지연, 아마도 1년 정도?
• GPU는 계속 발전할 것이고, 훈련이 쉬워질 것이기 때문에 누군가는 발견했을 것임.
• ImageNet 데이터셋도 몇 년 기다리면 다루기 쉬워져서 누구나 만져볼 수 있게 됨. 최대 '적당한 수의 몇 년' 정도의 지연이었을 것임.

정렬 - 난이도

• 현재 수준의 능력에서는 정렬 방법에 대한 좋은 아이디어가 꽤 있음.
• 하지만 우리보다 더 똑똑하고 자신의 의도를 잘못 표현할 수 있는 모델의 정렬 난이도는 과소평가해서는 안 됨.
• 학계 연구자들이 의미 있는 기여를 할 수 있는 최고의 분야 중 하나가 바로 정렬 연구임.

학계의 역할

• (역량 관련) 통찰력을 학계가 내놓을 수 있는가: 매우 가능함.
• (역량 실현은 기업들이 할 것임)
• 왠지 모르게 그런 일이 많이 일어나지 않지만, 학계에 근본적인 문제는 없음. 아마도 올바른 문제에 대해 생각하고 있지 않거나, 기업 내부에서 무엇을 해야 할지 더 쉽게 보이기 때문일 수 있음. 하지만 (학계의 통찰은) 전적으로 가능함.

현실 세계(원자의 세계)에 미치는 영향

• 비트의 세계와 원자의 세계 사이에 명확한 구분은 없다고 생각함.
• 만약 신경망이 아파트 재배치를 조언하고 당신이 그대로 실행한다면, 신경망은 원자의 세계에 영향을 미친 것임.

트랜스포머급의 추가적 돌파구가 필요한가

• 두 경우(새로운 돌파구 vs. 기존 아이디어 구현) 사이에 큰 구분을 두지 않음.
• 과거의 진보는 종종 "어떤 것이 항상 바람직한 속성을 가지고 있었음을 뒤늦게 깨닫는" 방식(예: 큰 신경망+역전파)으로 이루어짐.
• 이것도 돌파구인가? 그렇다. 책에 있는 것의 구현인가? 그것도 그렇다.
• 이런 종류의 (나중에 보면 당연해 보이는) 돌파구가 몇 번 더 일어날 가능성이 큼.
• 트랜스포머가 특별한 진보로 언급되는 이유는, 당시에는 거의 누구에게도 명백하지 않았기 때문임.
• 딥러닝의 가장 근본적인 진보(큰 신경망+역전파)도, 그 구성요소는 새롭지 않았지만 오랫동안 사람들이 그 가능성을 보지 못했기 때문에 거대한 개념적 돌파구였음. 지금은 모두가 당연하게 여김.

제프리 힌튼의 'Forward-Forward' 알고리즘

• 역전파 없이 신경망을 훈련시키려는 시도임.
• 뇌가 어떻게 학습하는지 이해하려는 동기(뇌과학자들은 뇌가 역전파를 구현할 수 없다고 확신함)가 있다면 특히 흥미로움.
• 하지만 단지 좋은 시스템을 엔지니어링하는 것이 목표라면, 역전파를 사용하지 않을 이유가 없음.

인간 지능으로부터의 영감

• 인간이나 뇌에서 영감을 얻는 것은 좋지만, 올바르게 영감을 얻는 기술이 필요함.
• 인간이나 뇌의 비본질적인 특성에 집착하기 쉬움. (예: 특정 인지 과학 모델을 따라야 하는가?)
• 인공 뉴런이라는 아이디어 자체도 뇌에서 영감을 받았지만 극도로 유익했음.
• 핵심: 인간 지능으로부터 '신중하게' 영감을 받아야 함.

선구자이자 여전히 최고 연구자인 이유

• (질문) 딥러닝 혁명의 선구자라는 사실과 여전히 최고 연구자라는 사실 사이에 왜 강한 상관관계가 있는가:
• 그 두 가지가 그렇게까지 강하게 상관되어 있다고 생각하지 않음.
• 그냥 정말 열심히 노력했고 그것이 지금까지 충분했을 뿐임.
• 인내는 필요조건이지만 충분조건은 아님. 무언가를 정말 알아내기 위해서는 많은 것들이 함께해야 함. 그것을 추구해야 하고, 사물을 바라보는 올바른 방식을 가져야 함.