Introducing Nested Learning: A new ML paradigm for continual learning
핵심 포인트
- 1Nested Learning은 모델을 중첩된 최적화 문제들의 집합으로 보고, 각 문제의 내부 워크플로우를 통해 catastrophic forgetting을 완화하거나 방지하는 새로운 ML 패러다임입니다.
- 2이 패러다임은 모델 아키텍처와 최적화 알고리즘을 단일 시스템으로 통합하여 각 구성 요소의 update frequency rate에 따른 다단계(multi-level) 최적화를 가능하게 하고, Continuum Memory System(CMS)과 같은 새로운 설계를 이끌어냅니다.
- 3Nested Learning을 적용한 Hope 아키텍처는 언어 모델링 및 긴 컨텍스트 메모리 관리에서 기존 최첨단 모델 대비 우수한 성능을 입증하여 그 효용성을 보여주었습니다.
Nested Learning은 기계 학습 모델을 상호 연결된 다단계 최적화 문제들의 집합으로 간주하는 새로운 ML 패러다임입니다. 이 접근 방식은 'Catastrophic Forgetting'(재앙적 망각) 문제를 완화하거나 완전히 피하기 위해 고안되었습니다. 기존에는 모델의 아키텍처(네트워크 구조)와 최적화 알고리즘(학습 규칙)을 별개의 것으로 취급했지만, Nested Learning은 이 둘이 본질적으로 동일한 개념이며 단지 서로 다른 "수준"(levels)의 최적화라고 주장합니다. 각 수준은 고유한 정보 흐름('context flow')과 업데이트 속도(update rate)를 가집니다.
핵심 방법론 (Core Methodology)
Nested Learning의 핵심은 복잡한 ML 모델이 중첩되거나 병렬로 실행되는 일련의 일관성 있고 상호 연결된 최적화 문제라는 통찰력에 있습니다. 각 내부 문제는 자체적인 'context flow'를 가지며, 이는 학습하려는 고유한 정보 집합을 의미합니다. 이 패러다임은 각 구성 요소의 가중치가 조정되는 빈도인 'update frequency rate'를 정의함으로써, 이 상호 연결된 최적화 문제들을 '수준'으로 정렬합니다.
- 아키텍처와 최적화의 통합: 기존 딥러닝에서 아키텍처와 최적화는 분리되어 연구되었지만, Nested Learning은 이 둘을 하나의 통일된 시스템으로 봅니다. 이는 마치 뇌의 신경가소성(neuroplasticity)처럼, 모델이 스스로의 구조를 학습과 경험에 따라 변화시킬 수 있게 합니다.
- 다중 시간 스케일 업데이트 (Multi-time–scale Update): Nested Learning은 인간 뇌의 다중 시간 스케일 업데이트(multi-time–scale update)에서 영감을 받아, 모델의 각 구성 요소가 서로 다른 주파수로 업데이트될 수 있도록 합니다. 이를 통해 Transformers의 Attention Mechanism이나 메모리 모듈과 같은 잘 알려진 아키텍처들이 실제로는 서로 다른 주파수 업데이트를 가진 선형 레이어(linear layers)로 해석될 수 있음을 보여줍니다.
- 연관 메모리 (Associative Memory)로서의 최적화: Nested Learning은 최적화 과정, 특히 역전파(backpropagation)를 연관 메모리(associative memory)로 모델링합니다. 즉, 모델은 주어진 데이터 포인트가 그 지역 오류(local error) 값에 어떻게 매핑되는지를 학습하여, 데이터 포인트가 얼마나 '놀라웠는지' 또는 예상치 못했는지를 측정합니다. 마찬가지로, Transformers의 Attention Mechanism과 같은 주요 아키텍처 구성 요소도 시퀀스 내 토큰 간의 매핑을 학습하는 단순한 연관 메모리 모듈로 정형화될 수 있습니다.
- 심층 옵티마이저 (Deep Optimizers): Nested Learning 관점에서, 모멘텀 기반 옵티마이저(momentum-based optimizers)와 같은 표준 옵티마이저들도 연관 메모리 모듈로 간주됩니다. 기존 옵티마이저들은 단순한 내적 유사성(dot-product similarity)에 의존하는 경향이 있는데, 이는 서로 다른 데이터 샘플이 어떻게 관련되는지 설명하지 못합니다. Nested Learning은 옵티마이저의 기본 목적 함수를 L2 regression loss와 같은 표준 손실 측정 항목으로 변경하여 새로운 모멘텀 공식을 도출함으로써 불완전한 데이터에 더 탄력적으로 대응할 수 있도록 합니다.
- 연속체 메모리 시스템 (Continuum Memory Systems, CMS): 이 패러다임은 Transformers의 단기(시퀀스 모델) 및 장기(Feedforward Neural Networks) 메모리 개념을 확장합니다. CMS에서 메모리는 스펙트럼처럼 다양한 모듈들로 구성되며, 각 모듈은 서로 다른 특정 주파수 속도로 업데이트됩니다. 이는 지속적인 학습을 위한 훨씬 더 풍부하고 효과적인 메모리 시스템을 가능하게 합니다.
구현 및 실험 결과
이러한 원칙을 바탕으로, Nested Learning의 개념 증명으로서 'Hope'라는 자기 수정(self-modifying) Recurrent Architecture가 설계되었습니다. Hope는 'Titans' 아키텍처의 변형으로, Titans가 두 가지 수준의 파라미터 업데이트만을 가지는 것과 달리, Hope는 무한한 수준의 In-Context Learning을 활용할 수 있으며 CMS 블록과 결합되어 더 큰 Context Window를 처리할 수 있습니다. 이는 자기 참조적(self-referential) 과정을 통해 자체 메모리를 최적화하여 무한히 순환하는 학습 수준을 가진 아키텍처를 생성합니다.
실험 결과, Hope 아키텍처는 언어 모델링(Language Modeling) 및 상식 추론(Common-Sense Reasoning) 작업에서 기존 Recurrent Model 및 표준 Transformer보다 낮은 Perplexity와 더 높은 정확도를 보여주었습니다. 특히 Long-Context Needle-In-Haystack(NIAH) 다운스트림 작업에서 Hope는 CMS가 확장된 정보 시퀀스를 처리하는 데 더 효율적이고 효과적인 방법임을 입증하며 우수한 메모리 관리 능력을 선보였습니다.