Emergent Symbolic Mechanisms Support Abstract Reasoning in Large...

요약

본 연구는 Large Language Models (LLMs)에서 emergent symbolic architecture가 abstract reasoning을 지원하며, 이는 three-stage computation으로 작동함을 밝혀냈습니다.

이 과정은 초기 layers의 symbol abstraction heads가 input token을 abstract variable로 변환하고, 중간 layers의 symbolic induction heads가 이를 기반으로 sequence induction을 수행하며, 최종적으로 retrieval heads가 다음 token을 예측하는 방식으로 이루어집니다.

이러한 결과는 neural networks가 학습을 통해 symbolic mechanisms을 emergent하게 개발하여 추론 능력을 지원하며, symbolic과 neural network 접근 방식 간의 오랜 논쟁에 대한 해답을 제시합니다.

상세 내용

이 연구는 Large Language Models (LLMs)의 추상적 추론 능력을 뒷받침하는 내부 메커니즘을 심층적으로 분석합니다. LLM에서 나타나는 추론 능력의 견고성 및 구조화된 추론 메커니즘 의존성에 대한 지속적인 논쟁을 해소하기 위해, 본 연구는 LLM 내부에 추상적 추론을 구현하는 'emergent symbolic architecture'가 존재함을 규명했습니다.

이 아키텍처는 세 가지 주요 계산 단계를 통해 추상적 추론을 수행합니다.

Symbol Abstraction Heads (심볼 추상화 헤드): 모델의 초기 레이어에서 작동합니다. 이 '헤드'들은 입력 'token'들 간의 관계를 기반으로 해당 'token'들을 'abstract variable'로 변환하는 역할을 합니다. 이는 원시 입력 데이터로부터 추상적인 개념을 추출하는 첫 단계입니다.

Symbolic Induction Heads (심볼릭 귀납 헤드): 중간 레이어에서 나타나는 이 '헤드'들은 앞서 추출된 'abstract variable'들에 대해 'sequence induction'을 수행합니다. 이는 추상화된 변수들 사이의 패턴이나 규칙을 학습하고 일반화하는 과정으로, 추론의 핵심적인 부분을 담당합니다.

Retrieval Heads (검색 헤드): 모델의 후기 레이어에서 활성화됩니다. 이 '헤드'들은 'symbolic induction'을 통해 예측된 'abstract variable'과 연관된 값을 'retrieve'하여 다음 'token'을 예측합니다. 즉, 추상적인 추론 결과를 구체적인 출력 'token'으로 다시 매핑하는 역할을 합니다.

이러한 결과는 오랫동안 지속되어 온 'symbolic' 접근 방식과 'neural network' 접근 방식 간의 논쟁에 대한 해답을 제시합니다. 신경망 내에서 발현하는 추론 능력이 결국 'symbolic mechanisms'의 출현에 의존한다는 점을 시사하며, LLM이 내장된 'symbolic machinery' 없이도 학습을 통해 정교한 'symbol processing' 회로를 개발할 수 있음을 보여줍니다. 이는 'mechanistic interpretability' 분야에서 LLM의 추상화, 추론 능력에 대한 이해를 심화시키는 중요한 발견입니다.

#LLM #Abstract Reasoning #Symbolic Mechanisms #Mechanistic Interpretability #Deep Learning