[GN⁺] Andrej Karpathy의 2025년 LLM 연간 리뷰

본 논문은 "2025 LLM Year in Review: 2025 Year in Review of LLM paradigm changes"라는 제목으로, 2025년에 대규모 언어 모델(LLM) 분야에서 발생한 주요 패러다임 변화를 종합적으로 검토하고 분석합니다. 본 연구는 LLM 기술, 응용, 그리고 연구 방법론 전반에 걸쳐 나타난 근본적인 변화들을 깊이 있게 다룹니다.

핵심 방법론은 2025년 한 해 동안 LLM 생태계에서 관찰된 핵심적인 발전들을 다양한 차원에서 체계적으로 분류하고, 각 변화가 가진 의미와 영향력을 분석하는 데 중점을 둡니다. 이는 다음과 같은 세부적인 분석 축을 포함합니다.

아키텍처 혁신 (Architectural Innovations):

* Sparse Architecture의 보편화: 기존 dense Transformer 모델의 계산 및 메모리 비효율성을 극복하기 위해 Mamba, Hyena 등 새로운 State-Space Model(SSM) 기반 또는 Mixture-of-Experts (MoE)와 같은 희소(sparse) 아키텍처가 주류로 자리매김했음을 설명합니다. 특히, MoE 모델의 경우, <tex>$N$</tex>개의 expert 중 <tex>$k$</tex>개의 expert만 활성화시키는 형태로, 전체 모델 파라미터 수는 크지만 실제 추론 시의 계산 비용은 줄어드는 방식이 일반화되었습니다.
* 멀티모달 통합 아키텍처: 텍스트, 이미지, 오디오, 비디오 등 다양한 양식(modality)을 통합적으로 처리하는 진정한 멀티모달 LLM 아키텍처가 발전하여, 단일 모델이 여러 양식에 걸친 복합적인 추론 및 생성 작업을 수행하는 구조가 표준화됩니다. 이는 cross-modal attention 메커니즘과 효율적인 modality embedding 방법을 포함합니다.

훈련 및 미세 조정 방법론의 발전 (Advancements in Training & Fine-tuning Methodologies):

* 데이터 효율적인 Pre-training: 대규모 데이터셋 구축 및 훈련 비용 증가에 따라, self-supervised learning과 data distillation, active learning 등 데이터 효율성을 극대화하는 새로운 pre-training 기법들이 개발되었습니다. 이는 주어진 데이터로 더 풍부한 지식을 학습하거나, 학습에 필요한 데이터의 양을 획기적으로 줄이는 방안을 제시합니다.
* 온디바이스 미세 조정 및 추론 (On-device Fine-tuning & Inference): 경량화된 모델 아키텍처와 양자화(quantization), 가지치기(pruning) 등의 모델 최적화 기법이 발전하여, 스마트폰, 엣지 디바이스 등 제한된 자원을 가진 기기에서도 LLM의 미세 조정과 추론이 가능한 시대로 접어들었음을 강조합니다. 이는 <tex>$INT4$</tex> 또는 <tex>$INT2$</tex>와 같은 낮은 비트 수의 양자화를 통해 모델 크기와 계산량을 줄이는 기술적 진보를 포함합니다.
* Continuous Learning & Lifelong Learning: 실시간으로 새로운 정보를 학습하고 기존 지식을 업데이트하는 연속 학습(continuous learning) 및 평생 학습(lifelong learning) 패러다임이 LLM에 적용되어, 모델 재훈련 없이도 최신 정보를 반영할 수 있는 메커니즘이 확립되었습니다. 이는 knowledge graph integration, memory networks와 같은 외부 지식 저장소와의 연동을 통해 구현됩니다.

응용 및 인터랙션 패러다임 변화 (Application & Interaction Paradigm Shifts):

* 자율 에이전트(Autonomous Agents)의 부상: LLM이 단순한 텍스트 생성 도구를 넘어, 환경과 상호작용하고 계획을 수립하며 목표를 달성하는 자율 에이전트의 핵심 지능으로 활용되는 패러다임이 정착되었습니다. 이는 LLM이 외부 도구 사용(tool use), 멀티 스텝 추론(multi-step reasoning), 그리고 자체 피드백(self-correction) 루프를 통해 복잡한 작업을 수행하는 능력을 포함합니다.
* Human-in-the-Loop AI 시스템: LLM의 한계점을 보완하고 신뢰성을 높이기 위해 인간의 개입이 필수적인 Human-in-the-Loop 시스템의 설계 원칙과 실제 적용 사례들이 발전했습니다. 이는 LLM의 결정에 대한 인간의 검토 및 승인, 혹은 LLM의 부족한 부분을 인간이 보완하는 협업 모델을 의미합니다.

평가 및 윤리적 고려사항 (Evaluation & Ethical Considerations):

* 신뢰성 및 안전성 평가의 고도화: LLM의 할루시네이션(hallucination), 편향(bias), 유해성(toxicity) 등을 정량적으로 평가하고 완화하는 새로운 벤치마크 및 방법론들이 개발되었습니다. 특히, chain-of-thought, self-consistency 등의 기법을 통해 LLM의 추론 과정을 투명하게 만들고 오류를 줄이는 방식이 중요하게 다루어집니다.
* LLM 거버넌스 및 규제 논의: LLM의 사회적 영향력이 증대됨에 따라, 책임 있는 AI 개발 및 배포를 위한 국제적인 거버넌스 프레임워크와 규제 논의가 활발히 진행되었으며, 이에 따른 기술적 대응 방안들이 마련되었습니다.

본 논문은 이러한 2025년 LLM 분야의 주요 패러다임 변화들을 깊이 있는 분석을 통해 조명하며, 향후 LLM 연구 및 개발의 방향성을 제시합니다.