LG AI Research는 비추론(Non-reasoning) 모드와 추론(Reasoning) 모드를 통합하여 EXAONE 3.5의 뛰어난 유용성과 EXAONE Deep의 고급 추론 능력을 모두 달성한 대규모 언어 모델인 EXAONE 4.0을 소개합니다. 이 모델은 Agentic AI 시대를 위한 필수 기능으로 Agentic Tool Use를 포함하며, 영어, 한국어 외에 스페인어까지 다국어 기능을 확장했습니다. EXAONE 4.0 모델 시리즈는 고성능에 최적화된 32B 모델과 온디바이스(on-device) 애플리케이션을 위해 설계된 소형 1.2B 모델 두 가지 크기로 구성됩니다.

EXAONE 4.0 아키텍처에는 이전 EXAONE 모델들과 비교하여 새로운 아키텍처 변경사항이 적용되었습니다.

핵심 방법론 및 기술적 세부 사항:

1. Hybrid Attention: 32B 모델에 적용된 이 방식은 Local attention(Sliding Window Attention)과 Global attention(Full Attention)을 3:1 비율로 결합합니다. 특히, Global attention에는 RoPE(Rotary Positional Embedding)를 사용하지 않아 전역적 문맥 이해를 향상시킵니다.
2. QK-Reorder-Norm: 이 기술은 전통적인 Pre-LN(Layer Normalization) 방식에서 LayerNorm의 위치를 재배치합니다. LayerNorm을 Attention 및 MLP 출력에 직접 적용하고, Q(Query) 및 K(Key) Projection 바로 뒤에 RMS Normalization을 추가합니다. 이는 더 많은 연산량을 소비하더라도 다운스트림(downstream) 태스크에서 더 나은 성능을 달성하는 데 기여합니다.

모델 구성 (EXAONE 4.0 1.2B):

• 매개변수 수 (임베딩 제외): 1.07B
• 레이어 수: 30
• 어텐션 헤드 수: GQA(Grouped-query attention) 방식으로 32개 헤드와 8개 KV(Key-Value) 헤드
• 어휘 크기(Vocab Size): 102,400
• 문맥 길이(Context Length): 65,536 토큰

사용 가이드라인:

• Non-reasoning 모드: 더 나은 성능을 위해 temperature 값을 0.6 미만으로 낮게 설정하는 것이 권장됩니다.
• Reasoning 모드: $<think>$ 블록을 사용하는 경우, temperature=0.6, top\_p=0.95 설정이 권장됩니다. 모델 성능 저하가 발생할 경우 presence\_penalty=1.5 사용을 권장합니다.
• 1.2B 모델로 한국어 일반 대화를 할 때, 코드 스위칭(code switching)을 피하기 위해 temperature=0.1을 사용하는 것이 제안됩니다.

배포 및 성능:

EXAONE 4.0 모델은 TensorRT-LLM 및 vLLM 버전 0.10.0에서 공식적으로 지원됩니다. 모델은 Reasoning 모드와 Non-reasoning 모드 각각에 대해 MMLU, GPQA-Diamond, AIME, LiveCodeBench, IFEval, KMMLU, Tau-Bench 등 다양한 벤치마크에서 평가되었으며, 경쟁 모델들과 비교하여 뛰어난 성능을 보입니다.

제한 사항:

EXAONE 언어 모델은 때때로 부적절한 응답을 생성할 수 있습니다. 이는 모델이 훈련 데이터의 토큰 출력 확률을 기반으로 응답을 생성하며, 훈련 데이터에 포함될 수 있는 개인적, 유해하거나 편향된 정보의 영향 때문일 수 있습니다. 생성된 텍스트는 LG AI Research의 견해를 반영하지 않습니다. 또한, 최신 정보가 반영되지 않을 수 있으며, 통계적 패턴에 의존하여 의미론적 또는 문법적으로 부정확한 문장을 생성할 수 있습니다. LG AI Research는 EXAONE 언어 모델 사용 시 부적절한 결과 생성을 유도하는 악의적인 활동을 금지하며, 윤리적 원칙 준수를 강조합니다.

라이선스:

모델은 EXAONE AI Model License Agreement 1.2 - NC 하에 라이선스됩니다. 이전 버전과의 주요 차이점은 모델 출력 소유권 주장이 삭제되었고, EXAONE과 경쟁하는 모델 개발에 대한 사용이 제한되며, 연구 목적 외에 교육 목적으로도 사용이 허용된다는 점입니다.