upstage/Solar-Open-100B · Hugging Face

Solar Open은 Upstage AI에서 개발한 플래그십 대규모 언어 모델로, 102B 파라미터를 가지며 scratch부터 학습되었습니다. 이 모델은 Solar-Apache License 2.0 하에 공개되었습니다.

모델 개요 및 핵심 방법론 (Core Methodology)
Solar Open 100B는 Mixture-of-Experts (MoE) 아키텍처를 기반으로 합니다.

• 총 파라미터(Total Parameters): 102.6B
• 활성 파라미터(Active Parameters): 토큰당 12B
• 전문가 구성(Experts): 128개의 routed experts 중 상위 8개와 1개의 shared expert를 포함하여 총 129개의 전문가를 활용합니다. 이 MoE 설계는 방대한 모델의 지식 깊이를 유지하면서도 더 작은 모델과 유사한 추론 속도 및 비용 효율성을 제공합니다.
• 사전 학습(Pre-training): 19.7조(trillion) 개의 토큰으로 대규모 사전 학습을 진행하여 광범위한 지식 범위와 견고한 추론 능력을 확보했습니다.
• 컨텍스트 길이(Context Length): 128k 토큰을 지원합니다.
• 학습 하드웨어(Training Hardware): NVIDIA B200 GPU를 사용했습니다.
• 라이선스(License): 모델 가중치(*.safetensors)는 Solar-Apache License 2.0을 따르며, 코드는 Apache License 2.0을 따릅니다.
• 하드웨어 요구사항(Hardware Requirements): 최소 4개의 NVIDIA A100 (80GB) GPU가 필요합니다.

성능 (Performance)
Solar Open 100B는 다양한 한국어 및 영어 벤치마크에서 뛰어난 성능을 보였으며, 특히 추론(reasoning), 지시 따르기(instruction-following), 에이전트 능력(agentic capabilities)에서 기업 수준의 성능을 제공합니다. 주요 경쟁 모델인 gpt-oss-120b (117B) 및 GLM-4.5-Air (110B)와 비교하여 다음 벤치마크 결과를 기록했습니다.

한국어 벤치마크:

• 일반(General): KMMLU (73.0), KMMLU-Pro (64.0), CLIcK (78.9), HAE-RAE v1.1 (73.3), KoBALT (44.3)
• 금융(Finance): KBankMMLU (65.5)
• 법률(Law): KBL (65.5)
• 의학(Medical): KorMedMCQA (84.4)
• 수학(Math): Ko-AIME 2024 (80.3), Ko-AIME 2025 (80.0), HRM8K (87.6)
• IF(Instruction Following): Ko-IFEval (87.5)
• 선호도(Preference): Ko Arena Hard v2 (79.9)

영어 벤치마크:

• 일반(General): MMLU (88.2), MMLU-Pro (80.4), GPQA-Diamond (68.1), HLE (text only) (10.5)
• 수학(Math): AIME 2024 (91.7), AIME 2025 (84.3), HMMT 2025 (Feb) (73.3), HMMT 2025 (Nov) (80.0)
• 코드(Code): LiveCodeBench (v1–v6 cumul) (74.2)
• IF(Instruction Following): IFBench (53.7), IFEval (88.0)
• 선호도(Preference): Arena Hard v2 (74.8), Writing Bench (7.51)
• 에이전트(Agent): Tau² Airline (52.4), Tau² Telecom (55.6), Tau² Retail (59.3)
• 롱 컨텍스트(Long): AA-LCR (35.0)

추론 퀵스타트 (Inference Quickstart)
추론 시 권장되는 생성 파라미터는 $temperature=0.8$, $top_p=0.95$, $top_k=50$입니다.

• Transformers: AutoModelForCausalLM과 AutoTokenizer를 사용하여 모델을 로드하고 apply_chat_template으로 입력을 준비한 후 model.generate 메서드로 텍스트를 생성합니다. $torch_dtype=torch.bfloat16$ 및 $device_map="auto"$를 설정하여 효율적인 로딩을 지원합니다.

• vLLM:

- Docker 사용: upstage/vllm-solar-open:latest Docker 이미지를 사용하며, --trust-remote-code, --enable-auto-tool-choice, --tool-call-parser solar_open, --reasoning-parser solar_open 및 vllm.model_executor.models.parallel_tool_call_logits_processor:ParallelToolCallLogitsProcessor, vllm.model_executor.models.solar_open_logits_processor:SolarOpenTemplateLogitsProcessor와 같은 특정 logits-processors를 --tensor-parallel-size 8과 함께 지정하여 실행합니다.
- 소스 설치: uv를 사용하여 가상 환경을 설정하고, git+https://github.com/UpstageAI/vllm.git@v0.12.0-solar-open에서 vLLM을 설치한 후 Docker와 동일한 명령줄 인자를 사용하여 vLLM 서버를 시작할 수 있습니다.

공개 API 접근 (Public API Access)
Solar Open의 공식 API 서비스는 2025년 1월에 공개될 예정이며, Upstage Console을 통해 접근 가능합니다.