AaryanK/Solar-Open-100B-GGUF · Hugging Face

요약

이 문서는 Upstage의 Solar-Open-100B 모델의 GGUF 형식 파일을 제공하며, 이 모델은 102B 파라미터 규모의 MoE(Mixture-of-Experts) 아키텍처를 기반으로 합니다.

Solar-Open-100B는 방대한 지식 용량을 가지면서도 추론 시에는 12B의 활성 파라미터만 사용하여 효율적인 생성 속도를 제공하는 것이 특징입니다.

️ llama.cpp를 이용한 모델 실행 방법과 함께 Temperature 0.8, Top-P 0.95, Top-K 50과 같은 권장 샘플링 파라미터를 제시하며, Solar-Apache License 2.0으로 배포됩니다.

상세 내용

Solar-Open-100B-GGUF는 Upstage에서 개발한 Solar Open 모델의 GGUF 형식 파일을 담고 있는 저장소입니다. 이 모델은 102B 파라미터의 거대한 Mixture-of-Experts (MoE) 모델로, 19.7 trillion tokens 데이터셋으로 from scratch 학습되었습니다.

핵심 방법론으로 MoE 아키텍처를 채택하여, 총 102B의 파라미터 규모에도 불구하고 추론 시에는 단 12B의 active parameters만 활성화됩니다. 이러한 설계는 massive knowledge capacity를 유지하면서도 efficient generation speed를 제공하는 독특한 이점을 가집니다.

모델은 Solar-Apache License 2.0 하에 라이선스됩니다.

llama.cpp를 통해 모델을 실행하는 방법이 제공됩니다. 권장되는 샘플링 파라미터는 Temperature: 0.8, Top-P: 0.95, Top-K: 50입니다.
CLI를 통한 실행 예시는 다음과 같습니다:

bash./llama-cli -m Solar-Open-100B.Q4_K_M.gguf \
 -c 8192 \
 --temp 0.8 \
 --top-p 0.95 \
 --top-k 50 \
 -p "User: Who are you?\nAssistant:" \
 -cnv

Server를 통한 실행 예시는 다음과 같습니다:

bash./llama-server -m Solar-Open-100B.Q4_K_M.gguf \
 --port 8080 \
 --host 0.0.0.0 \
 -c 8192 \
 -ngl 99

다양한 양자화(Quantization) 버전의 GGUF 파일이 제공되며, 각 파일의 크기는 다음과 같습니다:
* Q2_K: 37.7 GB
* Q3_K_S: 44.5 GB
* Q3_K_M: 49.3 GB
* Q3_K_L: 53.4 GB
* Q4_K_S: 58.6 GB
* Q4_0: 58 GB
* Q4_1: 64.4 GB
* Q4_K_M: 62.3 GB
* Q5_K_S: 70.8 GB
* Q5_0: 70.8 GB
* Q5_1: 77.1 GB
* Q5_K_M: 72.9 GB
* Q6_K: 84.3 GB
* Q8_0: 109 GB

#LLM #MoE #GGUF #AI #Model