mistralai/Devstral-Small-2505 · Hugging Face

Devstral Small 1.0은 Mistral AI와 All Hands AI의 협력으로 개발된 소프트웨어 엔지니어링 작업을 위한 agentic LLM입니다. 이 모델은 도구를 사용하여 코드베이스를 탐색하고, 여러 파일을 편집하며, 소프트웨어 엔지니어링 agent의 기능을 강화하는 데 탁월합니다.

주요 특징은 다음과 같습니다:
* Agentic coding: agentic coding 작업에 뛰어나도록 설계되어 소프트웨어 엔지니어링 agent에 적합합니다.
* 경량(lightweight): 240억 개의 parameters의 컴팩트한 크기로, 단일 RTX 4090 또는 32GB RAM이 장착된 Mac에서도 실행 가능하여 로컬 배포 및 온디바이스(on-device) 사용에 적합합니다.
* Apache 2.0 License: 상업적 및 비상업적 목적 모두에 사용 및 수정이 허용되는 Open license입니다.
* Context Window: 최대 128k tokens의 긴 context window를 제공합니다.
* Tokenizer: 131k vocabulary size를 가진 Tekken tokenizer를 사용합니다.

이 모델은 Mistral-Small-3.1을 fine-tuning하여 개발되었으며, fine-tuning 전에 vision encoder가 제거되어 text-only 모델로 작동합니다.

벤치마크 결과, Devstral은 SWE-bench Verified에서 46.8%의 점수를 달성하여 기존 Open source SoTA를 6% 능가합니다. 동일한 테스트 scaffold인 OpenHands에서 평가했을 때, Deepseek-V3-0324 및 Qwen3 232B-A22B와 같은 훨씬 더 큰 모델들을 능가하는 성능을 보였습니다.

사용은 OpenHands scaffold와 함께 사용하는 것을 권장하며, Mistral API를 통해 사용하거나 vLLM, mistral-inference, transformers, LMStudio, llama.cpp, Ollama 등의 라이브러리를 사용하여 로컬에서 추론할 수 있습니다. 특히 vLLM을 사용하는 경우, vllm serve mistralai/Devstral-Small-2505 --tokenizer_mode mistral --config_format mistral --load_format mistral --tool-call-parser mistral --enable-auto-tool-choice --tensor-parallel-size 2와 같이 서버를 시작하고, OpenHands UI를 통해 $http://<your-server-url>:8000/v1$에 연결하여 사용할 수 있습니다. LMStudio나 llama.cpp의 경우, huggingface_hub CLI를 통해 GGUF 형식의 quantized weights를 다운로드하여 로컬에서 실행할 수 있습니다.

예시 사용 사례로는, mistral-common 저장소의 테스트 커버리지를 분석하고 다양한 그래프 유형으로 시각화하는 능력을 보여주었습니다. agent는 코드베이스를 탐색하고, 테스트 종속성을 설정하며, 커버리지 테스트를 실행한 후 필요한 시각화 코드를 작성하여 최종적으로 커버리지 플롯을 생성합니다.