Leanstral 1.5는 Mistral AI 팀이 개발한 formal verification 및 proof engineering을 위한 최첨단 모델로, 119B의 총 파라미터 중 6B의 활성 파라미터만을 사용하는 효율적인 구조를 갖추고 있습니다. 이 모델은 Apache-2.0 라이선스로 공개되었으며, 수학적 증명과 코드 검증 분야에서 압도적인 성능을 보입니다.

핵심 방법론 및 훈련 과정

Leanstral 1.5는 3단계 훈련 과정을 거칩니다:

1. Mid-training: 기본 모델의 추론 능력을 강화합니다.
2. Supervised Fine-tuning (SFT): Lean 4 문법과 proof script 작성에 특화된 데이터를 학습합니다.
3. Reinforcement Learning with CISPO: 두 가지 주요 환경에서 강화학습을 수행합니다.
   • Multiturn environment: 모델이 Lean 컴파일러의 피드백을 직접 받으며 증명을 시도하고, 오류 발생 시 전략을 수정하는 루프를 반복합니다.
   • Code agent environment: 파일 시스템에서 직접 코드를 편집하고 bash 명령어를 실행하며, Lean LSP를 통해 타입 정보와 오류를 확인하는 실제 개발자 환경에서 작동합니다. 이를 통해 긴 호흡의 proof engineering이나 다중 context compaction을 효과적으로 수행합니다.

성능 및 벤치마크

• miniF2F: 100% 포화(saturation)를 달성하여 최고 수준의 증명 능력을 입증했습니다.
• PutnamBench: 672문제 중 587문제를 해결했습니다. 특히 토큰 예산을 25k에서 4M까지 늘림에 따라 $Pass@8$ 성능이 단조 증가하는 강력한 test-time scaling 능력을 보여주었습니다.
• FATE-H 및 FATE-X: 고등 대수학 벤치마크에서 각각 87%와 34%의 정답률로 SOTA(State-of-the-art)를 기록했습니다.
• FLTEval: 실제 Fermat’s Last Theorem 저장소의 pull request를 활용한 벤치마크에서 기존 대비 대폭 향상된 성능을 기록했습니다.

실제 사례 연구

1. AVL Trees: Time complexity 증명 과정에서 2.7M 이상의 토큰과 22회의 compaction을 통해 TimeM monad를 분석했습니다. 이를 통해 insertion과 deletion이 $O(\log n)$의 복잡도를 가짐을 엄밀하게 증명했습니다.
2. Bug Discovery: Aeneas를 통해 Rust 코드를 Lean으로 변환하고, 모델이 의도된 속성을 증명하는 방식으로 버그를 탐색했습니다. 이를 통해 57개 저장소에서 5개의 미보고 버그를 포함한 총 11개의 실질적인 버그를 발견했습니다. 특히 datrs/varinteger 라이브러리의 Std.U64.MAX 입력 시 발생하는 오버플로우와 같은 고난도 에지 케이스를 성공적으로 찾아냈습니다.

Leanstral 1.5는 공식적인 formal verification을 실제 코드 베이스에 적용 가능하도록 구현하였으며, Mistral Vibe를 통해 누구나 손쉽게 API에 접근하여 복잡한 증명 작업을 수행할 수 있도록 환경을 제공합니다.