Ripple-65B Preview은 Ricursive Intelligence에서 개발한 650억(65B) 파라미터 규모의 고성능 Dense Transformer 모델로, 에이전트 기반 코딩 및 추론 능력에 최적화된 모델입니다. 12조(12T) 개의 토큰으로 사전 학습되었으며, 최대 1Mi(1,048,576) 컨텍스트 윈도우를 지원합니다.

핵심 방법론 및 아키텍처 (Core Methodology)

1. 모델 아키텍처:
   • Thin-and-Deep 설계: $d_{model}$을 5120으로 제한하고 레이어 수를 80개로 늘린 '가늘고 깊은(thin-and-deep)' 구조를 채택했습니다.
   • Gemma 3N-like 구조: Olmo 3의 Llama 계열 아키텍처에서 탈피하여 학습 안정성을 극대화했습니다.
   • 추론 성능 강화 기법: 어텐션 헤드(Attention Head)를 과잉 할당(Overprovision)하고, SWA(Sliding Window Attention)와 전역 레이어 비율을 최적화했습니다. 또한, FFN 활성화 클리핑, Gated Attention, Global NoPE, Value Residuals 등의 기술을 통합했습니다.

2. 학습 효율성:
   • Mixture-of-Experts(MoE) 대신 고전적인 Dense 모델을 선택하여 인프라 복잡성을 줄였습니다. 이를 통해 사전 학습과 사후 학습 단계 전반에서 40%의 MFU(Model Flops Utilization)를 유지했습니다.
   • 데이터 처리 단계에서 Compute Efficiency(CE)를 Olmo 3 대비 16배(Full run 기준 최대 55배) 향상시켰습니다.

3. 사후 학습 스택 (Post-training Stack):
   • Midtraining, Long Context, SFT(Supervised Fine-Tuning), LC SFT, Mixed Domain RL 순의 체계적인 사후 학습 과정을 거쳤습니다. 특히 에이전트 코딩 능력에 집중하여 183B 토큰 규모의 SFT와 정교한 RL 단계를 수행했습니다.

성능 및 결과 (Performance)

• 에이전트/코딩 역량: TerminalBench 2.1에서 80.52점을 기록하며, Reflection Beam 501B(80.1), Muse Spark Open 816B(76.4) 등 훨씬 거대한 모델들을 능가하는 성능을 보였습니다.
• 컴팩트한 규모: 65B 파라미터로 설계되어 NVIDIA DGX Spark와 같은 소비자용 하드웨어에서도 구동 가능하며, 2xB200 GPU 환경에서 배치 사이즈 8 기준 250 tok/s의 빠른 생성 속도를 제공합니다.
• 비교 우위: 대규모 MoE 모델들과 경쟁하면서도, 단일 Dense 모델로서 추론 효율성과 에이전트 작업 수행 능력을 극대화하여 오픈 웨이트 모델 분야의 새로운 벤치마크를 제시했습니다.

Ripple-65B Preview는 하드웨어 효율적인 설계와 고도화된 사후 학습을 결합하여, 거대 파라미터 모델이 독점하던 고성능 영역에서 65B Dense 모델의 잠재력을 입증한 사례로 평가됩니다.