JetBrains는 자체적으로 학습되고 실제 배포를 염두에 두고 설계된 120억 개 매개변수 모델인 Mellum2를 오픈소스로 공개하였다. Mellum2는 소프트웨어 엔지니어링 시스템 내에서 라우팅, Q&A, 서브 에이전트, 프라이빗 AI 활용을 지원하며, 프로덕션 AI의 가장 어려운 과제인 지연 시간(latency), 처리량(throughput), 비용 문제를 해결하는 데 중점을 둔다. Apache 2.0 라이선스로 공개된 이 모델은 인프라에 대한 고성능의 비용 효율적 대안을 제공한다.

아키텍처 및 성능 (Core Methodology):
Mellum2는 아키텍처와 효율성을 중심으로 설계되어 프로덕션 규모 시스템의 병목 현상을 해결한다.

1. Mixture-of-Experts (MoE) 설계: 전체 120억 개의 매개변수를 가지고 있지만, MoE 설계를 채택하여 토큰당 실제로 활성화되는 매개변수는 25억 개에 불과하다. 이는 계산 비용을 절감하는 동시에 실시간 워크로드에 필요한 높은 처리량과 저지연 추론 성능을 제공한다. MoE 아키텍처는 각 입력에 대해 활성화되는 파라미터 수를 줄여 전체 모델 크기는 크지만, 추론 시에는 필요한 전문가(expert)만 활성화되어 계산 효율성을 높이는 방식이다.
2. 특화된 집중 분야: Mellum2는 다중 모달(multimodal)이 아니며, 자연어와 코드 데이터에 특화되어 트레이닝되었다. 이러한 특화된 설계는 소프트웨어 엔지니어링 환경에서 뛰어난 성능을 발휘하면서도 모델의 경량성과 속도를 유지하는 데 기여한다. 이 전문화 덕분에 특정 도메인(소프트웨어 개발)에서 범용 모델 대비 효율적인 추론이 가능하다.

성능 측면에서 Mellum2는 비슷한 규모의 다른 모델과 견줄 만한 성능을 제공하면서도 추론 시간을 절반 이하로 단축하여 프로덕션급 배포 환경에서 상당한 이점을 제공한다. 기술 보고서에 따르면 코드 생성, 과학, 수학, 추론 벤치마크 전반에서 모델의 성능이 상세히 설명되어 있다.

주요 활용 사례:

• AI 워크로드 라우팅 및 오케스트레이션: 입력 프롬프트를 분석하여 각 작업에 가장 적합한 모델이나 도구를 지능적으로 선택한다.
• 저지연 RAG(Retrieval-Augmented Generation) 파이프라인 구축: 관련 컨텍스트를 빠르게 검색하고, Mellum2를 사용하여 이를 요약한 뒤 즉시 응답을 생성하는 과정을 지원한다.
• 복잡한 워크플로에서 서브 에이전트 구동: 에이전트 파이프라인을 컨텍스트 수집, 계획 수립, 검증과 같은 세분화된 단계로 분할하여 처리할 수 있으며, 특화된 작업을 빠르게 처리할 수 있는 경량 모델로 활용된다.
• 프라이빗 로컬 AI 배포 지원: 로컬 환경 또는 자체 호스팅 환경에서 실행되어 코드와 데이터에 대한 완전한 통제권을 보장한다.

‘포컬 모델(Focal Model)’ 철학:
JetBrains는 AI 시스템의 복잡성이 증가함에 따라 성능 병목 현상이 순수한 성능 자체에서 대규모 환경에서의 지연 시간, 처리량, 그리고 비용 문제로 이동하고 있다고 강조한다. 모든 작업에 대규모 모델이 필요한 것은 아니며, 빈번하고 지연 시간에 민감하며 높은 빈도로 수행되는 작업에는 효율적으로 라우팅, 호스팅 및 관리될 수 있는 빠르고 안정적인 모델이 필요하다는 관점이다. JetBrains는 단일 거대 모델이 아닌, 서로 조율된 시스템이 AI의 미래라고 보며, Mellum2가 바로 이러한 빈번한 작업을 효율적으로 처리하는 빠르고 특화된 구성 요소인 '포컬 모델' 역할을 수행할 것으로 기대한다.