Google의 'Gemma 4' 모델이 현재 'Chatbot Arena'에서 테스트 진행 중이다. 이 테스트에는 '120B MoE' (Mixture-of-Experts) 모델이 포함되어 있는 것으로 알려졌다. 'MoE'는 대규모 언어 모델(LLM)의 핵심적인 방법론 중 하나로, 모델 내부에 여러 개의 '전문가(expert)' 신경망을 포함하고 있으며, 입력된 데이터에 따라 게이트(gate) 네트워크가 가장 적합한 전문가 또는 전문가들의 조합을 선택적으로 활성화하여 연산을 수행하는 구조이다. 이러한 방식은 모델의 총 파라미터(parameter) 수는 방대하지만, 특정 추론 시에는 필요한 전문가만 활성화되므로 전체 모델을 한 번에 실행하는 것보다 계산 효율성을 크게 향상시킬 수 있다. '120B'는 해당 'MoE' 모델의 파라미터 규모가 약 1200억 개임을 나타내며, 이는 매우 큰 규모의 언어 모델임을 시사한다. 이 기술은 모델의 확장성(scalability)과 성능을 동시에 추구하는 데 기여한다.