News
tencent/Hy4-flash · Hugging Face
2026.11.22
·Hugging Face·by Mineru#AI#DL#LLM#ML#RAG
핵심 포인트
- 1Hy4 flash는 Mixture-of-Experts(MoE) 구조와 N-gram embedding(Engram)을 도입하여 220B 규모의 파라미터에도 불구하고 토큰당 12B의 활성 파라미터만 사용하는 극대화된 비용 효율성을 구현했습니다.
- 2Hybrid attention과 내장된 5-layer drafter인 DFly2를 통해 1M 토큰의 긴 문맥을 지원하며, 추론 시 KV cache 최적화와 speculative decoding으로 고속 성능을 달성했습니다.
- 3내부 WorkIndex 평가 결과 Hy4 flash는 이전 모델 대비 월등히 낮은 비용으로 더 높은 작업 성능을 기록하며, 특히 생산성 도구 및 에이전트 작업에서 Claude Haiku 5.5 수준의 사용자 만족도를 보였습니다.
Hy4 flash는 텐센트(Tencent)에서 공개한 최신 초거대 멀티모달 모델로, 비용 효율성과 추론 성능의 극대화를 목표로 설계되었습니다. 총 220B 파라미터 규모를 가지며, 토큰당 12B의 활성(Active) 파라미터만 사용하는 Mixture-of-Experts (MoE) 구조를 채택했습니다.
핵심 방법론 및 기술적 특징
1. 아키텍처 혁신
- Hybrid Attention: Sparse Attention과 Sliding-window attention(SWA)을 1:3 비율로 인터리빙하여 계산 효율을 높였습니다.
- LatentMoE: 라우팅된 전문가(Routed Experts)들이 저차원 잠재 공간(Latent space)에서 동작하도록 설계되었습니다. 각 토큰은 512개의 전문가 중 16개를 활성화하며, 하나의 공유 전문가(Shared expert)가 함께 사용됩니다.
- Engram (N-gram Embedding): 백본 모델에 Bigram 및 Trigram 표현을 학습시킨 임베딩을 추가했습니다. 이는 멀티헤드 해시 룩업(Multi-head hash lookups)을 통해 추출되며, 지식 기억력을 보완합니다.
- iHC (identity Hyper-Connections): 4개의 잔차 스트림(Residual streams)을 통해 층간 정보 흐름을 원활하게 지원하여 42개 레이어의 깊은 구조에서도 안정적인 학습을 가능하게 합니다.
2. 고속 추론 및 DFly2
- DFly2 Speculative Decoding: 모델 내부에 0.85B 파라미터의 5계층 Drafter를 내장했습니다. 이는 타겟 모델의 KV 캐시와 희소 인덱스(Sparse indices)를 재사용하여, 문맥 길이에 관계없이 고정된 비용으로 추론 속도를 가속화합니다.
- KV Share 및 Index Share: Drafter는 최대 2,048개의 토큰에 대해서만 주의(Attention)를 기울이며, 별도의 KV 캐시 메모리 오버헤드가 발생하지 않습니다.
3. 학습 및 최적화
- 데이터 효율성: 내부의 WorkIndex 벤치마크를 통해 실무 작업 성능을 최적화했습니다.
- 강화 학습(RL): Self-distillation을 통해 범용 지능을 확보하고, 강화 학습을 통해 전체 출력 토큰 수를 평균 50% 절감하여 서비스 비용을 크게 낮췄습니다.
성능 및 비용
- 비용 효율성: WorkIndex 기준 Hy4 대비 1/20, DeepSeek-V4.1-Flash 대비 1/8 수준의 낮은 추론 비용을 달성했습니다.
- 멀티모달 성능: 시각적 이해력과 실무 작업에서 높은 사용자 만족도(2.79/4)를 기록하며, Claude Haiku 5.5에 근접하는 성능을 보입니다.
- 컨텍스트: 최대 1M 토큰의 컨텍스트 윈도우를 지원하여 긴 문맥 처리가 가능합니다.
이 모델은 일상적인 생산성 작업, 문서 처리, 시각적 이해 등에 최적화되어 있으며, 복잡한 소프트웨어 엔지니어링과 같은 고난도 작업에서는 Hy4 모델을 사용할 것을 권장합니다.