레드햇, AI 모델 최적화 기업 뉴럴매직 인수...오픈소스 AI 전략 탄력

2018년 설립된 뉴럴매직은 거대 언어 모델(LLM)을 포함한 AI 모델들이 CPU와 GPU 등 범용 하드웨어에서도 특화된 AI 칩과 유사한 속도로 동작하도록 최적화하는 기술을 제공한다. 이는 LLM의 규모와 복잡성이 증가함에 따라 요구되는 막대한 컴퓨팅 자원 소비 문제를 해결하고, 기업들이 기존에 배치한 하드웨어의 이점을 활용하여 비용 효율적인 LLM 구축을 가능하게 한다.

뉴럴매직의 핵심 기술은 모델 배포를 위한 오픈소스 프로젝트인 vLLM에 기여한 바가 크다. vLLM은 다양한 프로세서 및 GPU 아키텍처를 지원하며, 클라우드에 최적화된 AI 모델을 배포할 수 있는 라이브러리를 포함한다. 뉴럴매직은 특히 딥러닝 모델의 희소성(sparsity)을 활용하여 불필요한 연산을 제거하고, 모델을 경량화하여 범용 하드웨어에서의 성능을 극대화하는 데 강점을 지닌다. 이는 모델 압축, 양자화(quantization) 및 효율적인 추론 런타임 개발 등의 기술적 접근을 포함하는 것으로 해석될 수 있다.

이번 인수는 레드햇이 최근 선보인 레드햇 엔터프라이즈 리눅스 AI(RHEL AI)와 시너지를 낼 것으로 기대된다. RHEL AI는 IBM이 개발한 그라나이트(Granite) LLM 패밀리와 레드햇의 오픈소스 커뮤니티 주도 모델 조정 툴인 인스트럭트랩(InstructLab)을 통합한 전용 파운데이션 모델(FM) 플랫폼이다. RHEL AI는 오픈소스로 제공되며, 기업들이 맞춤형 AI 모델을 구축할 수 있도록 지원하며 특히 소형 언어 모델(SLM) 지원에 중점을 둔다. 사용자들은 RHEL AI를 통해 무료로 그라나이트 LLM 라이브러리를 사용할 수 있으며, 인스트럭트랩 툴을 활용하여 자체 지식과 데이터를 기반으로 모델을 파인튜닝(fine-tuning)할 수 있다. 뉴럴매직의 최적화 기술은 RHEL AI가 다양한 고객 환경의 하드웨어에서 LLM 및 SLM을 효율적으로 운영할 수 있도록 지원함으로써 레드햇의 오픈소스 AI 생태계를 더욱 강화할 전망이다.