과학기술정보통신부(Ministry of Science and ICT)는 독자적인 AI 경쟁력 확보를 위해 추진 중인 '독자 인공지능(AI) 파운데이션 모델 프로젝트(이하 독파모)'의 2차 평가 결과를 발표했습니다. 이번 평가의 핵심은 대규모 언어 모델(LLM)을 포함한 고도화된 AI 파운데이션 모델 개발 역량과 인프라 구축 가능성을 검증하는 데 있습니다.

평가 결과, LG AI 연구원(LG AI Research), SK텔레콤(SK Telecom), 업스테이지(Upstage) 등 3개 컨소시엄이 최종 선정되었습니다. 반면, 모티프테크놀로지스(Motif Technology)는 기술적 평가 지표 및 전략적 수행 능력 등의 기준을 충족하지 못해 탈락했습니다.

선정된 컨소시엄들은 향후 독자적인 AI 파운데이션 모델을 고도화하기 위해 다음과 같은 기술적 과정을 수행할 것으로 예상됩니다.

1. Pre-training 및 Fine-tuning 최적화: 대규모 데이터셋을 활용한 사전 학습과 특정 도메인에 특화된 파인튜닝을 통해 모델의 성능을 극대화합니다. 이는 모델의 손실 함수(Loss Function)를 최소화하는 $L(\theta) = \sum_{i=1}^{n} \mathcal{L}(f(x_i; \theta), y_i)$ 최적화 과정을 수반합니다.
2. Infrastructure 구축: 파라미터(Parameter) 수가 수십억 개에서 수천억 개에 달하는 거대 모델을 효율적으로 처리하기 위한 분산 컴퓨팅 환경을 조성합니다.
3. Model Efficiency: 연산 복잡도를 줄이기 위해 가중치 가지치기(Weight Pruning)나 양자화(Quantization) 기법을 도입하여 경량화된 고성능 모델을 설계합니다.

본 프로젝트는 국가 차원에서 글로벌 빅테크 기업들에 대항할 수 있는 독자적인 AI 생태계 및 기술 주권을 확보하는 것을 목적으로 하며, 선정된 3개 기업은 각기 다른 산업 분야의 데이터와 노하우를 결합해 차별화된 파운데이션 모델을 개발하게 됩니다.