본 논문은 기존의 Parameter-Efficient Fine-Tuning (PEFT) 방법론인 LoRA가 Full Fine-Tuning (FT)과 비교했을 때 발생하는 성능 격차의 원인을 분석하고, 이를 해결하기 위해 Weight-Decomposed Low-Rank Adaptation (DoRA)이라는 새로운 기법을 제안합니다.

1. 연구 배경 및 동기

기존 연구들은 LoRA와 FT 사이의 성능 차이를 단순히 학습 가능한 파라미터 수의 부족으로 치부해 왔습니다. 본 연구는 Weight Normalization에서 영감을 얻어, 가중치 행렬을 Magnitude(크기)와 Direction(방향) 성분으로 분해하는 새로운 분석 방식을 도입했습니다. 이를 통해 LoRA와 FT가 학습 과정에서 서로 다른 패턴을 보임을 확인했습니다. LoRA는 Magnitude와 Direction의 변화가 비례적으로 일어나는 경향을 보이지만, FT는 보다 세밀하고 유연한 조정이 가능함을 발견했습니다.

2. 핵심 방법론: DoRA (Weight-Decomposed Low-Rank Adaptation)

DoRA는 사전 학습된 가중치 $W_0 \in \mathbb{R}^{d \times k}$를 다음과 같이 분해합니다.
$$W = m \frac{V}{||V||_c}$$
여기서 $m \in \mathbb{R}^{1 \times k}$는 Magnitude 벡터, $V \in \mathbb{R}^{d \times k}$는 방향을 결정하는 행렬입니다.

• 학습 과정: $m$과 $V$를 모두 학습시키되, 파라미터 효율성을 위해 $V$의 업데이트 분량인 $\Delta V$를 LoRA와 같이 낮은 랭크의 행렬 곱 $BA$로 근사합니다.
• 수식: 최종 가중치 $W'$은 다음과 같이 표현됩니다.

$$W' = m \frac{V + BA}{||V + BA||_c}$$

• 추론: 학습 후 $W'$을 $W_0$에 합칠 수 있어, LoRA와 동일하게 추가적인 Inference Latency가 전혀 발생하지 않는다는 장점이 있습니다.
• Gradient 분석: DoRA는 가중치 분해를 통해 그래디언트의 Covariance Matrix를 단위 행렬에 가깝게 유지함으로써 최적화를 안정화하며, Magnitude와 Direction을 독립적으로 학습함으로써 FT와 유사한 학습 패턴을 구현합니다.
• 메모리 최적화: 역전파(Backpropagation) 시 $||V + BA||_c$를 상수로 간주하여 Gradient 그래프에서 분리함으로써 학습 시 메모리 사용량을 대폭 절감했습니다.

3. 실험 결과 및 결론

DoRA는 다양한 태스크에서 LoRA를 일관되게 능가하는 성능을 보였습니다.

• 성능 향상: LLaMA를 사용한 Commonsense Reasoning 태스크에서 LoRA 대비 LLaMA-7B/13B에서 각각 3.7%, 1.0%의 향상을 보였으며, LLaMA3-8B에서는 4.4%의 성능 개선을 기록했습니다.
• 다양한 도메인: Visual Instruction Tuning(LLaVA) 및 멀티모달 이해 태스크(VL-BART) 등에서도 우수한 성능을 입증했습니다.
• 학습 효율성: DoRA는 LoRA의 랭크를 절반으로 줄인 설정에서도 기존 LoRA보다 높은 정확도를 달성하여, 훨씬 더 효율적인 학습이 가능함을 보여주었습니다.

결론적으로, 본 논문은 가중치의 기하학적 성질을 활용한 분해와 LoRA의 조합을 통해, 기존 PEFT 방법론들이 가졌던 학습 능력의 한계를 극복하고 Full Fine-Tuning에 근접한 성능을 효율적으로 달성하는 최첨단 방법론을 제시했습니다.