๐ฐ๐ท 2026 ํ๋ฐ๊ธฐ vLLM Korea Meetup์ ์ด๋ํฉ๋๋ค! ๐
ํต์ฌ ํฌ์ธํธ
- 1vLLM Korea ์ปค๋ฎค๋ํฐ๊ฐ ์ค๋ 2026๋ 11์ 26์ผ ๋๋ฆผํ๋ฌ์ค ๊ฐ๋จ์์ ํ๋ฐ๊ธฐ ๋ฐ์ ์ ๊ฐ์ตํฉ๋๋ค.
- 2์ด๋ฒ ํ์ฌ๋ vLLM ๊ด๋ จ ์ต์ ์ฐ๊ตฌ ๋ฐ ์คํ์์ค ๊ธฐ์ฌ์ ์ค๋ฌด ์ ์ฉ ์ฌ๋ก๋ฅผ ๋ค๋ฃจ๋ ๋ ๊ฐ์ง ํธ๋์ผ๋ก ์ด์๋ฉ๋๋ค.
- 3vLLM ๊ธฐ์ ์ ๊ด์ฌ ์๋ ๋๊ตฌ๋ ๋ฌด๋ฃ๋ก ์ฐธ๊ฐํ ์ ์์ผ๋ฉฐ, ์ฌ์ ๋ฑ๋ก์ ํตํด ์ธ๋ถ ์ธ์ ํ์ธ ๋ฐ ์ ์ฒญ์ด ๊ฐ๋ฅํฉ๋๋ค.
๋ณธ ๋ฌธ์๋ '2026 ํ๋ฐ๊ธฐ vLLM Korea Meetup' ๊ฐ์ต๋ฅผ ์๋ฆฌ๋ ๊ณต์ ๊ณต์ง๋ฌธ์ ๋๋ค. ํด๋น ํ์ฌ๋ vLLM(Large Language Model inference engine) ์ํ๊ณ์ ํ์ฑํ๋ฅผ ๋ชฉ์ ์ผ๋ก ํ๊ณ์ ์ต์ ์ฐ๊ตฌ ์ฑ๊ณผ์ ์ฐ์ ๊ณ์ ์ค๋ฌด ์ ์ฉ ์ฌ๋ก๋ฅผ ๊ณต์ ํ๋ ๊ธฐ์ ๊ต๋ฅ์ ์ฅ์ ๋๋ค.
1. ํ์ฌ ๊ฐ์ ๋ฐ ์ด์ ์ฒด๊ณ
๋ณธ ๋ฐ์ ์ 2026๋ 11์ 26์ผ ์์ธ ๋๋ฆผํ๋ฌ์ค ๊ฐ๋จ B1 ์ด๋ฒคํธํ์์ ๊ฐ์ต๋๋ฉฐ, ์ฐธ๊ฐ์์ ๊ธฐ์ ์ ๊ด์ฌ์ฌ์ ๋ฐ๋ผ ๋ค์๊ณผ ๊ฐ์ ์ด์ํ๋ ํธ๋(Dual-track)์ผ๋ก ์ด์๋ฉ๋๋ค.- vLLM ์ฐ๊ตฌ ๋ฐ ์คํ์์ค ํธ๋: vLLM์ ํต์ฌ ์ํคํ ์ฒ ๊ฐ์ , ์ต์ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ, ๊ทธ๋ฆฌ๊ณ ์คํ์์ค ์ปค๋ฎค๋ํฐ ๊ธฐ์ฌ๋ฅผ ์ํ ๊ธฐ์ ์ ์ธ์ฌ์ดํธ๋ฅผ ์ ๊ณตํฉ๋๋ค.
- ์ค๋ฌด ์ ์ฉ ํธ๋: ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ์ ์ค์ ํ๋ก๋์ ํ๊ฒฝ์ ๋ฐฐํฌํ ๋ ๋ฐ์ํ๋ latency, throughput, memory management ๊ด๋ จ ์ต์ ํ ์ฌ๋ก๋ฅผ ๋ค๋ฃน๋๋ค.
2. ์ฃผ์ ๊ธฐ์ ์ ์งํฅ์
๋ณธ ํ์ฌ์์ ๋ค๋ฃจ๋ vLLM์ ํต์ฌ ๊ธฐ์ ์ ๊ณ ์ฑ๋ฅ ์ถ๋ก ์์ง์ ์ต์ ํ๋ฅผ ์ค์ฌ์ผ๋ก ํฉ๋๋ค. ๊ตฌ์ฒด์ ์ธ ๊ด์ฌ ์์ญ์ ๋ค์๊ณผ ๊ฐ์ต๋๋ค.- PagedAttention: KV cache ๋ฉ๋ชจ๋ฆฌ ๋จํธํ๋ฅผ ๋ฐฉ์งํ๊ธฐ ์ํ ๋ฉ๋ชจ๋ฆฌ ๊ด๋ฆฌ ๊ธฐ๋ฒ์ผ๋ก, ์ฐ์์ ์ธ ๋ฌผ๋ฆฌ์ ๋ฉ๋ชจ๋ฆฌ ํ ๋น ์์ด ๊ฐ์ ๋ฉ๋ชจ๋ฆฌ ๋งคํ์ ํตํด ๋๊ท๋ชจ ๋ชจ๋ธ์ throughput์ ๊ทน๋ํํ๋ ๋ฉ์ปค๋์ฆ์ ๋๋ค.
- Continuous Batching: ๊ณ ์ ๋ batch size๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ์์์ ๋ฒ์ด๋, ์์ฒญ์ด ๋ค์ด์ค๋ ์ฆ์ ๋์ ์ผ๋ก batch๋ฅผ ๊ตฌ์ฑํ์ฌ GPU์ ์ ํด ์์์ ์ต์ํํ๋ ์ค์ผ์ค๋ง ์ ๋ต์ ๋๋ค.
- Tensor Parallelism & Pipeline Parallelism: ๋๊ท๋ชจ ํ๋ผ๋ฏธํฐ๋ฅผ ๊ฐ์ง ๋ชจ๋ธ์ ๋ณต์ ๊ฐ์ GPU์ ๋ถ์ฐ ์ฒ๋ฆฌํ๊ธฐ ์ํ ๋ณ๋ ฌํ ์ ๋ต ๋ฐ ํต์ ํจ์จ ์ต์ ํ ๋ฐฉ์์ ๋ ผ์ํฉ๋๋ค.
3. ๊ธฐ์ ์ ๋ชฉํ (Performance Optimization)
vLLM์ ํต์ฌ ๋ชฉํ๋ ์ฐ์ฐ ํจ์จ์ฑ์ ๋์ฌ ์ด๋น ์ฒ๋ฆฌ ํ ํฐ ์(Tokens per second)๋ฅผ ๊ทน๋ํํ๋ ๊ฒ์ ๋๋ค. ์ด๋ ๋ชจ๋ธ์ ์ถ๋ก ์๋()๋ฅผ ๊ฒฐ์ ์ง๋ ๋ค์์ ์ธ์๋ค์ ์ต์ ํํจ์ผ๋ก์จ ๋ฌ์ฑ๋ฉ๋๋ค.์ฌ๊ธฐ์ ์ ๋ฉ๋ชจ๋ฆฌ ๋ก๋ ํ์๊ณผ ์ฐ์ฐ ์๊ฐ์ ํฌํจํ ์ด ๋๊ธฐ ์๊ฐ์ผ๋ก, vLLM์ ์ ๋จ์ถํ๊ธฐ ์ํด ๋ฉ๋ชจ๋ฆฌ ๊ณ์ธต ๊ตฌ์กฐ ์ต์ ํ ๋ฐ ์ปค๋ ์ตํฉ(Kernel Fusion) ๊ธฐ๋ฒ์ ํ์ฉํฉ๋๋ค.
๋ณธ ๋ฐ์ ์ ์ด๋ฌํ ๊ธฐ์ ์ ๋ฐฐ๊ฒฝ์ ๊ณต์ ํจ์ผ๋ก์จ vLLM ์ฌ์ฉ์์ ๊ฐ๋ฐ์ ๊ฐ์ ์ง์ ๊ณต์ ๋ฅผ ํ์ฑํํ๊ณ , ์ปค๋ฎค๋ํฐ ์ฐจ์์ ์คํ์์ค ์ํ๊ณ ํ์ฅ์ ์งํฅํฉ๋๋ค.