๐Ÿ‡ฐ๐Ÿ‡ท 2026 ํ•˜๋ฐ˜๊ธฐ vLLM Korea Meetup์— ์ดˆ๋Œ€ํ•ฉ๋‹ˆ๋‹ค! ๐Ÿš€
Paper

๐Ÿ‡ฐ๐Ÿ‡ท 2026 ํ•˜๋ฐ˜๊ธฐ vLLM Korea Meetup์— ์ดˆ๋Œ€ํ•ฉ๋‹ˆ๋‹ค! ๐Ÿš€

2026.11.03
ยทWebยทby igor
#LLM#React

ํ•ต์‹ฌ ํฌ์ธํŠธ

  • 1vLLM Korea ์ปค๋ฎค๋‹ˆํ‹ฐ๊ฐ€ ์˜ค๋Š” 2026๋…„ 11์›” 26์ผ ๋“œ๋ฆผํ”Œ๋Ÿฌ์Šค ๊ฐ•๋‚จ์—์„œ ํ•˜๋ฐ˜๊ธฐ ๋ฐ‹์—…์„ ๊ฐœ์ตœํ•ฉ๋‹ˆ๋‹ค.
  • 2์ด๋ฒˆ ํ–‰์‚ฌ๋Š” vLLM ๊ด€๋ จ ์ตœ์‹  ์—ฐ๊ตฌ ๋ฐ ์˜คํ”ˆ์†Œ์Šค ๊ธฐ์—ฌ์™€ ์‹ค๋ฌด ์ ์šฉ ์‚ฌ๋ก€๋ฅผ ๋‹ค๋ฃจ๋Š” ๋‘ ๊ฐ€์ง€ ํŠธ๋ž™์œผ๋กœ ์šด์˜๋ฉ๋‹ˆ๋‹ค.
  • 3vLLM ๊ธฐ์ˆ ์— ๊ด€์‹ฌ ์žˆ๋Š” ๋ˆ„๊ตฌ๋‚˜ ๋ฌด๋ฃŒ๋กœ ์ฐธ๊ฐ€ํ•  ์ˆ˜ ์žˆ์œผ๋ฉฐ, ์‚ฌ์ „ ๋“ฑ๋ก์„ ํ†ตํ•ด ์„ธ๋ถ€ ์„ธ์…˜ ํ™•์ธ ๋ฐ ์‹ ์ฒญ์ด ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

๋ณธ ๋ฌธ์„œ๋Š” '2026 ํ•˜๋ฐ˜๊ธฐ vLLM Korea Meetup' ๊ฐœ์ตœ๋ฅผ ์•Œ๋ฆฌ๋Š” ๊ณต์‹ ๊ณต์ง€๋ฌธ์ž…๋‹ˆ๋‹ค. ํ•ด๋‹น ํ–‰์‚ฌ๋Š” vLLM(Large Language Model inference engine) ์ƒํƒœ๊ณ„์˜ ํ™œ์„ฑํ™”๋ฅผ ๋ชฉ์ ์œผ๋กœ ํ•™๊ณ„์˜ ์ตœ์‹  ์—ฐ๊ตฌ ์„ฑ๊ณผ์™€ ์‚ฐ์—…๊ณ„์˜ ์‹ค๋ฌด ์ ์šฉ ์‚ฌ๋ก€๋ฅผ ๊ณต์œ ํ•˜๋Š” ๊ธฐ์ˆ  ๊ต๋ฅ˜์˜ ์žฅ์ž…๋‹ˆ๋‹ค.

1. ํ–‰์‚ฌ ๊ฐœ์š” ๋ฐ ์šด์˜ ์ฒด๊ณ„

๋ณธ ๋ฐ‹์—…์€ 2026๋…„ 11์›” 26์ผ ์„œ์šธ ๋“œ๋ฆผํ”Œ๋Ÿฌ์Šค ๊ฐ•๋‚จ B1 ์ด๋ฒคํŠธํ™€์—์„œ ๊ฐœ์ตœ๋˜๋ฉฐ, ์ฐธ๊ฐ€์ž์˜ ๊ธฐ์ˆ ์  ๊ด€์‹ฌ์‚ฌ์— ๋”ฐ๋ผ ๋‹ค์Œ๊ณผ ๊ฐ™์€ ์ด์›ํ™”๋œ ํŠธ๋ž™(Dual-track)์œผ๋กœ ์šด์˜๋ฉ๋‹ˆ๋‹ค.
  • vLLM ์—ฐ๊ตฌ ๋ฐ ์˜คํ”ˆ์†Œ์Šค ํŠธ๋ž™: vLLM์˜ ํ•ต์‹ฌ ์•„ํ‚คํ…์ฒ˜ ๊ฐœ์„ , ์ตœ์‹  ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ, ๊ทธ๋ฆฌ๊ณ  ์˜คํ”ˆ์†Œ์Šค ์ปค๋ฎค๋‹ˆํ‹ฐ ๊ธฐ์—ฌ๋ฅผ ์œ„ํ•œ ๊ธฐ์ˆ ์  ์ธ์‚ฌ์ดํŠธ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.
  • ์‹ค๋ฌด ์ ์šฉ ํŠธ๋ž™: ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ์„ ์‹ค์ œ ํ”„๋กœ๋•์…˜ ํ™˜๊ฒฝ์— ๋ฐฐํฌํ•  ๋•Œ ๋ฐœ์ƒํ•˜๋Š” latency, throughput, memory management ๊ด€๋ จ ์ตœ์ ํ™” ์‚ฌ๋ก€๋ฅผ ๋‹ค๋ฃน๋‹ˆ๋‹ค.

2. ์ฃผ์š” ๊ธฐ์ˆ ์  ์ง€ํ–ฅ์ 

๋ณธ ํ–‰์‚ฌ์—์„œ ๋‹ค๋ฃจ๋Š” vLLM์˜ ํ•ต์‹ฌ ๊ธฐ์ˆ ์€ ๊ณ ์„ฑ๋Šฅ ์ถ”๋ก  ์—”์ง„์˜ ์ตœ์ ํ™”๋ฅผ ์ค‘์‹ฌ์œผ๋กœ ํ•ฉ๋‹ˆ๋‹ค. ๊ตฌ์ฒด์ ์ธ ๊ด€์‹ฌ ์˜์—ญ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.
  • PagedAttention: KV cache ๋ฉ”๋ชจ๋ฆฌ ๋‹จํŽธํ™”๋ฅผ ๋ฐฉ์ง€ํ•˜๊ธฐ ์œ„ํ•œ ๋ฉ”๋ชจ๋ฆฌ ๊ด€๋ฆฌ ๊ธฐ๋ฒ•์œผ๋กœ, ์—ฐ์†์ ์ธ ๋ฌผ๋ฆฌ์  ๋ฉ”๋ชจ๋ฆฌ ํ• ๋‹น ์—†์ด ๊ฐ€์ƒ ๋ฉ”๋ชจ๋ฆฌ ๋งคํ•‘์„ ํ†ตํ•ด ๋Œ€๊ทœ๋ชจ ๋ชจ๋ธ์˜ throughput์„ ๊ทน๋Œ€ํ™”ํ•˜๋Š” ๋ฉ”์ปค๋‹ˆ์ฆ˜์ž…๋‹ˆ๋‹ค.
  • Continuous Batching: ๊ณ ์ •๋œ batch size๋ฅผ ์‚ฌ์šฉํ•˜๋Š” ๋ฐฉ์‹์—์„œ ๋ฒ—์–ด๋‚˜, ์š”์ฒญ์ด ๋“ค์–ด์˜ค๋Š” ์ฆ‰์‹œ ๋™์ ์œผ๋กœ batch๋ฅผ ๊ตฌ์„ฑํ•˜์—ฌ GPU์˜ ์œ ํœด ์ž์›์„ ์ตœ์†Œํ™”ํ•˜๋Š” ์Šค์ผ€์ค„๋ง ์ „๋žต์ž…๋‹ˆ๋‹ค.
  • Tensor Parallelism & Pipeline Parallelism: ๋Œ€๊ทœ๋ชจ ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ๊ฐ€์ง„ ๋ชจ๋ธ์„ ๋ณต์ˆ˜ ๊ฐœ์˜ GPU์— ๋ถ„์‚ฐ ์ฒ˜๋ฆฌํ•˜๊ธฐ ์œ„ํ•œ ๋ณ‘๋ ฌํ™” ์ „๋žต ๋ฐ ํ†ต์‹  ํšจ์œจ ์ตœ์ ํ™” ๋ฐฉ์•ˆ์„ ๋…ผ์˜ํ•ฉ๋‹ˆ๋‹ค.

3. ๊ธฐ์ˆ ์  ๋ชฉํ‘œ (Performance Optimization)

vLLM์˜ ํ•ต์‹ฌ ๋ชฉํ‘œ๋Š” ์—ฐ์‚ฐ ํšจ์œจ์„ฑ์„ ๋†’์—ฌ ์ดˆ๋‹น ์ฒ˜๋ฆฌ ํ† ํฐ ์ˆ˜(Tokens per second)๋ฅผ ๊ทน๋Œ€ํ™”ํ•˜๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์ด๋Š” ๋ชจ๋ธ์˜ ์ถ”๋ก  ์†๋„(vinfv_{inf})๋ฅผ ๊ฒฐ์ •์ง“๋Š” ๋‹ค์Œ์˜ ์ธ์ž๋“ค์„ ์ตœ์ ํ™”ํ•จ์œผ๋กœ์จ ๋‹ฌ์„ฑ๋ฉ๋‹ˆ๋‹ค.
vinf=NtokensTtotalv_{inf} = \frac{N_{tokens}}{T_{total}}
์—ฌ๊ธฐ์„œ TtotalT_{total}์€ ๋ฉ”๋ชจ๋ฆฌ ๋กœ๋“œ ํƒ€์ž„๊ณผ ์—ฐ์‚ฐ ์‹œ๊ฐ„์„ ํฌํ•จํ•œ ์ด ๋Œ€๊ธฐ ์‹œ๊ฐ„์œผ๋กœ, vLLM์€ TtotalT_{total}์„ ๋‹จ์ถ•ํ•˜๊ธฐ ์œ„ํ•ด ๋ฉ”๋ชจ๋ฆฌ ๊ณ„์ธต ๊ตฌ์กฐ ์ตœ์ ํ™” ๋ฐ ์ปค๋„ ์œตํ•ฉ(Kernel Fusion) ๊ธฐ๋ฒ•์„ ํ™œ์šฉํ•ฉ๋‹ˆ๋‹ค.

๋ณธ ๋ฐ‹์—…์€ ์ด๋Ÿฌํ•œ ๊ธฐ์ˆ ์  ๋ฐฐ๊ฒฝ์„ ๊ณต์œ ํ•จ์œผ๋กœ์จ vLLM ์‚ฌ์šฉ์ž์™€ ๊ฐœ๋ฐœ์ž ๊ฐ„์˜ ์ง€์‹ ๊ณต์œ ๋ฅผ ํ™œ์„ฑํ™”ํ•˜๊ณ , ์ปค๋ฎค๋‹ˆํ‹ฐ ์ฐจ์›์˜ ์˜คํ”ˆ์†Œ์Šค ์ƒํƒœ๊ณ„ ํ™•์žฅ์„ ์ง€ํ–ฅํ•ฉ๋‹ˆ๋‹ค.