FAST01

Home

❯

wiki

❯

Concept Index

❯

KV Cache

KV Cache

2026년 5월 31일1 min read

  • concept
  • llm
  • transformer

KV Cache

LLM 추론에서 이전 토큰의 key/value를 재사용해 디코딩 비용을 줄이는 캐시 기법입니다.

Related

  • Transformer Architecture
  • vLLM
  • Transformer model 최적화 - KV Cache, PagedAttention, vLLM

그래프 뷰

  • KV Cache
  • Related

Created with Quartz v5.0.0 © 2026

  • GitHub