KV 캐시의 물리적 한계와 VRAM: 왜 무한한 컨텍스트는 불가능한가?

들어가며: 왜 롱 컨텍스트는 항상 '메모리 전쟁'인가?

LLM을 활용해 긴 문서를 다루다 보면 프롬프트 길이가 길어짐에 따라 VRAM 사용량이 폭발적으로 늘어나고, 결국 OOM(Out of Memory) 오류로 시스템이 멈추는 상황을 빈번하게 마주하게 됩니다 [S2438]. 이러한 메모리 병목의 핵심에는 바로 'KV 캐시(KV Cache)'가 자리 잡고 있습니다. 모델은 다음 토큰을 생성할 때 이전 토큰들의 정보를 재사용하기 위해 계산된 Key와 Value 벡터를 저장해 두는데, 이 과정에서 발생하는 메모리 점양은 단순히 모델 가중치를 유지하는 것 이상의 물리적 부담을 안겨줍니다 [S2439].

실제로 롱 컨텍스트 환경에서는 KV 캐시가 차지하는 용량이 모델의 파라미터(가중치) 자체를 압도하는 현상이 발생합니다 [S2440]. 예를 들어, 시퀀스 길이가 길어질수록 필요한 메모리량은 선형적으로 늘어나며, 이는 하드웨어의 물리적 한계와 끊임없이 충돌하게 됩니다 [S2438]. 따라서 진정한 의미의 롱 컨텍스트 운영을 위해서는 모델의 지능 밀도를 유지하면서도 어떻게 효율적으로 메모리를 관리할 것인가라는 기술적 과제를 해결하는 것이 필수적입니다 [S2401].

KV 캐시의 메커니즘: 계산 효율과 메모리 점유의 트레이드오프

LLM은 기본적으로 이전 토큰들을 바탕으로 다음 단어를 예측하는 자기회귀(Auto-regressive) 방식으로 동작합니다. 이 과정에서 새로운 토큰을 생성할 때마다 과거에 이미 계산했던 정보들을 다시 처리해야 하는 비효율이 발생하는데, 이를 해결하기 위해 도입된 것이 바로 KV 캐시입니다. 핵심은 한 번 계산된 이전 토큰들의 Key(K)와 Value(밍 V) 벡터를 메모리에 저장해 두었다가 재사용하는 것입니다. 이렇게 하면 매번 전체 시퀀스를 처음부터 다시 계산할 필요 없이 새롭게 들어온 토큰의 정보만 계산하면 되므로, 연산 복잡도를 $O(n^2)$에서 $O(n)$ 수준으로 낮추어 추론 속도를 비약적으로 향상시킬 수 있습니다 [S2438, S2446].

하지만 이러한 연산 효율의 이면에는 '메모리 점유'라는 물리적 대가가 따릅니다. 계산량을 줄이기 위해 과거의 K와 V 값을 저장하는 것이기에, 시퀀스 길이가 길어질수록 캐시가 차지하는 메모리 용량 역시 선형적으로 증가하게 됩니다 [S2440]. 즉, 실시간 추론 속도를 확보하기 위해 GPU 메모리 자원을 지속적으로 투입해야 하는 구조적 트레이드오프가 발생하는 것입니다. 결과적으로 롱 컨텍스트(Long Context) 환경에서는 모델의 가중치뿐만 아니라 이 KV 캐시가 차지하는 물리적 용량이 핵심적인 병목 지점이 됩니다 [S2400].

물리적 한계: 모델 가중치를 압도하는 KV 캐시의 위력

LLM의 메모리 점유를 결정하는 핵심적인 계산식은 다음과 같습니다: $2 \times L (\text{레이어 수}) \times n_{kv} (\text{KV 헤드 수}) \times d_{head} (\text{헤드 차원}) \times S (\text{시퀀스 길이}) \times b (\text{데이터 타입 바이트})$. 이는 생성되는 토큰의 양이 늘어날수록 메모리 요구량이 선형적으로 증가함을 보여줍니다 [S2438]. 특히 Llama-3 70B와 같은 대형 모델에서 시퀀스 길이를 128K 수준으로 확장할 경우, KV 캐시로만 약 40GB의 추가 메모리가 필요하게 됩니다 [S2439]. 이는 모델 가중치(FP16 기준 약 140GB)를 고려하더라도 하드웨어에 엄청난 압박을 주는 요소이며, 컨텍스트 확장이 단순한 숫자의 문제가 아니라 물리적인 VRAM 한계와의 싸움임을 의미합니다 [S2439].

이러한 구조적 특성 때문에 배치 크기(Batch Size)와 시퀀스 길이 사이에는 피할 수 없는 상충 관계(Trade-off)가 존재합니다. 한정된 GPU 메모리 내에서 동시에 처리하는 요청의 수를 늘리기 위해 배치 크기를 키우면, 각 요청에 할당할 수 있는 평균 시퀀스 길이는 줄어들 수밖에 없습니다 [S2401]. 반대로 긴 문장 요약과 같이 거대한 컨텍스트가 필요한 작업을 수행하려면 배치 크기를 낮추어 개별 요청의 메모리 여유를 확보해야 합니다 [S2401]. 따라서 물리적인 VRAM 한계를 이해하지 못하면, 모델의 지능을 유지하면서도 효율적으로 운영할 수 있는 현실적인 인프라 설계를 완성하기 어렵습니다 [S2439].

최적화 기술: 물리적 한계를 극복하는 현대적 전략

LLM의 물리적 메모리 한계에 맞서기 위한 가장 혁신적인 해결책 중 하나는 vLLM에서 도입된 PagedAttention입니다. 기존의 추론 방식은 최대 가능한 시퀀스 길이에 맞춰 연속적인 메모리 블록을 미리 할당해야 했기에, 실제 사용되지 않는 공간이 발생하는 단편화 문제로 인해 KV 캐시 메모리의 6080%가 낭비되는 심각한 비효율을 초래했습니다 [S2400]. PagedAttention은 운영체제의 가상 메모리 페이징 기법처럼 KV 캐시를 고정된 크기의 블록(페이지) 단위로 나누어 관리합니다 [S2400]. 이를 통해 논리적 시퀀스 위치와 물리적 저장소 사이의 매핑을 유지하면서 필요할 때만 동적으로 페이지를 할당하고 해제할 수 있어, 메모리 낭비를 4% 미만으로 줄이고 처리량을 기존 대비 24배 향상시킵니다 [S2400].

모델 구조 측면에서는 **GQA(Grouped-Query Attention)**와 같은 기술이 KV 헤드 수를 조절하여 메모리 효율을 극대화하는 핵심 전략으로 작용합니다. 전통적인 MHA 방식과 달리, GQA는 쿼리 헤드 수에 비해 적은 수의 KV 헤드를 사용하여 계산량과 메모리 점유를 동시에 낮춥니다 [S2438]. 예를 들어, Llama-3 8B와 같은 모델이 GQA를 통해 KV 헤드 수를 최적화함으로써 동일한 파라미터 규모에서도 효율적인 캐시 관리가 가능해지는 것입니다 [S2438]. 이러한 구조적 설계는 긴 컨텍스트를 다룰 때 발생하는 메모리 폭증 문제를 완화하는 데 결정적인 역할을 합니다.

마지막으로, 양자화(Quantization) 기술은 물리적인 저장 공간을 확보하기 위해 정밀도와 용량 사이의 기술적 균형을 맞추는 중요한 전략입니다. FP8과 같은 낮은 비트 수의 데이터 타입을 활용하면 정확도 손실을 최소화하면서도 KV 캐시가 차지하는 메모리 요구량을 획기적으로 줄일 수 있습니다 [S2400]. 특히 최신 GPU 아키텍처를 활용한 FP8 KV 캐시는 모델 가중치와 별도로 발생하는 거대한 캐시 비용을 절감하여, 기존 하드웨어 환경에서도 더 긴 컨렉스트와 더 큰 배치 크기를 운영할 수 있는 물리적 여유를 제공합니다 [S2400].

결론: 인프라 설계를 위한 현실적인 롱 컨텍스트 운영 가이드

무한한 컨텍스트를 향한 기술적 갈망과 달리, 물리적 VRAM의 한계는 여전히 가장 강력한 제약 조건으로 작용합니다. 시퀀스 길이가 길어질수록 KV 캐시가 점유하는 메모리는 늘어나며, 이는 종종 모델 가중치의 크기를 압도하여 OOM(Out of Memory) 문제를 야기합니다 [S2438, S2400]. 따라서 엔지니어는 단순히 '더 많은 메모리'를 확보하는 것을 넘어, 주어진 물리적 한계 내에서 지능의 밀도를 어떻게 극대화할 것인가라는 근본적인 질문에 직면하게 됩니다.

결국 성공적인 롱 컨텍스트 운영은 하드웨어 제약 조건을 명확히 인지하고 그 안에서 최적의 효율을 뽑아내는 데 달려 있습니다. 배치 크기를 키워 처리량을 높일 것인지, 혹은 시퀀스 길이를 확보하여 더 깊은 문맥을 다룰 것인지는 항상 상충하는 트레이크오프 관계에 놓여 있습니다 [S2401, S2439]. 따라서 미래의 인프라 설계는 단순히 숫자를 늘리는 작업이 아니라, 물리적 한계라는 현실적인 벽 위에서 효율적인 메모리 관리와 최적화 기술을 통해 지능 운영의 경제성을 확보하는 과정이 되어야 합니다 [S2400, S2440].