KV 캐시 SSD가 HBM을 보완하는 경로

KV 캐시 SSD는 다시 쓸 문맥을 HBM 밖에 보관했다가 생성에 필요한 시점에 GPU 쪽으로 돌려보내는 역할을 맡습니다. 엔비디아의 2026년 3월 16일자 CMX 기술 설명은 현재 생성에 쓰는 KV를 HBM에 두고, 공유 플래시에 보관한 KV는 생성 전에 HBM이나 호스트 메모리로 미리 옮기는 구조를 제시합니다. SSD에 문맥을 많이 담는 능력과 HBM이 생성 중 데이터를 빠르게 공급하는 능력을 함께 쓰는 방식입니다.

생성 중인 문맥과 재사용을 기다리는 문맥

KV 캐시는 모델이 앞선 문맥을 처리하며 만든 중간 계산값입니다. 이를 보관하면 새 토큰을 만들 때마다 같은 이력을 처음부터 계산하는 일을 줄일 수 있습니다. 대화가 길어지면 보관할 KV도 늘어나지만, 모든 KV가 같은 순간에 필요한 것은 아닙니다.

엔비디아가 설명한 계층에서 HBM은 현재 토큰 생성에 쓰이는, 지연에 민감한 KV를 담당합니다. 호스트 DRAM은 HBM 밖으로 옮긴 KV를 임시로 보관하고 다음 이동을 준비하는 공간입니다. 로컬 SSD에는 비교적 짧은 간격으로 다시 쓰는 KV를 둡니다.

로컬 SSD는 특정 노드에 붙어 있어 여러 노드가 문맥을 함께 쓰도록 확장하는 데 제약이 있습니다. 일반적인 공유 파일·오브젝트 저장소는 오래 보존할 이력과 결과물을 담지만, 엔비디아는 이 계층에서 활성 KV를 자주 가져오면 지연과 전력 부담이 커진다고 설명합니다. 보관할 공간이 충분해도 GPU에 제때 공급하지 못하면 생성 작업은 기다려야 합니다.

CMX는 보관한 KV를 생성 전에 되돌립니다

엔비디아 CMX 구조는 로컬 SSD와 일반 공유 저장소 사이에 G3.5라는 계층을 둡니다. 이더넷으로 연결한 KV 전용 공유 플래시입니다. 여러 GPU 노드로 구성된 묶음인 팟 안에서 문맥을 함께 보관하고 재사용하도록 설계했습니다.

HBM과 DRAM에서 밀려난 이력을 이곳에 남겨두고, 다시 필요해지면 GPU 쪽으로 가져옵니다. 추론 소프트웨어인 Dynamo 등의 KV 관리 기능은 NIXL이라는 데이터 전송 라이브러리와 함께 이동을 조율합니다. CMX에 있는 KV 블록을 디코드, 즉 토큰을 생성하는 단계에 앞서 호스트 메모리나 HBM으로 미리 옮깁니다.

대화가 잠시 멈춘 동안 다시 쓸 KV를 CMX에 보관했다고 가정해 보겠습니다. 같은 문맥을 사용하는 후속 요청이 들어오면, 보관한 KV를 가져와 앞선 이력을 다시 계산하는 일을 줄일 수 있습니다. 이때 효과를 내는 조건은 재사용할 KV가 남아 있고, 생성에 필요한 시점까지 복원이 끝나는 것입니다.

따라서 KV 캐시 오프로딩, 즉 KV를 HBM 밖으로 옮기는 판단에는 저장 용량 외에 시간도 들어갑니다. 가져올 KV의 양과 전송 경로에 따라 복원 시간이 달라지고, 재계산에 걸리는 시간과 비교한 이점도 달라집니다. 원문은 이 비교의 손익분기점을 수치로 제시하지 않습니다. CMX가 지향하는 것은 미리 옮기는 과정을 통해 생성 중 대기와 중복 계산을 줄이는 것입니다.

SSD의 사업 가치는 문맥을 공급하는 데서 생깁니다

이 구조에서 SSD는 재사용 문맥을 보관하고 여러 노드에 공급하는 용도를 맡습니다. HBM은 활성 생성에 필요한 KV를 빠르게 공급합니다. 공유 플래시 용량이 커지면 HBM과 DRAM 밖에 남겨둘 수 있는 문맥은 늘지만, 그 용량을 같은 크기의 HBM 대체량으로 환산할 수는 없습니다.

GPU 가동률과 연결되는 지점도 복원 경로입니다. 필요한 KV를 제때 가져와 재계산과 대기를 줄이면 GPU가 실제 생성에 쓰는 시간을 늘릴 수 있습니다. 반대로 저장된 문맥을 거의 다시 쓰지 않거나 복원이 늦으면, 큰 SSD 용량만으로 같은 효과를 기대하기 어렵습니다.

엔비디아의 설명은 이런 구조가 처리량과 전력 효율을 높이도록 설계됐다는 근거입니다. 실제 추론비 절감률이나 메모리 업체의 매출 증가액을 계산할 자료는 제공하지 않습니다. SSD의 가치는 보관한 문맥을 실제로 재사용하고, 그 문맥을 생성 시점에 맞춰 공급할 수 있는 작업에서 드러납니다.