멀티모달 추론 비용 줄이려면 인코더 GPU를 따로 둬야 할까

멀티모달 추론 비용을 줄이기 위한 인코더 분리는 기존 GPU를 함께 쓰는 방식으로도 가능합니다. 엔비디아는 2026년 9월 9일 공개한 기술 글에서 같은 종류의 GPU로 구성한 클러스터에는 인코더와 언어모델 작업자를 같은 GPU에 두는 방식이 대체로 더 적합하다고 설명했습니다. 인코더 전용 GPU를 따로 두는 방식은 시각 처리의 병목이 크고, 그 작업에 맞는 저비용 GPU군을 사용할 수 있을 때 유리해질 수 있습니다.

따라서 이미지·영상 AI의 비용을 판단하려면 작업자를 나누는 것과 장비를 추가하는 것을 구별해야 합니다. 엔비디아의 시험에서도 두 선택은 서로 다른 구성과 결과를 보였습니다.

작업자를 나누는 방식은 두 가지입니다

시각 인코더는 이미지·영상을 언어모델이 사용할 수 있는 숫자 표현으로 바꿉니다. 그 뒤 언어모델이 입력을 처리하는 프리필과 답을 생성하는 디코드를 수행합니다. 엔비디아가 설명한 EPD는 인코더를 프리필·디코드 작업자와 분리해 각 단계의 대기열과 여러 요청을 묶어 처리하는 배칭을 따로 관리하는 방식입니다.

GPU를 어디에 배치하느냐에 따라 구성은 다음처럼 달라집니다.

구성	GPU 배치	작업 처리 방식
통합 실행	같은 GPU에서 실행	한 작업자가 인코더·프리필·디코드를 함께 관리
같은 GPU 공유	인코더와 언어모델 작업자가 GPU 공유	대기열과 배칭을 따로 관리
별도 GPU군	인코더용 GPU군과 언어모델용 GPU군 분리	인코더 결과를 언어모델 쪽으로 전송

같은 GPU 공유 방식은 장비를 인코더 전용으로 비워 두지 않으면서 작업 순서를 독립적으로 조절합니다. 엔비디아는 시각 인코더가 언어모델보다 상대적으로 가벼워, 같은 등급의 GPU 한 개를 전용으로 배정하면 상당한 자원이 남을 수 있다고 설명했습니다.

별도 GPU군은 인코더에 맞는 낮은 비용의 장비를 사용할 수 있을 때 의미가 있습니다. 엔비디아 시험에서는 RTX 6000D 2개가 인코더를, GB200 4개가 프리필·디코드를 맡았습니다. 비싼 GPU의 언어모델 처리 자원을 확보하는 대신, 추가 장비와 인코더 결과의 전송이 필요한 구성입니다.

이미지가 많아도 출력이 길면 이득이 줄어듭니다

분리가 유리하려면 인코더 작업을 따로 처리해서 얻는 이득이 작업자 간 조율과 데이터 전송 부담보다 커야 합니다. 이미지 여러 장이나 고해상도 이미지, 영상처럼 시각 처리량이 많은 입력에서 가능성이 커집니다. 통합 실행에서는 이 작업이 같은 GPU의 다른 프리필·디코드와 자원을 놓고 경쟁하기 때문입니다.

출력 길이는 반대 방향으로 작용합니다. 답변이 길어질수록 전체 응답 시간에서 디코드가 차지하는 몫이 커집니다. 인코더를 빨리 끝내더라도 이후 토큰 생성 시간까지 줄어드는 것은 아닙니다.

엔비디아가 이미지 5개를 고정하고 출력 길이를 128토큰에서 2,048토큰으로 늘린 시험이 이를 보여줍니다. 같은 GPU 공유 방식은 통합 실행보다 전체 응답 시간이 11.8% 개선되는 데서 출발했지만, 긴 출력에서는 오히려 2.5% 악화됐습니다. 인코더 작업자도 같은 GPU를 사용하므로 디코드 부하가 커지면 자원 경쟁이 분리의 이득을 넘어설 수 있습니다.

모델 특성도 이 비중을 바꿉니다. 언어모델이 작거나 일부 파라미터만 사용하는 MoE 구조라면 시각 인코더의 상대적인 부담이 커질 수 있습니다. 언어모델의 계산 정밀도를 낮추는 양자화로 프리필·디코드가 빨라져도 비슷한 변화가 생깁니다. 반대로 언어모델 계산이 대부분을 차지하면 인코더만 분리해서 줄일 수 있는 몫이 작아집니다.

텍스트 요청과 이미지 요청이 섞이는 서비스에도 분리의 이유가 있습니다. 통합 작업자는 같은 배치에 들어온 이미지 처리를 끝내느라 텍스트 요청의 프리필을 늦출 수 있습니다. 작업자를 분리하면 텍스트 요청은 인코더가 끝나기를 기다리지 않고 진행할 수 있습니다. 이미지 요청 자체의 속도뿐 아니라 함께 들어오는 텍스트 요청의 대기에도 영향을 주는 선택입니다.

처리량 70% 증가에는 추가 GPU가 들어갔습니다

엔비디아의 주요 시험은 Qwen3.5 122B A10B NVFP4와 GB200 4개를 기반으로 했으며, 별도 배치에는 앞서 설명한 RTX 6000D 2개가 추가됐습니다. 정밀도를 바꿔 비교한 실험은 별도 조건입니다.

이 가운데 요청당 이미지 10개, 이미지당 최대 256토큰, 출력 1,024토큰 조건에서 별도 GPU군은 통합 실행보다 같은 지연 기준을 지키며 처리하는 요청량이 70% 늘었습니다. 여기서 지연 기준은 토큰 사이의 간격이 100ms 미만인 것입니다.

이 결과는 GB200 수를 늘리지 않고 인코더 처리 능력을 보강할 수 있음을 보여줍니다. 다만 전체 GPU 수와 비용까지 그대로 유지한 시험은 아닙니다. 추가한 RTX 장비의 비용을 포함해야 요청당 비용이 실제로 낮아졌는지 판단할 수 있습니다.

사업 관점에서는 같은 응답 지연 기준을 충족한 요청량을 전체 장비·운영 비용과 함께 비교해야 합니다. 추가 인코더 GPU를 충분히 사용한다면 처리량 증가가 비용 효율로 이어질 여지가 있습니다. 요청이 적어 장비가 오래 쉬거나 전송 부담이 크다면 그 연결은 약해집니다. 엔비디아가 공개한 자료만으로 실제 비용 절감률을 계산할 수는 없습니다.

시각 처리 비중이 작거나 긴 출력의 디코드가 대부분을 차지하면 통합 실행이 적합할 수 있습니다. 인코더가 병목이라면 같은 GPU에서 작업자와 대기열을 분리하는 방법이 있고, 인코더에 맞는 저비용 GPU군까지 확보했다면 별도 배치를 비교할 수 있습니다. 인코더를 독립적으로 운영할 필요와 전용 GPU를 추가할 필요는 각각 판단해야 합니다.