KV 캐시 SSD가 HBM을 보완하는 경로
KV 캐시 SSD는 다시 쓸 문맥을 HBM 밖에 보관했다가 생성에 필요한 시점에 GPU 쪽으로 돌려보내는 역할을 맡습니다.
4분 읽기글 읽기
기술을 따라가고, 숫자를 다시 읽습니다.
RSS로 받아보기 ↗최근 글
전체 보기 ↗맥 클러스터로 늘리면 큰 모델이 돌까 동시 작업이 늘까
여러 맥이 같은 모델을 각각 실행하며 서로 다른 요청을 맡는다면, 늘어나는 것은 모델 하나에 쓸 메모리가 아니라 동시에 일할 자리입니다.
엔비디아 기판 공급 2.5배면 GPU 출하도 2.5배 늘까
엔비디아의 기판 증설 달력은 즉시 공급에서 2028년 중반 완전 가동까지 펼쳐져 있습니다. 2026년 10월 21일 발표한 엔비디아 기판 공급 확대 계획은 향후 3년간 2.5배를 목표로 하지만, 물량이 한꺼번에 들어오는 구조가 아니에요.
AMD 데이터센터 매출 97% 증가와 4분기 마진
AMD는 2026년 3분기 데이터센터 매출을 전년 동기보다 97% 늘렸고, 4분기 전사 매출은 전 분기보다 약 27% 더 증가할 것으로 봤습니다.
MS 수주잔고 73%와 12개월 인식분 29%는 무엇이 다를까
마이크로소프트 수주잔액으로 향후 1년 매출을 판단할 때는 전체 증가율보다 12개월 안에 매출로 인식할 금액과 그 증가율을 봐야 합니다.
멀티모달 추론 비용 줄이려면 인코더 GPU를 따로 둬야 할까
멀티모달 추론 비용을 줄이기 위한 인코더 분리는 기존 GPU를 함께 쓰는 방식으로도 가능합니다. 엔비디아는 2026년 9월 9일 공개한 기술 글에서 같은 종류의 GPU로 구성한 클러스터에는 인코더와 언어모델 작업자를 같은 GPU에 두는 방식이 대체로 더 적합하다고 설명했습니다.
관심 있는 주제부터
핀포스트가 씁니다.
X의 @finpostmd에서 이어지는 기술과 산업의 기록. 긴 호흡의 글은 이곳에 남깁니다.