AI 응답 속도, 첫 글자와 마지막 글자는 다른 문제다
프리필과 디코드를 구분하면 추론 성능 지표가 다르게 보입니다. 첫 토큰 지연과 전체 처리량을 같은 기준으로 비교하지 않는 방법입니다.
주제별 기록
AI
모델의 성능과 서비스를 운영하는 비용을 함께 살펴봅니다.
↗
지연 시세
주제별 기록
모델의 성능과 서비스를 운영하는 비용을 함께 살펴봅니다.
프리필과 디코드를 구분하면 추론 성능 지표가 다르게 보입니다. 첫 토큰 지연과 전체 처리량을 같은 기준으로 비교하지 않는 방법입니다.