AI 자동화12분
LLM 토큰 스트리밍은 응답을 빠르게 만들까?
같은 모델에 같은 질문을 두 번 보낸다고 해 보겠습니다. 한 번은 stream: false, 한 번은 stream: true 입니다. 스트리밍 쪽이 훨씬 빠르게 느껴집니다. 그런데 마지막 글자가 도착하는 시각은 두 쪽이 거의 같습니다. 모델은 어느 쪽이든 토큰을 하나씩 순서대로 만들고, 스트리밍은 그 순서를 바꾸지 않기…
전체 태그
#concept-note 3개 글
- 웹 인프라7분
TTFB: 속도가 아니라 지연 시간을 재는 지표
회선을 두 배로 넓혀도 TTFB 는 거의 그대로입니다. 서버를 한 대 더 붙여도 마찬가지입니다. 그런데 같은 서버를 사용자와 가까운 리전으로 옮기면 절반으로 떨어집니다.
- 웹 개발7분
멱등성: 메서드가 아니라 구현이 지키는 성질
같은 요청을 두 번 보냈습니다.