AI 자동화21분
토크나이저와 한국어 토큰 비용: 같은 내용이 왜 더 비쌀까?
아래 두 문장은 같은 말입니다. 직접 지어낸 예문이고, 앞은 한국어로 49자, 뒤는 영어로 100자입니다.
전체 태그
#llm-cost 2개 글
- AI 자동화5분
프롬프트 캐싱: 긴 시스템 프롬프트를 10분의 1 가격으로 읽히는 순서 설계
시스템 프롬프트가 2만 토큰인 챗봇이 있다고 해 보겠습니다. 제품 설명서, 응대 규칙, 예시 대화가 들어 있습니다. 사용자가 "배송 언제 와요?"라고 한 줄을 물어도 모델은 매번 2만 토큰을 처음부터 다시 읽고, API는 그만큼 과금합니다.