AI 자동화20분
RAG와 긴 컨텍스트: 100만 토큰이면 검색이 필요 없을까?
Anthropic의 컨텍스트 창 문서에는 이런 문장이 있습니다.
전체 태그
#prompt-caching 2개 글
- AI 자동화5분
프롬프트 캐싱: 긴 시스템 프롬프트를 10분의 1 가격으로 읽히는 순서 설계
시스템 프롬프트가 2만 토큰인 챗봇이 있다고 해 보겠습니다. 제품 설명서, 응대 규칙, 예시 대화가 들어 있습니다. 사용자가 "배송 언제 와요?"라고 한 줄을 물어도 모델은 매번 2만 토큰을 처음부터 다시 읽고, API는 그만큼 과금합니다.