AI 자동화20분
RAG와 긴 컨텍스트: 100만 토큰이면 검색이 필요 없을까?
Anthropic의 컨텍스트 창 문서에는 이런 문장이 있습니다.
DUOLABS BLOG
전체 글537
- AI 자동화21분
토크나이저와 한국어 토큰 비용: 같은 내용이 왜 더 비쌀까?
아래 두 문장은 같은 말입니다. 직접 지어낸 예문이고, 앞은 한국어로 49자, 뒤는 영어로 100자입니다.
- 데이터베이스19분
MCP 데이터베이스 서버: 에이전트에 DB를 열어 줄 때의 권한 설계
Anthropic이 처음 내놓은 Postgres MCP 서버의 README에는 이렇게 적혀 있었습니다.
- 데이터베이스20분
Text-to-SQL 정확도는 왜 실무 DB에서 떨어질까?
「지난 분기 매출 상위 고객 10곳」을 물었더니 모델이 깔끔한 SQL을 돌려줍니다. JOIN도 맞고 GROUP BY도 맞고 실행도 됩니다. 그런데 그 숫자를 재무팀 보고서와 나란히 놓으면 맞지 않습니다. 환불이 빠지지 않았을 수도 있고, 부가세가 들어갔을 수도 있고, 회사의 회계 분기가 달력 분기와 다를 수도 있습니다.…
- 데이터베이스13분
그래프 DB가 RDB를 대체할까? 숫자로 본 2026년 데이터베이스 흐름
데이터베이스 순위 사이트 DB-Engines에는 데이터 모델별 인기 추이를 그린 그래프가 있습니다. 2013년 1월을 100으로 놓고 2026년 10월까지 이어 보면 그래프 DBMS는 901이 됩니다. 아홉 배입니다. 같은 기간 관계형 DBMS는 80으로 오히려 내려왔습니다.
- AI 자동화26분
GGUF와 safetensors의 차이: Q4_K_M 같은 이름 읽는 법
Hugging Face에서 Qwen/Qwen2.5-7B-Instruct를 열면 파일이 14개 있습니다. config.json, tokenizer.json, vocab.json, merges.txt가 있고, model-00001-of-00004.safetensors부터 model-00004-of-00004.safetens…
- AI 자동화21분
지식 증류와 파인튜닝: 큰 모델의 답으로 작은 모델을 가르치는 방법
DeepSeek가 공개한 모델 중에 DeepSeek-R1-Distill-Qwen-32B가 있습니다. 이름에 Distill, 즉 증류가 들어 있습니다. 그런데 DeepSeek-R1 논문 2.4절은 이 모델을 만든 방법을 이렇게 적습니다.
- AI 자동화19분
GPU 병렬화 세 가지: 데이터 병렬, 텐서 병렬, 파이프라인 병렬
vLLM 문서에 GPU 16장으로 모델 하나를 띄우는 예시가 있습니다. 서버 두 대에 8장씩 꽂힌 구성인데, 명령에는 숫자가 두 개 들어갑니다.
- AI 자동화20분
vLLM과 Ollama의 차이: 연속 배칭과 PagedAttention
Ollama 공식 FAQ의 동시 요청 항목에는 이런 기본값이 적혀 있습니다. OLLAMANUMPARALLEL, 모델 하나가 동시에 처리하는 요청 수의 최댓값, 기본값 1. 바로 아래 줄에는 필요한 메모리가 OLLAMANUMPARALLEL 곱하기 OLLAMACONTEXTLENGTH만큼 늘어난다고 쓰여 있습니다(Ollama…
- AI 자동화20분
LLM 추론 GPU 메모리 계산: KV 캐시와 메모리 대역폭
NVIDIA의 H100 제품 페이지와 H200 제품 페이지 사양표를 나란히 놓으면 이상한 점이 하나 보입니다. SXM 모델 기준으로 FP16 Tensor Core 성능이 둘 다 1,979 TFLOPS(희소성 기준 표기)이고, FP8도 3,958 TFLOPS로 같습니다. 같은 Hopper 아키텍처라 연산 칸은 한 자리도 …