AI 자동화20분
vLLM과 Ollama의 차이: 연속 배칭과 PagedAttention
Ollama 공식 FAQ의 동시 요청 항목에는 이런 기본값이 적혀 있습니다. OLLAMANUMPARALLEL, 모델 하나가 동시에 처리하는 요청 수의 최댓값, 기본값 1. 바로 아래 줄에는 필요한 메모리가 OLLAMANUMPARALLEL 곱하기 OLLAMACONTEXTLENGTH만큼 늘어난다고 쓰여 있습니다(Ollama…
전체 태그
#ollama 7개 글
- AI 자동화7분
허깅페이스와 Ollama의 차이: 모델 저장소와 실행기
로컬 LLM을 처음 돌릴 때는 대개 Ollama부터 깝니다. ollama run llama3.2 한 줄이면 모델이 받아지고, 터미널에서 바로 대화가 됩니다. 그러다 모델 이름을 검색하면 결과 맨 위에 허깅페이스(Hugging Face) 페이지가 뜹니다. 같은 모델인데 파일이 수십 개 있고, 이름 뒤에 GGUF, Q4KM…
- AI 자동화7분
혼자 쓰는 RAG: 인증·권한을 빼고 남은 설계 결정들
ChatGPT에 문서를 전부 올리면 끝나는 일 아닌가,라고 한동안 생각했습니다. 그런데 제가 쓰는 데이터를 전부 올리는 건 사정이 달랐습니다. 재고 목록, 영업 리드, 기도 기록, 가계부까지 한 사람의 전 삶이 들어있는 DB였거든요. 그래서 로컬 LLM 기반 RAG를 직접 짰습니다. 이 글은 그 과정에서 내린, 그리고 …
- AI 자동화17분
RAG 답변이 얕은 이유: 검색이 아니라 청크 크기
사내 문서 1,290건을 넣어 둔 RAG 챗봇이 있습니다. 검색은 그럭저럭 맞는 문서를 찾아오는데, 답변이 계속 얕았습니다. 맞는 말이긴 한데 한 줄로 끝나거나, "문서에서 충분한 근거를 찾지 못했습니다"가 나오는 일이 잦았습니다.
- AI 자동화9분
로컬 LLM 모델 고르기: 파라미터, 양자화, MoE를 실측으로 비교
온프레미스 추론 서버에 모델이 25개, 154GB 쌓여 있었습니다. 저는 필요할 때마다 하나씩 받았고, 어느 시점부터 무엇을 왜 갖고 있는지 설명할 수 없게 됐습니다.
- AI 자동화7분
사내 지식을 답변으로 바꾸는 RAG 시스템 구축기
문서는 많지만 필요한 순간에 찾기 어렵고, 검색 결과를 열어 일일이 내용을 비교해야 한다면 지식은 충분히 활용되지 못합니다. 이번 글에서는 문서와 업무 데이터를 자연어로 검색하고, 근거와 함께 답을 생성하는 RAG 시스템을 작은 범위에서 시작해 운영 가능한 구조로 확장한 과정을 정리합니다.
- AI 자동화12분
로컬 LLM으로 업무 자동화를 만들 때, 모델을 몇 개 써야 할까
사내에 AI를 도입하려는 회사가 가장 먼저 부딪히는 질문이 있습니다. "모델 하나면 되는 것 아닌가요?"