AI 자동화7분
허깅페이스와 Ollama의 차이: 모델 저장소와 실행기
로컬 LLM을 처음 돌릴 때는 대개 Ollama부터 깝니다. ollama run llama3.2 한 줄이면 모델이 받아지고, 터미널에서 바로 대화가 됩니다. 그러다 모델 이름을 검색하면 결과 맨 위에 허깅페이스(Hugging Face) 페이지가 뜹니다. 같은 모델인데 파일이 수십 개 있고, 이름 뒤에 GGUF, Q4KM…
전체 태그
#local-llm 3개 글
- AI 자동화7분
혼자 쓰는 RAG: 인증·권한을 빼고 남은 설계 결정들
ChatGPT에 문서를 전부 올리면 끝나는 일 아닌가,라고 한동안 생각했습니다. 그런데 제가 쓰는 데이터를 전부 올리는 건 사정이 달랐습니다. 재고 목록, 영업 리드, 기도 기록, 가계부까지 한 사람의 전 삶이 들어있는 DB였거든요. 그래서 로컬 LLM 기반 RAG를 직접 짰습니다. 이 글은 그 과정에서 내린, 그리고 …
- AI 자동화12분
로컬 LLM으로 업무 자동화를 만들 때, 모델을 몇 개 써야 할까
사내에 AI를 도입하려는 회사가 가장 먼저 부딪히는 질문이 있습니다. "모델 하나면 되는 것 아닌가요?"