AI 자동화26분
GGUF와 safetensors의 차이: Q4_K_M 같은 이름 읽는 법
Hugging Face에서 Qwen/Qwen2.5-7B-Instruct를 열면 파일이 14개 있습니다. config.json, tokenizer.json, vocab.json, merges.txt가 있고, model-00001-of-00004.safetensors부터 model-00004-of-00004.safetens…
전체 태그
#quantization 2개 글
- AI 자동화9분
로컬 LLM 모델 고르기: 파라미터, 양자화, MoE를 실측으로 비교
온프레미스 추론 서버에 모델이 25개, 154GB 쌓여 있었습니다. 저는 필요할 때마다 하나씩 받았고, 어느 시점부터 무엇을 왜 갖고 있는지 설명할 수 없게 됐습니다.