AI 자동화21분
지식 증류와 파인튜닝: 큰 모델의 답으로 작은 모델을 가르치는 방법
DeepSeek가 공개한 모델 중에 DeepSeek-R1-Distill-Qwen-32B가 있습니다. 이름에 Distill, 즉 증류가 들어 있습니다. 그런데 DeepSeek-R1 논문 2.4절은 이 모델을 만든 방법을 이렇게 적습니다.
전체 태그
#fine-tuning 2개 글
- AI 자동화9분
LLM 파인튜닝은 언제 필요할까?
사내 문서가 수천 건 있고, 그 내용을 아는 챗봇을 만들고 싶다고 해 보겠습니다. 이때 가장 먼저 떠오르는 방법이 파인튜닝입니다. 문서를 모델에 학습시키면 모델이 우리 회사를 알게 되고, 그러면 무엇을 물어도 답할 것 같습니다. 직관적이고, 이름부터 그럴듯합니다. 그런데 이 기대대로 되지 않는 경우가 많고, 같은 목적이…