AI 자동화21분
지식 증류와 파인튜닝: 큰 모델의 답으로 작은 모델을 가르치는 방법
DeepSeek가 공개한 모델 중에 DeepSeek-R1-Distill-Qwen-32B가 있습니다. 이름에 Distill, 즉 증류가 들어 있습니다. 그런데 DeepSeek-R1 논문 2.4절은 이 모델을 만든 방법을 이렇게 적습니다.
DeepSeek가 공개한 모델 중에 DeepSeek-R1-Distill-Qwen-32B가 있습니다. 이름에 Distill, 즉 증류가 들어 있습니다. 그런데 DeepSeek-R1 논문 2.4절은 이 모델을 만든 방법을 이렇게 적습니다.