AI 자동화7분
AI 모델이 몰래 나빠졌는지 어떻게 알 수 있을까?
새 모델이 나오면 한두 달 뒤에 꼭 같은 글이 올라옵니다. "요즘 Opus가 멍청해졌다", "출시 때랑 다른 모델 같다." 9월 말 Hacker News 첫 페이지에는 아예 제목이 Livenerf: Has Opus 5.5 been nerfed yet?인 프로젝트가 올라와 300점을 넘겼습니다. 출시 일주일 된 모델이 벌…
전체 태그
#llm-evaluation 2개 글
- AI 자동화4분
DUOLABS AI 기능 탐구 24: 평가 질문과 기대 답을 버전으로 관리하는 데이터셋 연구소
DUOLABS AI 기능 탐구 스물네 번째 글은 평가 입력과 기대 결과를 모으고 버전으로 관리하는 데이터셋 연구소입니다.