DUOLABS AI 기능 탐구 13: AI 업무별 기본 모델을 운영하는 모델 콘솔

DUOLABS AI 기능 탐구 열세 번째 글은 연결된 AI 서버와 모델을 확인하고, 업무 유형마다 기본 모델을 지정하는 모델 콘솔입니다.

AI 서비스를 운영하면 “어떤 모델이 가장 좋은가”보다 “이 작업은 어느 모델이 맡고 있으며 지금 정상적으로 응답하는가”가 더 중요한 질문이 됩니다. 모델이 늘어날수록 선택 기준과 변경 지점을 한곳에 모아야 장애 대응과 비용 관리가 쉬워집니다.

기능 직접 보기: DUOLABS AI 모델 콘솔

이 화면은 공개 공유 데모입니다. 기본 모델을 바꾸면 다른 방문자가 사용하는 기능의 초기 선택에도 영향을 줄 수 있습니다. 상태 확인과 화면 탐색 위주로 살펴보고, 모델 변경이나 반복 프로브는 꼭 필요한 범위에서만 실행하세요.

모델 콘솔은 AI 실행의 제어판입니다

모델 콘솔은 로컬 LLM 서버와 클라우드 공급자의 연결 상태를 한 화면에 모읍니다. 서버별로 온라인 여부, 발견된 모델 수, 현재 메모리에 로드된 모델 수와 상태 확인 지연을 보여줍니다.

AI 기능
→ 업무별 기본 모델 조회
→ 선택된 공급자·서버로 요청
→ 실행 결과와 지표 기록

기능마다 모델 이름을 코드에 흩어 놓는 대신 중앙 기본값을 읽게 하면 모델 교체 범위가 명확해집니다. 장애가 난 공급자를 대체하거나 비용 정책을 바꿀 때도 모든 화면을 각각 수정하지 않아도 됩니다.

업무 유형에 맞는 기본 모델을 지정합니다

현재 콘솔은 모델을 네 가지 역할로 나눠 기본값을 관리합니다.

• 챗·에이전트: 대화와 도구 호출
• 구조화 추출: 텍스트를 정해진 JSON 구조로 변환
• 비전·OCR: 이미지의 글자와 항목 인식
• 임베딩: 문서와 질문을 벡터로 변환

모델 목록에는 지원 용도 태그, 파라미터 규모, 양자화 방식, 파일 크기와 로드 상태가 함께 표시됩니다. 검색과 용도 필터를 사용하면 해당 역할에 맞는 후보만 좁힐 수 있습니다.

하나의 모델이 모든 작업에 최적일 필요는 없습니다. 대화에는 지시 준수와 도구 호출이 중요하고, 추출에는 스키마 준수율, 비전에는 이미지 이해, 임베딩에는 검색 정확도와 처리량이 더 중요합니다.

프로브는 연결 상태를 실측합니다

목록에 모델이 보인다고 실제 추론까지 성공한다는 보장은 없습니다. 프로브는 모델에 아주 짧은 요청을 보내 왕복 시간을 측정합니다. 로컬 모델과 클라우드 모델 모두 실제 공급자 경로를 거치므로 네트워크, 인증과 모델 가용성을 함께 확인할 수 있습니다.

다만 프로브 시간은 품질이나 실제 업무 속도를 뜻하지 않습니다. 최소 출력 요청의 왕복 지연이므로 긴 문서 생성, 이미지 처리와 도구 호출 성능은 별도로 측정해야 합니다. 첫 실행에는 모델 로딩 시간이 포함될 수 있고 이후 실행은 캐시와 메모리 상태에 따라 더 빨라질 수 있습니다.

온라인 표시만으로 운영 준비가 끝나지는 않습니다

상태 화면은 빠른 진단에 유용하지만 다음 항목을 대신하지는 못합니다.

• 실제 업무 데이터셋의 정확도 평가
• 동시 요청에서의 처리량과 대기 시간
• 타임아웃·재시도·대체 모델 정책
• 공급자별 사용 한도와 예산
• 모델·프롬프트 변경 승인과 롤백
• 보안 검토와 데이터 처리 위치 확인

기본 모델을 바꾸면 여러 기능의 결과가 동시에 달라질 수 있습니다. 운영 환경에서는 변경자, 변경 전후 값, 적용 시각과 검증 결과를 감사 로그로 남기고 단계적으로 적용해야 합니다.

로컬과 클라우드는 비용 구조가 다릅니다

로컬 모델은 호출당 API 요금이 없고 데이터 경로를 직접 통제하기 쉽습니다. 반면 서버 용량, 전력, 모델 배포, 장애 대응과 보안 패치 비용을 직접 부담합니다. 클라우드 모델은 빠르게 확장할 수 있지만 토큰 비용, 외부 전송 정책과 공급자 장애를 고려해야 합니다.

따라서 “로컬 또는 클라우드”를 하나만 고르기보다 업무 민감도, 목표 품질, 응답 시간과 총소유비용을 기준으로 역할별 배치를 정하는 편이 현실적입니다.

공개 데모에서 확인할 것

DUOLABS AI 모델 콘솔에서 서버 카드와 모델 로스터를 살펴보고, 같은 모델이라도 어떤 용도 태그와 서버에 연결되어 있는지 확인해 보세요. 프로브는 연결 시험일 뿐 순위표가 아니라는 점도 함께 기억해야 합니다.

실서비스에서는 모델 콘솔 접근을 운영자에게 제한하고, 내부 주소와 모델 구성은 필요한 범위에서만 공개해야 합니다. 기본값 변경은 승인·평가·점진 배포·롤백이 연결된 운영 절차로 만들어야 합니다.

이전 글: DUOLABS AI 기능 탐구 12: 용어집으로 번역 일관성을 지키는 번역·현지화

다음 글: DUOLABS AI 기능 탐구 14: LLM 인프라 상태를 한눈에 보는 3D 서버룸