온프레미스 LLM 구축 범위 가이드

개요

온프레미스 LLM(사내 전용 LLM) 구축을 의뢰하기 전에 무엇을 정해야 하는지 정리한 한 장짜리 문서입니다. 상담 전에 읽어보시고 아래 항목에 표시해 두시면, 그 내용이 그대로 제안서와 견적의 입력값이 됩니다.

온프레미스 LLM은 모델과 데이터를 조직이 통제하는 인프라에서 처리합니다. 외부 API로 데이터가 나가지 않아야 하는 규제·보안 요구가 있을 때 필요한 구성입니다.

온프레미스가 정말 필요하신가요?

가장 먼저 확인해야 할 질문입니다. 데이터를 외부로 보낼 수 없는 명확한 규제·보안 근거가 없다면, 외부 AI API를 쓰는 "AI 챗봇·자동화" 상품이 초기 비용은 1/5 수준이고 GPU 장비도 필요 없어 훨씬 빠르고 저렴합니다. 상담에서 이 부분을 먼저 확인해 드립니다.

이 조건에 해당하시면, 아래 항목만 정하면 범위가 잡히고 작업비와 기간이 나옵니다.

1. 어떤 규모인가요

	검증형	부서형	전사형
한 줄 정의	단일 모델과 제한된 사용자로 가능성을 검증	부서 단위 인증·사용량 통제를 갖춘 운영	다중 노드·장애 대응을 포함한 전사 운영
이럴 때	도입 전 기술 검증(PoC)	특정 부서 전용 사용	여러 부서·많은 사용자
기간	1개월	1~2개월	2~3개월

처음이시라면 검증형부터 권해드립니다. 실제 데이터로 응답 품질을 확인하지 않고 부서형·전사형으로 바로 가면, 검증 안 된 구성에 큰 투자를 하는 셈이 됩니다. 검증형은 이후 부서형·전사형으로 확장할 때 처음부터 다시 시작하지 않고, 검증 결과 위에 이어서 진행합니다.

2. 나머지 네 가지만 정하면 됩니다

① 사내 문서·DB 추가 연동
없음: 모델 자체 지식만 사용 / 있음: 사내 문서·DB를 찾아 답변에 반영(RAG)

② 사용자 권한·SSO
없음: 접근 제한 없음 / 있음: 사내 인증 체계와 연동해 사용자별 접근을 통제

③ GPU 서버 최적화
없음: 기본 구성 / 있음: 보유·구매하신 GPU 서버에 맞춰 성능을 최적화

④ 응답 품질 평가·모니터링
없음: 초기 배포만 / 있음: 응답 품질을 측정하고 이상 징후를 알려주는 체계 구축

GPU·데이터센터 비용은 별도입니다

이 문서와 견적서의 금액은 구축 작업비입니다. GPU 서버, 스토리지, 데이터센터 비용과 모델 라이선스는 포함되지 않으며, 규모에 따라 작업비보다 훨씬 커질 수 있습니다. 보유 장비를 활용할 수 있는지부터 상담에서 확인합니다.

3. 포함 / 별도 / 준비해 주실 것

기본 포함
모델 배포와 추론 API 구성, 기본 성능 튜닝, 배포 후 동작 확인, 인수인계(설정·구성 문서, 접근 권한)

별도 실비
GPU 서버·스토리지·데이터센터 비용, 모델 라이선스, 연동 규모에 따른 추가 스토리지

준비해 주실 것
사용 목적과 예상 사용자 수, 다루는 데이터의 민감도와 근거 규제(있다면), 기존 인프라(자체 서버·데이터센터·클라우드 전용망) 현황, 연동할 사내 문서·DB 목록

4. 비용과 기간

구축 작업비 기준 1,000만원3,000만원, 13개월 입니다. 위 규모와 선택 항목에 따라 이 범위 안에서 정해집니다.

규모	대략	해당하는 경우
검증형	1,000~1,800만원	단일 모델과 제한된 사용자를 대상으로 추론 API와 운영 가능성을 검증
부서형	1,500~2,500만원	서비스 인증과 사용량 통제를 적용해 부서 단위로 사용
전사형	2,100~3,000만원	다중 노드와 장애 대응을 포함해 여러 부서가 사용

여기에 선택 항목이 더해집니다. 사내 문서·DB 추가 연동 +15%, 사용자 권한·SSO +12%, GPU 서버 최적화 +18%, 응답 품질 평가·모니터링 +15%.

GPU 서버·스토리지·데이터센터 비용과 모델 라이선스는 이 범위와 별도이며, 상담 후 실비로 안내해 드립니다.

오픈 후 유지보수는 월 20만원~100만원 사이에서 선택하실 수 있고, 가입하지 않으셔도 됩니다(서버·모델 상태 점검 → 검색·응답 품질 개선 → 우선 대응·지식 업데이트 순으로 범위가 커집니다).

위 금액은 구축 작업비의 범위 예시입니다. 요구사항이 확정되면 고정 견적을 드리고, 합의한 범위가 그대로라면 저희 사정으로 금액이 올라가지 않습니다.

5. 다음 단계

1. 가이드 체크 (10분): ①~④에 표시만 해두시면 됩니다
2. 협의 (1시간): 표시하신 내용과 온프레미스가 필요한 이유를 함께 봅니다
3. 제안서와 견적 (3영업일): 구성 목록, 일정, 작업비와 장비 견적을 문서로 드립니다

저희가 지키는 것

• 2주 환불 보장: 착수 후 2주 안에는 계약 조건에 따라 선금 전액 환불을 요청하실 수 있습니다
• 완전한 인수인계: 설정·구성 문서, 접근 권한을 모두 넘겨드립니다
• 묶어두지 않습니다: 다른 곳에 맡기시거나 직접 운영하셔도 그대로 동작해야 한다고 생각합니다

참고 및 문의

• 서비스와 데모: duolabs.co.kr

• 예상 범위는 홈페이지의 견적 도구에서도 바로 확인하실 수 있습니다

• 기술 구성은 "사내 LLM·AI 인프라 구축 기술 스택 안내", 실제 사례는 "온프레미스 LLM 서비스 구축 예시", 도입 검토는 "AI 자동화·사내 LLM 도입 제안서" 문서를 참고하세요

• 외부 API로 충분하시다면 "AI 챗봇·자동화 개발 범위 가이드"를 먼저 봐 주세요

• 데이터가 외부로 전송되는 방식과 원칙은 "보안 및 데이터 처리 원칙", "개인정보 포함 프로젝트 협의 안내"(클라우드·외부 API와 생성형 AI) 문서를 참고하세요