사내 AI 구축

어느 방식을 고르느냐에 달렸습니다. 외부 모델을 쓰면 질문과 관련 문서 일부가 그 서비스로 전송됩니다. 온프레미스 LLM은 모델을 회사 서버에 두므로 문서가 밖으로 나가지 않고, 쓸수록 호출 비용이 붙지도 않습니다. 대신 초기 비용과 장비가 필요합니다. 문서의 민감도와 사용량을 보고 어느 쪽이 맞는지 함께 정합니다.

틀릴 수 있다는 것을 전제로 만듭니다. 답만 내놓지 않고 어느 문서의 어느 대목을 근거로 삼았는지 함께 보여 줍니다. 사람이 그 자리에서 확인할 수 있어야 실제 업무에 쓸 수 있습니다. 근거를 못 찾으면 지어내지 말고 모른다고 답하도록 맞춥니다. 이게 도입 여부를 가르는 지점이라 처음부터 이 방식으로 설계합니다.

시작할 수 있습니다. 다만 전부 넣지 않습니다. 자주 묻는 질문 열 개쯤을 먼저 고르고, 그 답이 실제로 들어 있는 문서만 넣어 봅니다. 그러면 어떤 문서가 쓸모 있고 어떤 문서가 낡았는지 드러납니다. 대개 이 과정에서 정리가 함께 됩니다. 다 정리한 뒤에 시작하려고 하면 시작하지 못하는 경우가 많습니다.

문서를 밖에 보내도 되는지가 첫 갈림길입니다. 보내도 된다면 챗봇 쪽이 빠르고 저렴하게 시작됩니다. 안 된다면 온프레미스입니다. 두 번째는 사용량입니다. 외부 모델은 쓸수록 호출 비용이 붙어서, 매일 많이 쓰면 어느 시점부터 온프레미스가 싸집니다. 상담에서 문서 성격과 예상 사용량을 보고 그 분기점을 짚어 드립니다.