AI 자동화8분
[오픈소스 LLM 회사 분석 2] Google Gemma: 닫힌 노선을 연 회사의 역사
1회 Meta에 이어 두 번째는 Google입니다. 특이한 점은 본질적으로 '폐쇄' 회사였다는 것입니다. Google은 수십 년간 자체 AI 소스코드를 비공개로 유지해 왔고, 그래서 2024년 Gemma를 푼 것은 방향 전환에 가까웠습니다. 왜 마음을 바꿨는지가 이 회의 핵심입니다.
1회 Meta에 이어 두 번째는 Google입니다. 특이한 점은 본질적으로 '폐쇄' 회사였다는 것입니다. Google은 수십 년간 자체 AI 소스코드를 비공개로 유지해 왔고, 그래서 2024년 Gemma를 푼 것은 방향 전환에 가까웠습니다. 왜 마음을 바꿨는지가 이 회의 핵심입니다.
이 연재는 오픈소스 LLM을 만드는 회사들의 역사, 자본 구조, 핵심 인물, 그리고 왜 가중치를 공개했는지를 따집니다. 첫 회은 Meta입니다. Llama 한 모델이 없었다면 오늘날 로컬 LLM 생태계 자체가 성립하지 않았을 것이기 때문입니다.
로컬에서 AI 모델을 돌리다 보면 이런 상식이 생깁니다. 모델이 크면 똑똑하지만 느리다. 대체로 맞습니다.
온프레미스 추론 서버에 모델이 25개, 154GB 쌓여 있었습니다. 저는 필요할 때마다 하나씩 받았고, 어느 시점부터 무엇을 왜 갖고 있는지 설명할 수 없게 됐습니다.
사내 문서에 AI 챗봇을 붙이면 도입 첫 달이 제일 똑똑합니다. 문서 열 개짜리 인덱스에서는 뭘 물어도 정답 문서가 걸리니까요. 그런데 반년쯤 지나 문서가 수백 개로 불어나면 슬슬 이상한 답이 늘어납니다. "데이터를 더 넣었는데 왜 더 멍청해지지?"라는 질문은 RAG를 운영해 본 팀이라면 반드시 만나는 질문입니다.
지난 글(챗봇이 목록을 자꾸 틀린다면: 생성이 아니라 조회를 시키세요)에서 "재고 질문은 LLM이 아니라 DB가 답하게 하라"는 구조를 소개했습니다. 그런데 이 구조, 저희가 발명한 게 아닙니다. 부품 하나하나에 이미 정식 이름이 있고, 수십 년 된 것도 있습니다.
사내 데이터에 AI 챗봇을 붙이면 누구나 한 번쯤 이런 질문을 던지게 됩니다.
사내 문서 RAG 챗봇처럼 비용을 아껴야 하는 환경에서는 작은 모델을 쓰게 됩니다. 그런데 작은 모델은 시스템 프롬프트의 금지 규칙을 자주 어깁니다. 이때 흔히 하는 대응이 프롬프트를 더 강하게 쓰는 것입니다. "절대 하지 마세요", "반드시" 같은 말을 덧붙이고, 예시를 추가하고, 규칙 번호를 매깁니다.
사내 문서를 근거로 답하는 RAG 챗봇을 도입하면 대부분 비슷한 지점에서 막힙니다. 첫 질문에는 그럴듯하게 답하는데, 이어서 "그럼 그건 언제 바뀐 거야?" 같은 질문을 던지면 갑자기 엉뚱한 문서를 근거로 들고 옵니다. 사용자는 "AI가 헛소리를 한다"고 느끼고, 도입은 거기서 멈춥니다.
RAG(Retrieval-Augmented Generation)는 사용자의 질문과 관련된 외부 지식을 먼저 찾고, 그 근거를 언어 모델에 전달해 답변을 생성하는 방식입니다. 모델이 학습 과정에서 기억한 정보에만 의존하지 않으므로 조직의 최신 문서나 전문 자료를 답변에 반영하고 출처를 제시하기 좋습니다.
문서는 많지만 필요한 순간에 찾기 어렵고, 검색 결과를 열어 일일이 내용을 비교해야 한다면 지식은 충분히 활용되지 못합니다. 이번 글에서는 문서와 업무 데이터를 자연어로 검색하고, 근거와 함께 답을 생성하는 RAG 시스템을 작은 범위에서 시작해 운영 가능한 구조로 확장한 과정을 정리합니다.
문서 RAG를 관리자 화면 안에서만 사용하다가 공개 웹 서비스로 확장하면 가장 먼저 바뀌어야 하는 것은 UI가 아니라 신뢰 경계입니다.
RAG 시스템에는 검색 결과가 질문과 충분히 관련 있는지 판단하는 기준이 필요합니다. 기준이 너무 낮으면 무관한 문서를 근거로 답하고, 너무 높으면 답이 있는 질문도 “근거가 없다”고 처리합니다.
문서 RAG를 처음 만들 때는 “문서를 검색하고 모델에 넣으면 된다”는 설명이 충분해 보입니다. 실제 서비스에 붙이기 시작하면 질문이 달라집니다. 문서를 언제 나누고, 어떤 기준으로 다시 색인하며, 관리자 문서와 공개 문서를 어떻게 분리하고, 답변의 근거를 사용자가 어떻게 확인하게 할 것인가가 중요해집니다.
문서 검색과 질의응답을 결합한 RAG 시스템을 만들 때 가장 먼저 떠오르는 질문은 대개 비슷합니다.
사내에 AI를 도입하려는 회사가 가장 먼저 부딪히는 질문이 있습니다. "모델 하나면 되는 것 아닌가요?"
DUOLABS AI 기능 탐구 서른 번째 글은 브리프, 채널, 문체와 브랜드 용어를 기준으로 콘텐츠를 만들고 버전을 비교하는 콘텐츠 스튜디오입니다.
DUOLABS AI 기능 탐구 스물아홉 번째 글은 회의와 통화 전사록에서 참가자, 요약, 결정 사항과 담당자별 할 일을 구조화하는 회의·통화 인텔리전스입니다.
DUOLABS AI 기능 탐구 스물여덟 번째 글은 문서 유형을 분류하고 핵심 요약, 필드와 검토 위험을 구조화하는 문서 인텔리전스입니다.
DUOLABS AI 기능 탐구 스물일곱 번째 글은 CSV·TSV 데이터를 빠르게 프로파일링하고 자연어 질문에 답하는 AI 데이터 분석가입니다.