[오픈소스 LLM 회사 분석 1] Meta Llama: 가중치를 공개한 회사의 역사와 구조

이 연재는 오픈소스 LLM을 만드는 회사들의 역사, 자본 구조, 핵심 인물, 그리고 왜 가중치를 공개했는지를 따집니다. 첫 회은 Meta입니다. Llama 한 모델이 없었다면 오늘날 로컬 LLM 생태계 자체가 성립하지 않았을 것이기 때문입니다.

역사: 연구소에서 나온 비밀 무기

Meta의 AI 연구소 FAIR(Facebook AI Research)은 2013년 말 출범했습니다. 튜링상 수상자 얀 르쿤(Yann LeCun)이 2013년 12월 9일 초대 소장으로 자리를 잡았고, 뉴욕을 거점으로 삼았습니다. 처음 목적은 페이스북의 추천·광고 품질을 높이는 것이었지만, 르쿤은 소장을 맡는 조건으로 '공개 연구(open science)' 노선을 내걸었습니다. 이 결정이 뒤에 PyTorch, fastText, 그리고 Llama로 이어집니다.

2022년 말 ChatGPT가 시장을 뒤흔들자, Meta는 AI 경쟁에서 뒤처졌다는 평가를 받았습니다. 르쿤은 공개석상에서 LLM의 근본적 한계를 지적하면서도, 2023년 2월 24일 Llama 1을 발표합니다. 13B 모델이 GPT-3(175B)를 웃도는 성적으로, '작게 키운 모델'이 대형 모델을 이길 수 있다는 것을 처음 보여줬습니다.

다만 가중치는 '사안별 심사를 거친 연구자'에게만 비상업 라이선스로 배포됐습니다. 발표 일주일 뒤인 2023년 3월 3일, 가중치가 4chan에 토렌트로 유출됩니다. 3월 4일에는 HuggingFace 저장소까지 생겼고, 3월 6일 Meta가 삭제를 요청했으며, 3월 20일에는 GitHub에 DMCA까지 날렸습니다. 하지만 이미 늦었습니다. 3월 10일에는 개발자 게오르기 게르가노프가 llama.cpp를 공개하면서 가중치는 사실상 통제 불능 상태가 됐습니다. 이 유출이 오늘날 로컬 LLM 생태계의 출발점입니다.

구조: 외부 자본 없이 한 회사가 전액 부담

항목	내용
모회사	Meta Platforms, Inc.(나스닥 상장)
자본 조달	외부 펀딩 없음. Meta의 영업이익으로 전액 충당
2024년 AI 인프라 Capex	약 390억 달러 규모
연구 조직	원래 FAIR 주도, 이후 GenAI 조직이 Llama/Meta AI 제품 담당(르쿤 본인이 SNS로 정정한 바 있음)
핵심 인물	얀 르쿤(Chief AI Scientist), 휴고 투브롱 등

한 가지 주의할 점이 있습니다. Llama는 'FAIR의 산물'로 알려져 있지만, 실제로는 FAIR이 첫 버전을 만들었고 이후 Meta 내 'GenAI' 제품 조직이 라인을 이어받았습니다. 르쿤이 오픈소스 전략의 상징이기는 하지만, Llama 2 이후의 상업화 결정은 제품 조직 몫이 큽니다.

의미 있는 인재 유출도 있었습니다. FAIR 소속이었던 기욤 랑플(Guillaume Lample)과 티모테 라크루아(Timothée Lacroix)가 Meta를 떠나 2023년 유럽의 경쟁사 Mistral AI를 공동 창업합니다. 이들은 Llama의 기술을 그대로 유럽으로 가져갔고, 이 이야기는 3회에서 다시 다룹니다.

전략: 왜 수조 원짜리 모델을 무료로 풀었나

Llama 3.1 405B의 학습 비용은 약 440,000 petaFLOPS-day로 추정됩니다. Llama 2 70B(21,000)와 비교해도 20배 넘는 규모입니다. 이 돈을 쓰고도 가중치를 공개하는 전략적 이유는 몇 가지로 읽힙니다.

첫째, 생태계 표준을 선점하려는 계산입니다. Llama가 기본 모델이 되면, 그 위에 올라가는 도구·파인튜닝·인프라가 모두 Meta 궤도 안으로 들어옵니다. 실제로 2024년 로이터 보도에 따르면 중국의 다수 파운데이션 모델이 Llama를 기반으로 학습됐습니다.

둘째, 연구 인력을 끌어당기는 효과입니다. 최고급 연구자는 '공개 환경'을 선호하고, 오픈 가중치는 곧 채용 마케팅입니다.

셋째, 경쟁사를 자신이 정한 규칙 안으로 끌어들이는 수단입니다. OpenAI와 Google이 폐쇄 노선을 고수할수록, '공개 = 민주적'이라는 프레임에서 Meta가 도덕적 우위를 점할 수 있습니다.

마지막으로 Zuckerberg의 발언이 있습니다. 2024년 드와케시 파텔과의 인터뷰에서 그는 "8B 크기의 Llama 3가 가장 큰 Llama 2와 거의 맞먹는다"고 말하며, 스케일링이 여전히 유효함을 강조했습니다. 오픈 모델이 폐쇄 최상위 모델과 동급에 도달할 수 있다는 것을, 405B로 직접 보여주려는 의도였습니다.

한계와 쟁점: '오픈소스'가 아닌 'source-available'

Llama는 '오픈소스'로 불리지만, 정확히는 'source-available'에 가깝습니다. Open Source Initiative(OSI)는 Llama 2부터 "이것은 오픈소스가 아니다"라고 공식 비판했습니다. 이유는 라이선스가 사용처를 제한하기 때문입니다.

대표적인 제약은 이렇습니다. 월간 7억 명 이상의 활성 사용자를 가진 서비스는 별도 협의가 필요합니다. 군사 목적, 통제물질, 핵심 인프라 사용이 금지됩니다. 특정 버전부터는 EU 사용자가 제외됐고, Llama 출력으로 다른 LLM을 학습하는 것도 막혀 있습니다. 2025년 1월에는 자유소프트웨어재단(FSF)이 Llama 3.1을 'nonfree'로 분류했고, 네이처지도 'openwashing'이라는 단어로 비판했습니다.

지정학적 비대칭도 쟁점입니다. 2024년 중국 인민해방군 산하 기관이 Llama를 군사 도구에 쓴 사실이 보도됐고, Meta는 '미승인'이라고 선을 그었습니다. 그런데 같은 해 11월에는 미국 정부와 군 하청업체에 한해 사용을 허용했습니다. 같은 '군사 사용'인데 국적에 따라 태도가 다르다는 비판이 따랐습니다.

가장 최근의 논란은 Llama 4입니다. 2025년 4월 5일 공개된 Llama 4는 MoE(전문가 혼합) 구조로 전환했고, Scout·Maverick·발표만 된 Behemoth 세 라인업을 내놓았습니다. Meta는 "GPT-4o를 LMArena에서 이겼다"고 홍보했는데, 알고 보면 '대화에 최적화된 실험 버전'으로 점수를 냈고 공개본과는 달랐습니다. LMArena는 정책을 바꾸겠다고 발표했고, 테스트셋 학습 의혹까지 제기됐습니다(Meta는 부인). 로이터는 "추론·수학 벤치마크에서 기대에 미치지 못했다"고 보도했습니다.

버전 역사: 2년 반 만에 65B에서 2T로

버전	출시일	파라미터	핵심 변화
Llama 1	2023.2.24	6.7 / 13 / 32.5 / 65.2B	연구자 한정, 비상업, 2K 컨텍스트
(유출)	2023.3.3	위와 동일	4chan 토렌트, 사실상 공개
Llama 2	2023.7.18	7 / 13 / 70B	Microsoft와 협업, 상업 허용(AUP), 4K
Code Llama	2023.8.24	7 / 13 / 34B(70B는 2024.1.29)	코드 특화 파인튜닝
Llama 3	2024.4.18	8 / 70B	15T 토큰 학습, 8K 컨텍스트
Llama 3.1	2024.7.23	8 / 70 / 405B	128K 컨텍스트, 최초 405B 공개 모델
Llama 3.2	2024.9.25	1 / 3 / 11 / 90B	비전(11B·90B) 추가, 에지용 소형
Llama 3.3	2024.12.7	70B	405B급 품질을 70B로 압축
Llama 4	2025.4.5	Scout 109B / Maverick 400B / Behemoth 2T(미출시)	MoE 전환, 멀티모달, 최대 10M 컨텍스트

2년 반 만에 가장 큰 모델이 65B에서 2T로 30배 넘게 커졌고, 아키텍처는 dense에서 MoE로 바뀌었습니다. 동시에 가장 작은 모델은 1B까지 내려갔습니다. 한 라인업 안에서 최상단과 최하단이 동시에 확장되는 양상입니다.

다음 회

2회에서는 Meta의 그늘에 있던 거대 경쟁사, Google DeepMind를 다룹니다. Gemini는 닫아두고 Gemma만 여는 이중 전략의 배경이 무엇인지 살펴봅니다.