AI 자동화7분
[오픈소스 LLM 회사 분석 6] Microsoft Phi: 작은 것이 아름답다는 증명
5회 DeepSeek에 이어 여섯 번째는 Microsoft입니다. 지금까지의 회사들이 '누가 가장 크게 만드느냐'로 경쟁했다면, Microsoft는 반대 방향에서 '얼마나 작게 만들 수 있느냐'를 물었습니다. 그리고 그 작은 모델이 GPT-3.5급 품질에 도달한다는 것을 증명해, 업계 전체의 스케일링 신앙에 금을 냈습니…
DUOLABS BLOG
전체 글537
- AI 자동화8분
[오픈소스 LLM 회사 분석 5] DeepSeek: 헤지펀드가 만든 스푸트니크 충격
4회 Alibaba Qwen에 이어 다섯 번째는 DeepSeek입니다. 지금까지의 회사들과 결이 다릅니다. 출신이 빅테크도 연구소도 아닌, 양적 헤지펀드이기 때문입니다. 그래서 이 회사의 이야기는 '어떻게 만들었느냐'보다 '어떻게 세계를 흔들었느냐'로 읽힙니다.
- AI 자동화8분
[오픈소스 LLM 회사 분석 4] Alibaba Qwen: Llama 위에 세운 거대 공룡
3회 Mistral에 이어 네 번째는 Alibaba의 Qwen입니다. 이 회사는 특이한 출발점을 가졌습니다. 첫 모델의 아키텍처가 Meta의 Llama를 기반으로 했다는 점입니다. 1회에서 Meta가 Llama를 풀어 생태계 표준을 잡겠다고 했었는데, 그 전략이 가장 큰 경쟁자인 중국을 키운 꼴이 되었습니다.
- AI 자동화9분
[오픈소스 LLM 회사 분석 3] Mistral AI: 토렌트로 시작한 유럽의 도전자
1회 Meta, 2회 Google에 이어 세 번째는 프랑스의 Mistral AI입니다. 이 회사는 두 가지 점에서 앞 두 회사와 다릅니다. 창업 4주 만에 1억 유로를 모금했고, 모델을 처음엔 블로그가 아니라 토렌트로 풀었습니다. 오픈소스 LLM의 문법을 사실상 다시 쓴 회사입니다.
- AI 자동화8분
[오픈소스 LLM 회사 분석 2] Google Gemma: 닫힌 노선을 연 회사의 역사
1회 Meta에 이어 두 번째는 Google입니다. 특이한 점은 본질적으로 '폐쇄' 회사였다는 것입니다. Google은 수십 년간 자체 AI 소스코드를 비공개로 유지해 왔고, 그래서 2024년 Gemma를 푼 것은 방향 전환에 가까웠습니다. 왜 마음을 바꿨는지가 이 회의 핵심입니다.
- AI 자동화8분
[오픈소스 LLM 회사 분석 1] Meta Llama: 가중치를 공개한 회사의 역사와 구조
이 연재는 오픈소스 LLM을 만드는 회사들의 역사, 자본 구조, 핵심 인물, 그리고 왜 가중치를 공개했는지를 따집니다. 첫 회은 Meta입니다. Llama 한 모델이 없었다면 오늘날 로컬 LLM 생태계 자체가 성립하지 않았을 것이기 때문입니다.
- AI 자동화7분
MoE 입문: 36B 모델이 27B보다 6배 빨랐던 이유
로컬에서 AI 모델을 돌리다 보면 이런 상식이 생깁니다. 모델이 크면 똑똑하지만 느리다. 대체로 맞습니다.
- AI 자동화9분
로컬 LLM 모델 고르기: 파라미터, 양자화, MoE를 실측으로 비교
온프레미스 추론 서버에 모델이 25개, 154GB 쌓여 있었습니다. 저는 필요할 때마다 하나씩 받았고, 어느 시점부터 무엇을 왜 갖고 있는지 설명할 수 없게 됐습니다.
- 웹 인프라9분
캐시 퍼지 순서: 오리진을 먼저 비워야 하는 이유
엣지 캐시를 켜고 나니 대가가 하나 생겼습니다. 글을 고쳐 발행해도 최대 5분 동안 옛 내용이 나갔습니다. 캐시가 없던 때는 즉시 반영되던 일이라 후퇴처럼 느껴졌습니다.
- 웹 인프라11분
Cloudflare가 캐시하지 않는 3가지 이유: Vary, RSC, 언어 감지
사이트를 Cloudflare 뒤에 두고 캐시 헤더를 제대로 붙였는데도 CF-Cache-Status가 계속 DYNAMIC으로 나오는 일을 겪었습니다. 한 번이 아니라 세 번이었고, 매번 다른 문제처럼 보였습니다.