AI 자동화9분
[오픈소스 LLM 회사 분석 3] Mistral AI: 토렌트로 시작한 유럽의 도전자
1회 Meta, 2회 Google에 이어 세 번째는 프랑스의 Mistral AI입니다. 이 회사는 두 가지 점에서 앞 두 회사와 다릅니다. 창업 4주 만에 1억 유로를 모금했고, 모델을 처음엔 블로그가 아니라 토렌트로 풀었습니다. 오픈소스 LLM의 문법을 사실상 다시 쓴 회사입니다.
DUOLABS BLOG
전체 글354
- AI 자동화8분
[오픈소스 LLM 회사 분석 2] Google Gemma: 닫힌 노선을 연 회사의 역사
1회 Meta에 이어 두 번째는 Google입니다. 특이한 점은 본질적으로 '폐쇄' 회사였다는 것입니다. Google은 수십 년간 자체 AI 소스코드를 비공개로 유지해 왔고, 그래서 2024년 Gemma를 푼 것은 방향 전환에 가까웠습니다. 왜 마음을 바꿨는지가 이 회의 핵심입니다.
- AI 자동화8분
[오픈소스 LLM 회사 분석 1] Meta Llama: 가중치를 공개한 회사의 역사와 구조
이 연재는 오픈소스 LLM을 만드는 회사들의 역사, 자본 구조, 핵심 인물, 그리고 왜 가중치를 공개했는지를 따집니다. 첫 회은 Meta입니다. Llama 한 모델이 없었다면 오늘날 로컬 LLM 생태계 자체가 성립하지 않았을 것이기 때문입니다.
- AI 자동화7분
MoE 입문: 36B 모델이 27B보다 6배 빨랐던 이유
로컬에서 AI 모델을 돌리다 보면 이런 상식이 생깁니다. 모델이 크면 똑똑하지만 느리다. 대체로 맞습니다.
- AI 자동화9분
로컬 LLM 모델 고르기: 파라미터, 양자화, MoE를 실측으로 비교
온프레미스 추론 서버에 모델이 25개, 154GB 쌓여 있었습니다. 저는 필요할 때마다 하나씩 받았고, 어느 시점부터 무엇을 왜 갖고 있는지 설명할 수 없게 됐습니다.
- 웹 인프라9분
캐시 퍼지 순서: 오리진을 먼저 비워야 하는 이유
엣지 캐시를 켜고 나니 대가가 하나 생겼습니다. 글을 고쳐 발행해도 최대 5분 동안 옛 내용이 나갔습니다. 캐시가 없던 때는 즉시 반영되던 일이라 후퇴처럼 느껴졌습니다.
- 웹 인프라11분
Cloudflare가 캐시하지 않는 3가지 이유: Vary, RSC, 언어 감지
사이트를 Cloudflare 뒤에 두고 캐시 헤더를 제대로 붙였는데도 CF-Cache-Status가 계속 DYNAMIC으로 나오는 일을 겪었습니다. 한 번이 아니라 세 번이었고, 매번 다른 문제처럼 보였습니다.
- 웹 인프라7분
태그 485개를 전부 색인시키고 있었습니다: 블로그 SEO를 다시 손본 기록
블로그에는 이미 canonical, sitemap, robots.txt, 글별 Open Graph 이미지, 구조화 데이터가 들어가 있었습니다. RSS와 Atom, JSON Feed도 있었고 관련 글 링크도 붙어 있었습니다. 그래서 처음에는 큰 구멍보다는 메타 설명을 조금 다듬는 정도를 예상했습니다.
- 웹 인프라11분
한국에서 Cloudflare 엣지가 서울이 아닐 때: 무료 플랜의 POP 배정
이미지 엣지 캐시를 손보고 나서 얼마나 빨라졌는지 재고 있었습니다. 캐시에서 나오면 156ms, 오리진까지 가면 622ms. 4배 차이니까 좋아하고 있었는데, 156ms라는 숫자가 자꾸 걸렸습니다.
- 웹 인프라10분
엣지 캐시를 켜기 전 확인할 것: 비공개 응답의 Cache-Control
전에 CDN의 파일 경로에 확장자가 없어서 Cloudflare가 캐시하지 않던 문제를 고쳤습니다. 헤더를 아무리 강하게 줘도 CF-Cache-Status가 DYNAMIC으로 나오던 그 이야기입니다.