작은 AI 모델이 바꾸는 비용의 계산

작고 빠른 AI 모델이 이제 비용 때문에 미뤄 왔던 서비스와 업무를 다시 검토하게 만들 만큼 쓸 만해졌다는 주장이 나왔다. 세그먼트(Segment) 공동창업자인 글쓴이는 GPT-5.6 루나(gpt-5.6-luna)를 코드 작업과 이메일 검색에 써 보며, 복잡한 요청도 낮은 API 비용으로 처리할 수 있었다고 말한다. 특히 개인화 뉴스 서비스를 만드는 데 드는 비용이 이전 세대 모델보다 크게 줄었다는 경험을 제시한다. 해커뉴스(Hacker News) 토론에서는 이런 변화가 이미 로컬 모델과 작은 기능 단위에서도 나타나고 있다는 반응이 이어졌다.

핵심 요약

  • 글쓴이는 GPT-5.6 루나가 빠르고 저렴하면서도 충분히 유능해, 비싼 최상위 모델에 가려졌던 소형 모델의 진전을 보여 준다고 평가했다.
  • 글쓴이의 개인화 뉴스 실험에서는 이전 세대 모델로 결과를 내려면 약 1달러가 들었지만 루나의 평균 비용은 약 0.10달러여서 소비자 서비스의 비용 계산이 달라졌다.
  • 세그먼트 공동창업자 피터는 자신이 하는 일의 약 95%가 기발한 해법을 찾기보다 여러 사안을 신속하게 처리하는 일에 가깝다고 설명했다.
  • 글쓴이는 최상위 모델의 수요도 계속 커지겠지만, 기업의 일상 업무에서는 빠르고 저렴하며 충분히 좋은 모델의 수요가 커질 것으로 봤다.
  • 해커뉴스에서는 로컬 모델의 실용성을 강조하는 의견과 함께, 저렴한 모델을 쓰더라도 작업의 난도와 제품의 실제 가치를 따져야 한다는 반론이 나왔다.

비싼 코딩 모델에 가린 루나

글쓴이는 최근 몇 주간 GPT-5.6 루나를 사용하며 예상보다 뛰어난 능력과 속도를 확인했다고 썼다. 자신이 관찰한 처리 속도는 초당 약 100토큰(tps·모델이 텍스트를 처리하는 속도)이었고, 코드베이스와 이메일, 지식 자료를 오가는 작업에도 활용했다. 복잡한 조사 작업을 맡겨도 비용이 크게 늘지 않았으며, 이메일 수천 건을 검색한 뒤 청구된 API 비용도 몇십 센트 수준이었다고 한다. 그가 강조한 것은 가장 어려운 문제를 푸는 능력이 아니라, 여러 자료를 빠르게 훑는 작업을 부담 없이 반복할 수 있다는 점이다.

글쓴이는 코딩할 때 대개 가장 비싸고 성능이 높은 페이블 5(Fable 5)나 5.6 솔(5.6 Sol)을 선택한다고 밝혔다. 그런 사용 습관 때문에 작고 빠른 모델이 얼마나 나아졌는지 놓치기 쉬웠다는 것이다. 그는 GLM 5.3 역시 비용과 성능을 함께 따질 때 새 선택지가 됐다고 언급했다. 최상위 모델을 포기하자는 주장이 아니라, 늘 최상위 모델부터 고르는 방식이 비용 대비 효용을 가릴 수 있다는 문제 제기다.

소비자 앱에 붙은 요청별 비용

글쓴이가 만난 투자자 몇몇은 왜 소비자 대상 AI 기업이 더 많이 보이지 않는지 물었다고 한다. 그의 답은 토큰(모델이 글을 읽고 생성할 때 쓰는 처리 단위) 비용이다. 기존 소비자 인터넷 서비스는 비교적 저렴하게 운영할 수 있는 웹사이트를 만들고, 이용자를 모은 뒤 자금을 조달해 규모를 키우는 흐름을 따를 수 있었다. 이후 광고 시장을 구축하는 방식은 구글(Google), 페이스북(Facebook), 스냅챗(Snapchat) 같은 기업을 설명하는 데 대체로 들어맞는다고 그는 봤다.

AI 기능을 넣으면 이 계산에 요청마다 발생하는 추론 비용(모델이 입력을 처리해 답을 만드는 데 드는 비용)이 추가된다. 이용자가 늘수록 서비스가 처리해야 할 요청도 늘어나므로, 먼저 규모를 키우는 전략에 필요한 자본이 커진다는 게 글쓴이의 설명이다. 그는 기존의 큰 소비자 기업 가운데 아마존(Amazon)과 넷플릭스(Netflix)는 앞서 말한 광고 중심 공식의 예외라고 덧붙였다. 그의 관심은 AI 기능 자체의 신기함보다, 이용자가 반복해서 쓸 서비스를 감당할 수 있는 비용으로 운영할 수 있느냐에 있다.

개인화 뉴스의 1달러와 10센트

글쓴이가 비용을 가늠할 때 쓰는 예시는 자신에게 맞춘 일간 뉴스 사이트다. 인터넷에서 글쓴이의 관심사를 조사하고, 해커뉴스와 레딧(Reddit), 트위터(Twitter) 등을 찾아 그날의 주요 뉴스를 골라 작은 사이트로 만드는 요청이다. 단순히 기사를 요약하는 데서 그치지 않고, 무엇을 좋아할지 살핀 뒤 여러 곳을 검색해 결과물을 구성해야 한다. 이런 요청은 모델을 여러 단계에 걸쳐 사용하게 해, 소비자 서비스의 비용을 시험하기에 적절하다고 그는 본다.

글쓴이는 이전 세대의 소네트(Sonnet)급 모델로는 쓸 만한 결과에 도달하는 데 약 1달러가 들었다고 말했다. 그런 비용 구조로 소비자에게 월 30달러를 받는 서비스는 성립하기 어렵다는 판단이다. 월스트리트저널(WSJ)이나 이코노미스트(The Economist) 수준의 요금을 받으려면 그에 맞먹는 가치를 줘야 한다는 이유에서다. 반면 루나로 얻은 결과는 꽤 괜찮았고 평균 비용은 약 0.10달러였다고 한다. 글쓴이가 주목한 변화는 같은 구상을 훨씬 낮은 요청당 비용으로 시험할 수 있게 됐다는 점이다.

산책길에서 나눈 두 종류의 일

소비자 서비스의 비용을 살핀 뒤 글쓴이는 기업 안에서 모델이 맡을 일로 시선을 옮긴다. 그는 세그먼트 공동창업자 피터(Peter)와 산책하며 여러 스타트업에서 마주친 업무를 두 갈래로 나눠 이야기했다고 썼다. 하나는 다른 사람이 떠올리지 못한 해법으로 복잡한 기술 문제를 푸는 일이다. 다른 하나는 여러 사안에 민첩하게 답하고, 사람들에게 연락하고, 일이 멈추지 않도록 계속 밀어붙이는 일이다.

피터는 세그먼트 외에도 여러 회사를 운영하며, 참 인더스트리얼(Charm Industrial)을 위해 1억 달러 넘는 자금을 조달했고 최근 리보이(Revoy)의 시리즈 A 투자도 마무리했다고 소개된다. 글쓴이는 그가 시간을 체계적으로 쓰는 사람이라고 평가했다. 그런데도 피터는 자신이 하는 일의 약 95%가 획기적인 해법을 내놓는 쪽보다 연락하고 조율하며 진행 상황을 챙기는 쪽에 속한다고 말했다. 물론 깊은 문제를 해결하는 뛰어난 기술 인력이 없었다면 회사들이 지금처럼 움직이지 못했을 것이라는 단서도 함께 달았다.

어려운 문제와 끊임없는 응답

글쓴이는 최상위 성능 모델에 대한 수요가 계속 커질 것으로 예상한다. 특히 새로운 돌파구나 발견이 필요한 엔지니어링, 기초과학, 모델 학습 분야에서는 높은 수준의 문제 해결 능력이 중요하다고 봤다. 피터가 말한 첫 번째 종류의 일을 소형 모델이 모두 대신한다는 이야기는 아니다. 글쓴이의 주장은 그와 별개로, 빠르고 저렴하며 충분히 좋은 모델을 찾는 수요도 이제 본격적으로 커질 수 있다는 것이다.

그는 직장 동료나 거래처, 고객과 매일 주고받는 일을 떠올려 보라고 권한다. 열 번 중 아홉 번은 놀라운 통찰보다 빨리 답하고 맡은 일을 처리해 주는 상대를 원한다는 설명이다. 글쓴이는 회사에서 사람이 생산하는 많은 ‘토큰’도 이런 식으로 쓰이며, 채용 역시 신속하고 비용 효율적으로 일을 해내는 사람 쪽으로 기운다고 주장했다. 따라서 기업용 AI의 활용처를 찾을 때도 드문 난제를 단번에 해결하는 장면뿐 아니라, 수많은 작은 일을 끊김 없이 처리하는 장면을 봐야 한다는 관점이다.

업무에 넣기 전 필요한 장치

빠르고 값싼 모델이 유능하다는 것과 기업에서 곧바로 쓸 수 있다는 것은 다른 문제다. 글쓴이는 이를 위해 새로운 하네스(모델에 작업 절차와 도구를 연결하는 실행 틀)가 필요하다고 적었다. 모델에 어떤 일을 맡기고 결과를 어떻게 다음 단계로 넘길지 정해야, 빠른 응답을 실제 업무 진행으로 이어 갈 수 있다. 비용이 낮아져 시도할 기회가 많아져도, 그 과정 자체를 설계하는 일은 남는다.

글쓴이는 프롬프트 인젝션(외부 입력으로 모델의 지시를 가로채려는 공격)에 대한 안전장치와 역할·권한 설정도 과제로 꼽았다. 이메일과 지식 자료를 뒤지는 모델이라면 정보를 읽는 범위와 행동할 수 있는 범위를 구분해야 한다. 기업 업무에서는 모델이 답을 잘 만드는지만큼 누가 무엇을 허용했는지가 중요해진다는 뜻이다. 글쓴이는 이런 장치를 마련할 수 있을 것으로 낙관하며, 소형 모델을 유용하게 만드는 실험을 하는 사람들과 대화를 나누고 싶다고 글을 맺었다.

커뮤니티 의견

한 사용자는 2024년 초 7B 로컬 모델과 가이던스(Guidance)를 연결해, 모델이 먼저 테스트를 작성하고 승인을 받은 뒤 테스트가 통과할 때까지 코드를 고치게 했던 경험을 소개했다. 당시에도 모델을 적절한 절차로 이끌면 쓸모 있는 작업을 할 수 있었고, 지금은 모델 자체도 더 좋아졌다는 주장이다. 답글에서는 시간이 더 걸려도 기다릴 수 있는 작업이라면 로컬 모델이 이미 충분하다는 의견이 나왔다.

소비자 AI 기업이 적은 이유를 비용만으로 설명할 수 있느냐는 반론도 나왔다. 한 사용자는 최상위 모델 개발사들이 여러 영역으로 사업을 넓히는 상황에서, 별도 소비자 기업의 핵심은 AI 사용 여부보다 사람들이 실제로 원하는 제품을 찾는 일이라고 했다. 답글에서는 간단한 대화창 요청으로 대체할 수 있는 제품과 독립적인 서비스 사이의 경계가 얇다는 의견이 이어졌다.

다른 사용자는 피터가 나눈 두 종류의 일을 ‘만드는 사람의 일정’과 ‘관리하는 사람의 일정’에 견줬다. 관심사는 모델이 어느 일을 맡을 수 있느냐에만 있지 않았다. 모델 덕분에 사람이 자신이 선호하는 방식의 일에 더 많은 시간을 쓸 수 있는지도 살펴봐야 한다는 의견이었다.

소형 모델이 ‘충분히 좋다’는 사실은 새삼스러운 발견이 아니라는 반응도 있었다. 비싼 최상위 모델을 계속 쓸 여유가 없는 사람들은 이미 저렴하고 빠른 모델로 작업해 왔다는 주장이다. 답글에서는 소비자용 하드웨어에서 구동할 수 있는 32B 모델도 일부 작업 흐름에는 충분하다는 사례가 제시됐다.

로컬 모델을 집 안 기기에서 쓰는 미래를 기대하는 사용자도 있었다. 이 사용자는 AI 칩과 메모리가 발전하면 클라우드에 계속 의존하지 않는 가정용 AI가 가능해질 것으로 내다봤고, 상시 감시처럼 느껴질 수 있는 홈 자동화를 피할 수 있다는 점을 기대했다. 반면 답글에서는 지금의 스마트 가전이 실제 효용보다 데이터 수집을 앞세우는 경우가 있다며, 집이 더 ‘똑똑해지는’ 일이 왜 필요한지부터 물었다.

개발 조직에서 비용 때문에 솔 대신 루나를 쓰자는 이야기가 나오자 구성원들이 반발했다는 사례도 공유됐다. 답글에서는 루나가 솔과 같은 수준은 아니지만, 같은 비용으로 더 많은 토큰을 빠르게 쓸 수 있어 사용량 제한이 빡빡한 조직이라면 선택할 만하다는 의견이 나왔다. 이 논쟁은 모델의 최고 성능뿐 아니라 구성원이 실제로 사용할 수 있는 양도 선택 기준임을 보여 준다.

작은 AI 기능의 효용이 과소평가된다는 의견도 있었다. 한 사용자는 시험 중인 비교적 단순한 API 기반 애플리케이션에서 몇 달 동안 적은 비용만 썼고, 사용자가 입력한 이름의 뜻을 반영해 색 조합을 제안하는 기능처럼 짧은 요청도 시간을 아껴 준다고 설명했다. 다만 직접 로컬 모델을 운영하는 편이 언제나 싼 것은 아니며, 사용량이 많거나 데이터 보안상 이유가 있을 때 운영 부담을 감수할 만하다고 봤다.

루나의 가치를 비교하려면 초당 토큰 수만 볼 것이 아니라 실제 응답까지 걸리는 시간, 비용, 성능을 함께 봐야 한다는 요구도 나왔다. 한 사용자는 루나 사용 결과가 좋았다면서도 설정이 다른 모델들을 같은 기준에서 비교하고 싶다고 했다. 저렴하다는 인상보다 작업별 대기 시간과 결과를 함께 확인해야 한다는 지적이다.

핵심 통찰

소형 모델의 진전은 ‘가장 똑똑한 모델 하나를 고르는 문제’를 ‘어떤 일에 어느 정도의 성능과 비용이 필요한가’라는 설계 문제로 바꾼다. 개인화 뉴스처럼 요청을 여러 번 이어 가는 서비스나 기업의 반복적인 연락·조율 업무에서는 작은 비용 차이가 제품의 형태를 바꿀 수 있다. 다만 토론이 짚었듯 싼 추론만으로 사람들이 원하는 제품이 생기지는 않는다. 앞으로는 실제 응답 시간과 작업 성공률을 비교하는 동시에, 모델에 맡길 역할과 정보 접근 권한을 얼마나 분명히 통제하는지가 관건이다.


원본: Small Models Have Arrived

토론: Hacker News