아마존(Amazon) 내부 티켓 분류 업무에서 클로드 소네트 4.6(Claude Sonnet 4.6)을 스트랜즈 디사이더(Strands Decider)로 바꾸자 티켓당 모델 비용이 약 98% 줄었다. 아마존웹서비스(AWS) 엔지니어 두 명은 기존 모델과 새 모델을 실제 티켓에 나란히 적용해 결과를 비교한 뒤 전환했다고 밝혔다. 고객 문의뿐 아니라 경보와 보안 문제까지 다루는 대규모 시스템이라 연간 절감액은 수백만 달러에 이를 것으로 예상한다. 생성형 AI가 맡은 일을 더 좁은 목적의 모델로 다시 설계하면 어디까지 비용을 줄일 수 있는지 보여주는 사례다.
핵심요약
- 아마존은 내부 티켓을 20개 범주로 분류하던 소네트 4.6을 스트랜즈 디사이더로 대체해, 같은 업무를 훨씬 낮은 비용으로 처리한다고 밝혔다.
- 새 모델은 설명문 대신 선택지별 확률과 신뢰도를 반환하므로, 정해진 범주에서 답을 고르는 작업에 맞는다.
- 두 모델을 실제 티켓에 병렬 적용하고 불일치를 검토한 뒤 전환해, 오프라인 시험만으로 판단할 때보다 운영 결과를 직접 확인했다.
- 아마존이 제시한 티켓 100만 건당 비용은 약 500달러로 소네트 대비 약 44분의 1이지만, 이 절감폭은 티켓 분류처럼 선택지가 고정된 업무에 기대고 있다.
- 같은 내용도 JSON 키 순서에 따라 출력 확률이 달라져, 모델 교체에는 비용 계산뿐 아니라 입력 형식 관리도 필요했다.
20개 범주에 맞추던 긴 답변
아마존과 AWS 팀은 내부 시스템에 쌓이는 티켓을 20개 유형 중 하나로 분류하는 데 소네트 4.6을 써 왔다. 대상은 고객 문제의 상급 부서 이관, 설비 용량 요청, 자동 경보, 보안 문제처럼 회사 곳곳에서 발생하는 작업이다. 기존 방식은 티켓마다 긴 시스템 지시문과 범주 설명을 모델에 보내고, 모델이 근거를 따져 JSON 형식의 답을 생성하게 했다. 분류라는 최종 결과는 간단하지만, 그 결과를 얻기 위해 생성형 모델의 입력과 출력 비용을 계속 지불한 셈이다.
글을 쓴 엔지니어들은 소네트가 그동안 지능과 비용의 균형을 맞추는 선택이었다고 설명한다. 다만 이 업무에서 필요한 마지막 동작은 자유로운 문장 작성이 아니라 정해진 목록에서 범주 하나를 고르는 일이다. 처리량이 큰 시스템에서는 매번 반복되는 긴 지시문과 답변 형식도 비용에 영향을 준다. 이 지점에서 아마존은 생성형 모델이 맡던 역할을 선택 전용 모델로 옮겼다.
답을 쓰는 모델에서 고르는 모델로
스트랜즈 디사이더는 결정 모델(주어진 선택지마다 가능성을 계산하는 모델)이다. 상태에 해당하는 티켓 내용과 질문, 후보 범주를 받으면 각 선택지의 확률과 신뢰도 점수를 돌려준다. 문장을 생성하지 않으므로 기존 소네트처럼 분류 결과와 설명을 담은 JSON 답변을 작성하지 않는다. 아마존 팀은 티켓을 입력 정보로, 범주 목록을 선택지로 놓으면 작업 형태가 이 모델과 맞는다고 판단했다.
처음 시험한 것은 스트랜즈 디사이더 2B였지만, 티켓 시험 집합에서는 젬마 4(Gemma 4) 기반 E4B 구성이 더 좋은 결과를 냈다. 팀은 E4B로 옮긴 뒤 어떤 신뢰도 수준에서 범주를 실제 적용할지도 조정했다. 별도의 티켓 집합에서는 이 구성이 운영 중인 소네트보다 좋은 결과를 보였다고 밝혔다. 다만 글에는 두 모델의 분류 정확도 수치가 제시되지 않아, 공개된 비교의 중심은 운영 방식과 비용이다.
티켓이 모델까지 가는 경로
새 모델은 세이지메이커(SageMaker)의 ml.g5.xlarge 인스턴스에서 실행했다. 인스턴스마다 A10G 그래픽처리장치 한 개와 24GB 메모리가 있으며, 모델은 약 19GiB를 사용했다. 인스턴스 한 대에서 요청 하나를 처리하는 데 걸린 시간은 약 640밀리초였다. 엔드포인트는 트래픽에 맞춰 규모를 늘리거나 줄이되, 모델을 실행하는 컨테이너가 외부로 접속하지 못하도록 네트워크를 분리했다.
모델 가중치는 시작 전에 S3에서 복사한다. 티켓 이벤트는 메시지 대기열인 SQS에 들어가고, 이를 계기로 실행되는 람다(Lambda)가 티켓 정보를 읽어 세이지메이커 엔드포인트를 호출한다. 앱컨피그(AppConfig)는 어느 모델을 사용할지 정하는 설정을 보관하며, 클라우드워치(CloudWatch)는 로그와 지표, 경보를 맡는다. 팀은 이 구성을 CDK(인프라 구성을 코드로 정의하는 도구)로 관리하고 베타, 감마, 프로덕션 배포 단계를 뒀다.
실전 티켓으로 두 모델 대조
전환은 기존 모델을 즉시 끄는 방식이 아니었다. 분류를 담당하는 람다는 메시지마다 앱컨피그의 세 가지 설정 중 하나를 읽는다. ‘BEDROCK’에서는 소네트만 티켓을 분류하고, ‘DECIDER’에서는 스트랜즈 디사이더만 분류한다. 가운데 단계인 ‘DUAL’은 같은 티켓에 두 모델을 병렬로 호출하는 설정이다.
DUAL 상태에서는 소네트의 결과를 실제 티켓에 적용하면서 디사이더의 답과 비교했다. 팀은 두 모델이 서로 다른 범주를 고른 사례를 살펴본 뒤 전환을 결정했다. 이 방식은 미리 모은 시험 자료만 보는 것보다 실제 운영 입력에서 어떤 차이가 생기는지 확인하게 해줬다고 엔지니어들은 설명한다. 문제가 생겼을 때는 설정을 바꿔 45초 만에 이전 방식으로 돌아갈 수 있도록 했다.
짧아진 선택지와 줄어든 실행 시간
비용 감소에는 출력 형식뿐 아니라 입력을 줄인 효과도 있다. 기존 운영 환경의 범주 설명만으로도 디사이더의 4,096토큰 입력 한도를 넘었기 때문이다. 팀은 20개 범주를 각각 한두 문장의 판단 기준으로 다시 쓰고, 어느 범주에도 맞지 않을 때 고를 ‘해당 없음’ 선택지를 더했다. 소네트가 받던 티켓 내용은 대체로 유지했지만, 긴 티켓은 한도에 맞추기 위해 오래된 댓글부터 제외했다.
즉 새 모델은 같은 티켓을 다루면서도 더 짧은 범주 설명을 읽고, 답으로 선택 결과 하나만 낸다. 아마존은 소네트 호출을 끈 날 분류 람다의 평균 실행 시간이 74% 줄었다고 밝혔다. 이는 모델 호출과 응답을 기다리는 운영 경로도 짧아졌다는 관측 결과다. 다만 오래된 댓글을 버리는 방식은 어떤 맥락까지 입력에 남길지 별도로 판단해야 함을 보여준다.
티켓 100만 건당 약 500달러
아마존이 공개한 미국 동부 리전의 온디맨드 정가를 기준으로, 디사이더 인스턴스 한 대는 최대 사용 시 시간당 약 5,600건의 티켓을 처리할 수 있다. 이때 계산상 비용은 티켓 100만 건당 약 250달러다. 실제 운영에서는 요청이 몰릴 때를 대비해 처리 여유를 남겨 두므로, 팀이 제시한 비용은 100만 건당 약 500달러다. 이는 소네트 대비 약 44배 저렴한 수준으로, 절감률로는 약 98%다.
이 계산에는 람다 비용이 들어 있지 않지만, 팀은 모델 교체 후 람다의 티켓당 실행 시간도 줄었다고 밝혔다. 연간 토큰 비용 절감액이 수백만 달러에 이를 것이라는 전망 역시 이 대규모 티켓 시스템의 운영량을 전제로 한다. 따라서 98%라는 수치를 다른 분류 업무에 그대로 대입하기보다, 처리량과 인스턴스 활용률을 함께 봐야 한다. 같은 모델이라도 인스턴스를 얼마나 바쁘게 쓰는지에 따라 티켓당 비용이 달라지기 때문이다.
키 순서가 바꾼 확률
시험 과정에서는 예상 밖의 변수도 발견됐다. JSON에 담긴 내용이 같아도 키의 순서만 바꾸면 출력 확률이 최대 0.19 달라졌다. 팀은 실행 간 결과를 비교할 수 있도록 모든 요청의 키를 정렬해 보내기로 했다. 모델을 API 뒤에 놓고 운영한다면 입력 내용뿐 아니라 입력을 배열하는 방식도 점검해야 한다는 경험이다.
엔지니어들은 이번 교체가 성공한 조건으로 고정된 범주, 많은 처리량, 기존 경로의 실행 시간을 꼽았다. 분류 결과에 설명문이 필요하거나 범주 목록이 매주 바뀌는 업무라면 결정 모델은 생성형 모델을 대신하기 어렵다고 봤다. 유용한 맥락이 수천 토큰 안에 들어가지 않는 경우도 마찬가지다. 팀이 모델 종류와 무관하게 다시 쓰겠다고 한 방법은 두 모델을 실제 트래픽에 함께 붙여 결과 차이를 확인하는 3단계 전환 설정이다.
커뮤니티 의견
한 사용자는 약 6년 전 티켓 분류·전달 시스템을 서포트 벡터 머신(SVM)으로 만들었을 때 학습에는 몇 분, 티켓 분류에는 몇 밀리초가 걸렸다고 회상했다. 범용 LLM을 거쳐 다시 빠르고 저렴한 분류 방식으로 돌아오는 흐름이 흥미롭다는 평가다. 답글에서는 전통적인 분류 모델을 만들려면 데이터 전문가와 분류된 데이터에 대한 준비가 필요하지만, LLM은 상대적으로 쉽게 시작할 수 있다는 설명도 나왔다.
또 다른 사용자는 티켓 100만 건당 약 2만1,700달러를 아낀다고 계산했다. 연간 절감액이 200만 달러라면 한 해 처리량이 최소 약 9,200만 건이어야 한다는 추정이다. 이 사용자는 처음에는 고객 지원 요청만 떠올렸지만, 자동 경보와 보안 문제, 용량 요청까지 포함한다는 설명을 보고 규모가 이해됐다고 했다.
‘에이전트’라는 표현을 문제 삼는 의견도 있었다. 한 사용자는 결과가 선택 하나인 분류 모델을 에이전트라고 부를 수 있는지 의문을 제기했다. 교체 전 방식 역시 도구를 사용해 여러 단계를 수행하기보다는 JSON을 출력하는 모델처럼 보인다는 것이다. 비용 절감 사례와 이를 소개하는 용어를 구분해 보자는 지적이다.
한 사용자는 오픈소스 모델의 마지막 층을 선택지별 확률을 내도록 바꾸고 미세조정하면 되지 않느냐고 물었다. 이는 별도 결정 모델을 채택한 이유보다 기존 분류 모델을 직접 구성하는 방법에 주목한 질문이다. 댓글에서는 그 대안의 비용이나 정확도를 비교한 결과까지 제시되지는 않았다.
확률의 신뢰성을 짚는 의견도 나왔다. 한 사용자는 소네트 같은 범용 LLM은 답을 내더라도 분류 결과의 확률을 해석하기가 까다롭다고 주장했다. 답글에서는 결정 모델의 운영 비용과 속도를 장점으로 보면서도, 실제 분류에는 전통적인 분류 모델 평가가 여전히 필요하다고 강조했다.
아마존이 애초에 티켓 분류에 LLM을 쓴 것이 의아하다는 반응도 있었다. 이에 다른 사용자는 대규모 조직이 먼저 작동하는 시스템을 만든 뒤 비용을 줄이는 순서였을 수 있다고 봤다. 또 티켓에는 자동 생성 경보와 사람이 잘못 작성한 요청이 섞여 있어, 어느 팀으로 보내야 할지 판단하는 일이 겉보기만큼 단순하지 않다는 반론도 제기됐다.
모델 이름을 둘러싼 혼란도 있었다. 한 사용자는 처음 시험한 스트랜즈 디사이더 2B 대신 젬마 기반 E4B를 썼는데도 계속 스트랜즈 디사이더라고 부르는 이유를 물었다. 답글에서는 스트랜즈 디사이더의 젬마 기반 구성으로 이해한다는 설명이 나왔다. 제품 계열의 이름과 실제 운영에 선택한 모델 구성을 구분해서 읽어야 한다는 뜻이다.
마지막으로 왜 처음부터 더 저렴한 다른 모델을 쓰지 않았느냐는 질문도 나왔다. 한 사용자는 정확도 때문에 소네트를 택했을 것이라고 추측했고, 다른 사용자는 대체 모델 시험 여부가 글에 나오지 않는다고 지적했다. 현재 공개된 내용은 디사이더로 전환한 과정에 집중돼 있어, 초기 모델 선정 과정을 재구성하기는 어렵다는 의견이다.
핵심통찰
이번 사례의 핵심은 LLM을 더 작은 모델로 단순히 바꾼 것이 아니라, 티켓 분류를 ‘글을 쓰는 일’에서 ‘정해진 답을 고르는 일’로 다시 정의했다는 데 있다. 고정된 선택지와 높은 처리량이 만나자 입력·출력 길이와 운영 비용을 함께 줄일 수 있었다. 반면 오래된 댓글을 제외하는 입력 축소와 JSON 키 순서에 따른 확률 변화는 전환 후에도 결과를 계속 살펴야 하는 이유다. 앞으로 볼 것은 절감률 자체보다, 실제 티켓에서 두 모델의 판단 차이를 검토하며 품질을 유지하는 운영 방식이다.
원본: Amazon saves millions by replacing Sonnet 4.6 with Strands Decider
토론: Hacker News