라야가 던진 질문, 모든 분류에 LLM이 필요한가

콘브AI 이노베이션스(ConvAI Innovations)가 텍스트를 생성하지 않고 분류와 점수 매기기 같은 결정을 내리는 공개 모델 ‘라야(Laya)’를 내놨다. 개발자는 2025년부터 관련 연구와 모델을 공개했는데, 이후 타입세이프 AI(TypeSafe AI)가 유사한 비자기회귀(문장을 한 토큰씩 이어 쓰지 않는) 결정 모델 ‘제브(Jev)’를 혁신으로 소개했다고 주장한다. 라야가 내세우는 무기는 빠른 응답과 다국어 지원이다. 다만 실제 도입에서는 속도만큼이나 별도 학습 없이 얼마나 다양한 문제를 풀 수 있는지가 쟁점이다.

핵심 요약

  • 라야는 텍스트 대신 선택지별 확률과 점수를 반환해, 분류 업무에 생성형 LLM을 쓰는 비용과 출력 형식 문제를 줄이려는 모델이다.
  • 개발자는 단일 GPU에서 32.8밀리초 응답 속도를 제시했지만, 그 수치만으로 다른 서비스와의 실사용 성능 차이가 결정되지는 않는다.
  • 영어 모델은 일부 비라틴 문자 언어에서 높은 확신을 보이면서도 거의 맞히지 못해, 라야는 입력 언어를 먼저 판별해 모델을 고른다.
  • 공개된 평가에는 스팸·피싱 탐지 성적뿐 아니라 선택지 77개인 분류 문제에서의 낮은 정확도도 함께 담겼다.
  • Hacker News에서는 선행 연구의 인정 여부와 별개로, 추가 학습 없이 바로 쓸 수 있는 제품 경험이 제브의 강점이라는 의견이 나왔다.

영업 대화 연구에서 범용 결정 모델로

라야 개발자는 2025년 3월 영업 대화의 각 차례에서 구매 전환 가능성을 예측하는 연구를 공개했다고 밝혔다. 당시 모델은 대화의 순차적 표현에 PPO(예측 정책을 단계적으로 조정하는 강화학습 기법)를 적용해 0부터 1 사이의 확률 변화를 출력했다. 논문과 함께 모델 가중치, 공개 데이터셋, 파이썬 패키지도 배포했고, 같은 해 9월에는 정해진 출력 형식에 맞춰 결정을 내리는 틀을 다룬 두 번째 논문을 냈다.

개발자가 문제 삼는 것은 타입세이프 AI의 제브 발표 방식이다. 그의 설명에 따르면 제브는 2026년 9월 비자기회귀 결정 모델을 새로운 돌파구로 소개했지만, 기술 논문이나 공개 가중치, 공개 학습 데이터는 내놓지 않았다. 그는 자신의 앞선 연구가 인정받지 못했다고 느끼면서도, 기존 모델을 더 넓은 작업에 쓰도록 다시 설계한 결과가 라야라고 설명한다.

두 모델을 똑같은 구현으로 보기는 어렵다. 초기 연구가 영업 대화라는 특정 문제에서 전환 확률을 추적했다면, 라야는 여러 종류의 문서를 받아 서로 다른 형식의 결정을 내리도록 구성됐다. 개발자는 그 판단 능력의 중심에 단순한 임베딩 비교나 문장 생성이 아닌 강화학습이 있었다는 점을 강조한다.

긴 답변 대신 짧은 판단

라야가 겨냥하는 작업은 고객 문의를 어느 부서로 보낼지, 이메일이 피싱인지, 입력이 서비스의 안전장치를 우회하려는 시도인지 판단하는 일이다. 이런 질문에 생성형 LLM을 부르면 답변이 만들어지기를 기다린 뒤 다시 필요한 항목을 추출해야 한다. 개발자는 이 과정을 직관적으로 빠른 판단을 뜻하는 ‘시스템 1(System 1)’에 비유하며, 긴 추론이나 설명이 필요 없는 결정은 별도 모델이 맡아야 한다고 말한다.

라야는 양방향 인코더(입력의 앞뒤 맥락을 함께 읽는 모델)를 기반으로, 한 번의 순전파(입력을 모델에 통과시켜 결과를 얻는 과정)에서 여러 질문에 답하도록 설계됐다. 개발자가 제시한 단일 GPU 응답 시간은 32.8밀리초이고, 질문을 묶어 처리할 때는 질문당 7.2밀리초다. 제브의 통상 응답 시간으로 적힌 약 150밀리초와 비교하며 속도를 강점으로 내세우지만, 실제 요청 방식과 작업 구성이 다르면 단순한 배수 비교만으로 체감 성능을 판단하기는 어렵다.

출력은 문장이 아니라 숫자와 정해진 항목이다. 따라서 자유로운 문장을 JSON으로 다시 해석하거나, 정해진 키가 빠졌는지 검사하는 부담을 줄이는 것이 목표다. 다만 문장을 생성하지 않아 생기는 형식상의 이점과 결정 자체가 맞는지는 별개다. 라야 역시 잘못된 항목을 고르거나 지나치게 확신할 수 있으며, 뒤의 다국어 평가가 바로 그 위험을 보여준다.

선택·점수·참거짓, 세 가지 질문

라야는 질문을 세 가지 형식으로 받는다. ‘초이스(choice)’는 정해진 후보 중 하나를 고르고 후보별 확률 분포와 확신도를 돌려준다. ‘스코어(score)’는 긴급도처럼 순서가 있는 등급에 입력을 놓고 예상 등급과 각 등급의 확률을 반환한다. ‘누울(noul)’은 참 또는 거짓으로 답할 질문에 대해 참일 확률을 0에서 1 사이로 제시한다.

예를 들어 장애와 환불 요구가 함께 들어온 고객 문의라면, 같은 입력을 놓고 담당 부서·긴급도·이탈 위험을 동시에 물을 수 있다. 개발자가 공개한 사용 예시는 부서 선택, 3점 만점의 긴급도 점수, 고객 이탈 의도를 나타내는 확률을 한 번의 호출로 받는다. 질문마다 필요한 출력 형태를 미리 정하므로, 결과를 다음 업무 단계로 넘기는 코드를 작성하기도 수월하다.

여기서 ‘보정된 확률’은 높은 확신을 표시한 예측이 실제로도 그만큼 자주 맞는 상태를 뜻한다. 개발자는 RLCD(보정된 결정을 위한 강화학습)를 적용했다고 설명하지만, 사용 환경에서 나온 확률이 언제나 그대로 신뢰할 만하다는 뜻은 아니다. 실제로 라야의 공개 설명에는 분야별 데이터를 이용해 확률을 다시 보정해야 성적이 개선된다는 항목이 따로 들어 있다.

세 모델을 묶고 필요한 것만 내려받기

라야는 모든 언어와 작업을 한 모델에 맡기지 않고 세 가지 체크포인트(학습을 마친 모델 가중치)를 제공한다. 영어용 모델, 다국어용 모델, 특정 결정 작업용 모델을 허깅페이스(Hugging Face)의 한 저장소에 묶었다. 개발자는 전체 가중치 약 2.5GB를 받는 대신 필요한 하위 폴더만 내려받도록 SDK를 구성했다.

예시에서 영어 모델은 약 808MB, 다국어 모델은 약 647MB다. 이 구성은 저장소를 각각 찾고 관리하는 번거로움을 줄이면서도, 필요하지 않은 모델까지 내려받지 않게 한다. 가중치에는 아파치 2.0(Apache 2.0) 라이선스를 적용했으며, 개발자는 API 구독 없이 직접 실행할 수 있다는 점을 제브와의 차이로 제시한다.

직접 실행에는 운영상의 선택도 따른다. 여러 언어의 요청이 번갈아 오면 모델을 메모리에서 교체할 때 7~10초가 걸릴 수 있다고 개발자는 설명한다. 라야의 라우터에서 사전 적재 옵션을 켜면 필요한 모델을 GPU 메모리나 시스템 메모리에 유지해 이 지연을 피할 수 있지만, 그만큼 모델을 상주시킬 자원이 필요하다.

글자를 읽지 못해도 높게 나오는 확신

언어별 모델 선택이 필요한 이유는 51개 언어를 대상으로 한 매시브(MASSIVE) 평가에서 드러났다. 선택지가 20개여서 무작위 선택의 정답률이 0.05인 시험에서, 영어 모델은 크메르어 100문제를 하나도 맞히지 못했는데도 평균 확신도는 0.952였다. 아르메니아어 정답률은 0.050, 히브리어는 0.060이었지만 확신도는 각각 0.885와 0.964였다.

개발자는 영어 모델의 어휘 체계가 비라틴 문자를 충분히 다루지 못하는 점을 원인으로 짚는다. 평가한 51개 언어에서 영어 모델의 평균 확신도는 정확도가 크게 흔들려도 0.885 아래로 내려가지 않았다. 따라서 ‘모델이 자신 없어 하면 다른 모델을 부른다’는 방식으로는 입력을 읽지 못하는 상황을 걸러내기 어렵다는 판단이다.

라야의 라우터는 모델을 실행하기 전에 문자의 유니코드 종류와 라틴 문자권의 단어 분포를 살핀다. 개발자가 제시한 판별 시간은 일반 영어 0.09밀리초, 인도계 문자 0.54밀리초, 200행의 중첩 JSON 문서 0.73밀리초다. 영어 입력은 영어 모델로, 힌디어처럼 다른 문자 체계를 쓰는 입력은 100개 이상 언어를 지원하는 다국어 모델로 보내는 방식이다.

빠른 응답과 낮은 정확도가 함께 나온 평가

개발자가 공개한 업무별 평가에서 라야는 엔론(Enron) 이메일 스팸 분류 정확도 0.993, 피싱 탐지 정확도 0.980을 기록했다. ECE(예측 확신과 실제 정답률 사이의 차이를 재는 지표)는 각각 0.013과 0.012로 제시됐다. 반면 유해 대화 데이터인 톡식챗(ToxicChat)의 미사용 평가 데이터로 시험한 안전장치·탈옥 탐지 정확도는 0.755~0.762였다.

같은 안전장치 평가에서 확신이 높은 절반의 사례만 선택하면 정확도는 0.931로 올랐다. 이는 모델이 모든 입력을 직접 처리하기보다, 일부를 다른 절차로 넘기는 용도에 맞을 수 있음을 보여준다. 하지만 검색증강생성(RAG)에 쓰일 문단의 관련성 판별 정확도는 0.657, 10개 대기열 중 고객 문의의 담당 부서를 고르는 정확도는 0.522로 제시돼 작업에 따른 차이도 크다.

제브와 비교할 때도 조건을 살펴야 한다. 개발자는 라야 수치는 직접 측정했고 제브 수치는 타입세이프 AI와 제삼자가 공개한 결과를 사용했다고 밝혔다. 같은 입력·설정·운영 환경에서 양쪽을 동시에 측정한 결과와는 다르므로, 공개 수치는 어떤 업무에서 다시 검증할지 고르는 출발점으로 읽는 편이 정확하다.

20개를 넘는 선택지, 추가 학습의 벽

라야가 명시한 가장 큰 제약 중 하나는 선택지가 많아질 때의 성능 하락이다. 77개 항목을 고르는 뱅킹77(Banking77) 시험에서 라야의 정확도는 0.425로, 제브에 제시된 0.870보다 낮았다. 개발자는 선택지 설명이 192256토큰의 제한된 길이를 나눠 쓰기 때문에 후보가 77개면 후보당 약 34토큰밖에 남지 않는다고 설명한다.

이에 따라 개발자는 초이스 질문의 후보를 20개 미만으로 두거나, 먼저 큰 범주를 고른 다음 세부 항목을 고르는 2단계 방식을 권한다. 별도 학습을 하지 않은 기본 모델의 특정 결정 평가 점수도 약 0.35로 무작위 수준에 가깝다고 밝혔다. 제시된 0.766점은 해당 평가의 학습용 데이터로 파인튜닝(기존 모델을 목적에 맞게 추가 학습하는 과정)한 뒤 얻은 수치다.

확률 보정에도 손이 간다. 개발자에 따르면 질문 유형마다 실제 업무 데이터에 맞는 온도값 하나를 조정했을 때 ECE가 0.466에서 0.081로 줄었다. 라야는 설치 패키지와 자동 언어 라우팅, 공개된 모델·코드·평가 도구를 갖췄지만, 바로 가져다 쓰는 분류기라기보다는 용도에 맞춰 학습하고 점검할 수 있는 빠른 기반 모델에 가깝다.

커뮤니티 의견

한 사용자는 제브가 주목받은 이유를 모델 자체보다 설명 방식에서 찾았다. 누구나 용도를 빠르게 이해할 수 있는 제브의 소개와 달리, 개발자의 초기 공개 글은 ‘영업 대화의 전환 확률’에 초점을 맞춰 다른 분류 문제에도 쓸 수 있다는 점이 잘 드러나지 않았다는 주장이다. 연구를 먼저 했더라도 제품의 가치를 알아듣게 전하는 일까지 제품 개발에 포함된다고 봤다.

다른 사용자는 선행 연구를 냈다는 사실과 범용 제품을 만든 일은 구분해야 한다고 했다. 라야 개발자의 아쉬움은 이해하지만, 두 모델 모두 이전 학계 연구 위에 서 있으며 특정 업무용 모델을 발표한 것과 개발자가 곧바로 쓸 서비스를 내놓은 것은 다르다는 의견이다. 다만 제브 발표에서 기존 작업을 충분히 언급하지 않은 채 ‘돌파구’라는 표현을 쓴 데 불만이 있다는 반론도 이어졌다.

선행 사례로 글라이너(GLiNER)를 거론한 사용자도 있었다. 제브와 라야를 둘러싼 ‘누가 먼저인가’라는 비교에 앞서, 유사한 접근을 공개한 다른 연구와 도구를 함께 살펴야 한다는 지적이다. 이는 두 제품의 성능 평가와 별도로 연구의 계보를 따지는 논쟁이 남아 있음을 보여준다.

또 다른 사용자는 제브가 ‘시스템 1’이라는 이름과 표준적인 질문 형식을 제시해 기존 기계학습 기술을 지금의 개발 방식에 연결했다고 평가했다. 이전에도 분류 모델은 있었지만, 개발자가 이해하기 쉬운 인터페이스와 데이터 계약으로 묶은 점이 달랐다는 것이다. 기술의 등장 시점만큼 이를 어떤 문제의 해법으로 제시하느냐가 중요하다는 의견이다.

제브 출시 때 쓰인 표현이 과했다는 비판도 나왔다. 한 사용자는 ‘돌파구’나 ‘환각하지 않는다’ 같은 문구가 오래전부터 쓰이던 분류 기술과의 차이를 흐렸다고 봤다. 반대로 기존 BERT 계열 모델을 같은 용도로 쓰려면 대개 학습이나 조정이 필요했으므로, 사용 방식의 차이를 단순한 홍보로만 볼 수 없다는 답글도 달렸다.

직접 제브를 시험해 봤다는 사용자는 기존에 쓰던 제미나이(Gemini) 2.5 플래시 라이트보다 조금 빠르고 저렴했으며 결과의 일관성이 좋았다고 했다. 다만 과거 자연어처리 모델을 학습시킨 경험에 비춰 기술적 돌파구라기보다는 익숙한 분류 접근을 다시 활용한 사례로 봤다. 모든 작업에 범용 LLM을 호출하지 말자는 계기로 받아들였다는 것이다.

추가 학습이 필요 없다는 점을 제브의 핵심 가치로 꼽는 의견도 있었다. 작은 분류 문제마다 데이터셋을 만들고 모델을 조정하며 실행 환경을 관리하는 데 시간을 쓰고 싶지 않다는 주장이다. 이 관점에서는 한 번의 호출로 원하는 분류 문제를 바로 다룰 수 있는 능력이, 모델 가중치를 공개했는지 못지않게 중요하다.

라야의 범용성 주장에는 의문도 제기됐다. 한 사용자는 개발자가 내세운 초기 논문이 특정 영업 문제를 다루는 만큼 제브와 같은 범용 분류기였다고 보기는 어렵다고 했고, 다른 사용자는 두 제품의 입력 길이 차이를 비교에서 더 눈에 띄게 다뤄야 한다고 지적했다. 직접 모델을 운영하고 데이터 변화에 맞춰 다시 학습시키는 부담까지 생각하면, 개발자가 원하는 것은 공개 가중치보다 관리 부담을 덜어 주는 서비스일 수 있다는 의견도 나왔다.

핵심 통찰

라야는 ‘간단한 판단까지 생성형 LLM에 맡겨야 하는가’라는 질문에 공개 모델과 측정 수치로 답한다. 특히 높은 확신을 보이면서 입력 언어를 제대로 처리하지 못한 사례는, 빠른 모델을 쓰기 전에 언어 선택과 확률 보정을 설계해야 한다는 경고다. 제브와의 경쟁에서 지켜볼 것은 최초라는 주장이나 응답 시간 하나가 아니다. 추가 학습 없이 풀 수 있는 작업의 범위, 긴 입력과 많은 선택지에서의 정확도, 그리고 운영 부담까지 포함한 비교가 필요하다.


원본: Laya — 33ms Multilingual System 1 Decision Engine

토론: Hacker News