지에이아이(Z.ai)가 GLM-5.3의 가중치를 공개했다. 이 모델은 이전 버전인 GLM-5.2와 같은 기반 모델을 쓰면서도, 학습을 마친 뒤 성능을 다듬는 후학습만으로 코딩과 장기 작업 능력을 끌어올렸다는 점이 핵심이다. 지에이아이는 취약점 발견과 공격 단계에서도 예상보다 빠른 성능 향상이 나타났다고 밝혔다. 개발자에게는 직접 배포할 수 있는 코딩 모델의 선택지가 늘어난 소식이지만, 강해진 사이버 능력을 어떻게 다뤄야 하는지도 함께 묻게 한다.
핵심 요약
- GLM-5.3은 GLM-5.2와 기반 모델이 같으며, 지에이아이는 성능 향상이 모두 후학습에서 나왔다고 밝혔다.
- 지에이아이 내부 코딩 평가에서는 GLM-5.2보다 50% 향상됐고, 공개 코딩·에이전트 평가에서도 높은 성적을 냈다고 회사는 설명했다.
- 지에이아이는 취약점 발견뿐 아니라 공격 단계의 평가에서도 성능이 크게 올랐다고 밝혀, 모델의 활용도와 위험성을 함께 드러냈다.
- SGLang과 vLLM 등 여러 실행 도구를 지원하며, 추론 노력 수준을 조절하는 설정도 제공해 직접 배포할 때의 선택지를 넓혔다.
- 토론에서는 실제 코딩 능력에 대한 호평과 함께 실행 비용, 토큰 소비량, 비전 기능 부재, 데이터 처리 방식에 대한 우려가 나왔다.
같은 기반 모델, 달라진 후학습
GLM-5.3의 출발점은 새 기반 모델이 아니다. 지에이아이는 GLM-5.2와 동일한 기반 모델을 사용했으며, 이번에 얻은 모든 성능 향상은 후학습에서 나왔다고 설명한다. 후학습(기반 모델을 만든 뒤 특정 능력과 응답 방식을 다듬는 과정)의 영향이 어디까지 미치는지를 보여주려는 발표인 셈이다. 발표의 초점도 모델의 크기보다 복잡한 코딩과 오래 이어지는 작업을 얼마나 잘 처리하는지에 맞춰져 있다.
이 차이는 두 버전을 비교할 때 중요하다. 기반 모델이 같다면 GLM-5.3의 성적을 새 모델을 처음부터 학습한 결과로 읽어서는 안 된다. 지에이아이가 내세우는 변화는 이미 만들어진 모델을 코딩과 에이전트 작업에 맞게 다듬은 결과다. 다만 발표 페이지는 후학습에 어떤 데이터를 얼마나 썼는지보다 평가 결과와 재현 조건을 자세히 소개한다.
내부 코딩 평가 50% 향상
지에이아이는 GLM-5.3을 코딩에 가장 뛰어난 오픈 가중치 모델이라고 소개한다. 근거로 든 자체 평가 ‘Z.ai Code Bench’에서는 GLM-5.2보다 성능이 50% 높았다고 밝혔다. 공개 평가인 터미널 벤치 3.0(Terminal Bench 3.0)과 에이전츠 라스트 이그잼(Agents’ Last Exam)에서도 오픈 모델 가운데 최고 수준의 성적을 거뒀다는 것이 회사의 설명이다. 내부 평가와 공개 평가를 함께 제시해 개선 폭과 경쟁력을 각각 강조한 구성이다.
허깅페이스(Hugging Face) 페이지에 표시된 평가 결과에는 딥SWE(DeepSWE) 66.9, 터미널 벤치 2.1의 88.2, 터미널 벤치 3.0의 28.3이 포함된다. 도구를 쓰는 문제 해결 능력을 다루는 툴애슬론 검증판(Toolathlon Verified)에는 73이 표시돼 있다. 이 숫자들은 한 모델의 여러 작업 성적을 보여주지만, 평가마다 과제와 채점 방식이 다르다. 따라서 터미널 벤치의 두 버전에 적힌 수치도 단순히 같은 시험의 점수 변화처럼 읽기보다 각 평가 조건과 함께 살펴야 한다.
취약점 발견에서 공격 단계까지
지에이아이가 코딩 성능만큼 비중 있게 다룬 부분은 사이버 능력이다. 회사는 후학습을 확대하는 과정에서 이 능력이 예상보다 빠르게 발전했다고 밝혔다. GLM-5.3은 취약점 발견을 평가하는 사이버짐(CyberGym)에서 최고 수준의 성적을 냈다는 것이 지에이아이의 주장이다. 코드를 작성하고 수정하는 능력의 향상이 보안 관련 작업에도 이어졌다는 설명이다.
특히 회사는 취약점을 찾은 뒤 실제 공격으로 이어지는 단계에서 개선 폭이 더 컸다고 강조한다. 공격 활용 능력을 측정하는 평가에서는 GLM-5.2의 결과를 두 배 넘게 웃돌았다고 밝혔다. 여기서 사이버 능력은 방어적 점검에도 쓰일 수 있지만, 발표가 강조한 평가 범위에는 공격 수행에 가까운 작업도 들어 있다. GLM-5.3의 가중치 공개가 코딩 모델의 접근성을 넓히는 동시에 보안상의 질문을 낳는 이유다.
직접 배포할 때 고를 수 있는 실행 도구
GLM-5.3은 로컬 배포를 위해 SGLang, vLLM, 토큰스피드(TokenSpeed), 트랜스포머스(Transformers), K트랜스포머스(KTransformers), 언슬로스(Unsloth)를 지원한다. 지에이아이는 각 도구의 사용법으로 이어지는 안내도 함께 제시했다. 어센드(Ascend) NPU 환경에서는 vLLM-Ascend, xLLM, SGLang 같은 추론 도구를 사용할 수 있다고 밝혔다. 가중치를 공개하는 데서 그치지 않고, 여러 환경에서 실행할 경로를 마련한 것이다.
다만 지원 도구가 많다는 것과 개인 장비에서 부담 없이 돌릴 수 있다는 것은 다른 이야기다. 발표 페이지는 배포 가능한 소프트웨어 구성을 제시하지만, 각 장비에서의 비용이나 속도를 일괄적으로 보장하지는 않는다. 이 간극은 토론에서도 드러났다. 참가자들은 직접 실행할 수 있다는 점을 반기면서도 필요한 메모리, 장비 가격, 소음, 실행 속도를 따져 봤다.
추론 노력과 대화 설정은 별도로 조절
GLM-5.3은 reasoning_effort 매개변수로 사고에 들이는 자원을 조절한다. 설정값은 low, high, max 세 가지이며, 값을 전달하지 않거나 다른 값을 넣으면 기본적으로 max가 적용된다. 지에이아이는 성능 평가와 순위표 결과를 재현하려면 이 기본값을 유지하라고 안내한다. 반대로 실제 작업에서 낮거나 높은 수준을 선택하려면 값을 명시해야 한다.
대화 형식에는 또 다른 주의점이 있다. GLM-5.3의 채팅 템플릿에서 clear_thinking은 지정하지 않으면 false로 처리된다. 지에이아이는 채팅 용도로 쓸 때 clear_thinking=true를 명시하라고 설명한다. 공개된 평가 수치와 일상적인 대화 경험을 비교할 때, 모델 이름뿐 아니라 이런 실행 설정도 확인해야 하는 이유다.
긴 코딩 작업을 어떻게 평가했나
지에이아이는 여러 평가에서 모델이 작업할 수 있는 시간과 문맥 길이를 구체적으로 밝혔다. 터미널 벤치 3.0은 클로드 코드(Claude Code) 2.1.207 실행 환경에서 과제마다 최대 600번의 에이전트 차례와 10시간의 제한을 뒀다. 각 실행은 공식 과제 이미지로 만든 격리된 컨테이너에서 이뤄졌고, 결과물은 과제별 공식 검증 도구가 채점했다. 회사는 과제당 세 번 실행한 결과를 평균 내 보고했다.
에이전츠 라스트 이그잼의 명령줄 평가에서는 105개 과제를 각각 격리된 도커(Docker) 컨테이너에서 실행했다. 기본 제한 시간은 4시간이며, 과제에 따라 최대 8시간까지 허용됐다. 두 평가 모두 도구 검색 기능은 껐고, 최대 추론 노력 수준을 사용했다. 긴 시간 동안 도구를 쓰며 문제를 푸는 성능이 핵심인 만큼, 점수와 함께 실행 환경을 읽어야 모델이 어떤 조건에서 성과를 냈는지 알 수 있다.
다른 평가에서도 조건은 제각각이다. 도구를 쓰는 HLE 평가에는 최대 30만 토큰의 문맥과 문맥 관리 전략을 적용했고, 응답을 판단하는 모델로 GPT-5.6-루나(GPT-5.6-luna)를 사용했다. NL2Repo는 100만 토큰 문맥에서 진행하면서 허가되지 않은 패키지 설치나 외부 명령을 막기 위해 규칙과 LLM 기반 판정을 함께 사용했다. 딥SWE는 40만 토큰 문맥과 6시간 제한으로 평가했다.
사이버 평가의 통제 조건과 남은 과제
사이버짐 평가는 1,507개 과제에서 한 번 실행해 성공했는지를 보는 방식으로 진행됐다. 지에이아이는 에이전트를 과제 컨테이너 안에 두고, Git 관련 정보를 제거했으며, 기본 도구 설치에 필요한 도메인만 허용했다고 설명한다. 공격 활용 평가인 익스플로잇짐(ExploitGym)은 869개 과제를 2시간과 6시간의 두 제한 조건에서 측정했다. 이때 API 추론 시간은 모델별 초당 토큰 처리 속도에 맞춰 환산했으므로, 결과를 읽을 때는 그 시간 계산 방식도 함께 봐야 한다.
익스플로잇벤치(ExploitBench)에서는 41개 과제마다 환경과의 상호작용을 최대 300차례로 제한하고, 세 번의 실행에서 얻은 능력을 합쳐 평가했다. 지에이아이는 이 평가들에도 웹 도구 제한과 허용 도메인 목록을 적용해 과제 밖 정보에 기대는 일을 막으려 했다. 발표 페이지는 이런 평가 절차와 기술 보고서의 인용 정보를 함께 실었다. GLM-5.3의 사이버 성능 주장을 판단할 때 중요한 것은 높은 점수 자체뿐 아니라, 어떤 권한과 시간, 외부 접근 조건에서 나온 결과인지다.
커뮤니티 의견
한 사용자는 GLM-5.3을 더 가벼운 모델보다 강한 성능이 필요할 때 고를 만한 오픈 가중치 모델로 평가했다. 직접 써 본 경험을 바탕으로 코딩 작업이 만족스러웠고, 사이버 관련 질문에도 미국 모델들보다 덜 민감하게 반응한다고 말했다. 다만 키미(Kimi)보다는 능력이 조금 뒤처진다고 봤으며, 직접 실행하려면 큰 메모리와 비용을 감수해야 한다고 덧붙였다.
다른 사용자는 강한 모델의 가중치가 공개되는 지금, 과거 GPT-3 공개를 위험하게 봤던 판단을 어떻게 이해해야 하느냐고 물었다. 이에 대한 답글에서는 이미 더 새로운 공개 모델인 gpt-oss가 있는데 GPT-3을 지금 공개할 실익이 크지 않다는 반론이 나왔다. 대화의 초점은 GLM-5.3의 성능을 넘어, 모델 공개를 둘러싼 위험과 효용의 기준이 시간에 따라 달라지는지에 있었다.
로컬 모델을 비교해 온 한 사용자는 두 대의 DGX 스파크(DGX Spark)에서 써 본 DS4플래시(DS4Flash)보다 GLM-5.3 계열의 어려운 문제 해결 능력이 인상적이었다고 말했다. 답글에서는 그 경험이 전체 GLM-5.3이 아니라 GLM-5.3 플래시(Flash)에 관한 것인지 확인하는 질문이 나왔다. 이어 플래시 모델은 주어진 계획을 구현하는 데 그치지 않고 계획을 세우는 작업에도 쓸 만해, 주력 로컬 모델로 고려할 수 있다는 의견이 붙었다.
한 사용자는 정확도만큼 답을 얻기까지 쓰는 토큰 수가 중요하다고 지적했다. 자신이 다루는 복잡한 데이터 분석 작업에서는 일부 중국 모델이 오퍼스(Opus)와 GPT 계열보다 토큰을 3~4배 많이 써, 토큰당 가격이 낮아도 최종 비용은 오히려 높아질 때가 있다고 설명했다. 이 사용자는 GLM-5.3의 토큰 대비 성능이 유망해 보인다면서도, 실제 작업에서 시험해 보겠다고 했다.
GLM-5.3보다 플래시 모델에 더 관심이 간다는 의견도 있었다. 한 사용자는 전체 모델에 비전 기능이 없는 점을 선택을 가로막는 요소로 꼽았고, 보기 좋은 사용자 인터페이스를 만드는 일에서는 플래시가 더 낫게 느껴진다고 말했다. 또 다른 사용자는 코딩 성능이 이미 충분해 보여 이제 필요한 것은 더 높은 능력보다 빠른 속도라고 했다. 두 의견 모두 최고 점수보다 자신이 수행할 작업과 응답 속도를 모델 선택의 기준으로 삼았다.
모델을 어디서 제공받느냐를 묻는 사용자는 아마존웹서비스(AWS)의 베드록(Bedrock)에서도 GLM-5.3을 쓸 수 있을지 궁금해했다. 좋은 평가를 들었지만 AWS의 데이터 처리 방식을 원한다는 이유였다. 답글에서는 베드록 도입 가능성을 낮게 보는 추측과 함께, 유럽 내 호스팅과 개인정보 보호 규정 준수를 내세우는 다른 서비스가 거론됐다. 성능과 별개로 데이터를 맡길 환경이 선택을 좌우할 수 있다는 관점이다.
오픈 가중치를 전문 모델 개발의 출발점으로 볼 수 있느냐는 질문도 나왔다. 한 사용자는 GLM-5.3을 기반으로 특정 업무에 특화한 모델을 만드는 가능성을 물었다. 이에 다른 사용자는 범용 모델의 새 버전이 빠르게 나오고 성능도 강해, 전문 모델을 만드는 동안 목표가 바뀔 수 있다고 반박했다. 반면 지식 증류나 전문 지식으로 후학습을 시도하는 방법에 관심을 보이는 답글도 있었다.
핵심 통찰
GLM-5.3은 새 기반 모델 없이도 후학습으로 코딩과 장기 작업 능력을 크게 끌어올릴 수 있다는 지에이아이의 주장을 구체적인 평가 조건과 함께 보여준다. 가중치 공개와 다양한 배포 도구는 개발자가 이를 직접 시험할 길을 넓힌다. 그러나 실제 선택은 순위표만으로 끝나지 않는다. 같은 작업을 처리할 때 드는 토큰과 시간, 필요한 장비, 비전 기능과 데이터 처리 환경을 확인해야 한다. 특히 사이버 능력이 어디까지 향상됐는지는 활용 가치뿐 아니라 공개 모델을 운영할 때의 관리 기준과 함께 지켜볼 대목이다.
원본: zai-org/GLM-5.3 · Hugging Face
토론: Hacker News