구글(Google)의 제미나이 4 카본(Gemini 4 Carbon)이 아티피셜 애널리시스(Artificial Analysis)의 AI 성능 지수에서 1위에 올랐다. 복잡한 추론과 과학 과제에서 앞서고, 그동안 약점으로 꼽히던 코딩 에이전트 성능도 선두권에 들어섰다는 평가다. 다만 카본은 아직 일부 사용자에게만 제공된다. 점수뿐 아니라 실제 이용 가능 여부, 작업당 비용, 환각 빈도까지 함께 봐야 이번 순위의 무게를 가늠할 수 있다.
핵심요약
- 제미나이 4 카본은 인텔리전스 인덱스 v5에서 59점을 기록해 1위에 올랐지만, 코딩과 지식 업무의 모든 평가에서 선두인 것은 아니다.
- 코딩 에이전트 지수에서는 59점으로 클로드 오퍼스 5.5에 3점 뒤진 2위에 올라, 기존 제미나이 모델의 약점이던 영역에서 진전을 보였다.
- 표준 요금 기준 지수 평가 작업당 비용은 7.76달러로 클로드 오퍼스 5.5보다 약 23% 낮지만, 출시 할인 가격을 적용한 비교는 아니다.
- 지식 정확도는 이전 모델보다 높아졌으나 환각률도 4%에서 11%로 올라, 점수 상승과 오류 위험을 함께 살펴야 한다.
- 카본은 현재 일부 사용자에게만 배포되고 있어, 공개된 평가 결과가 일반 사용 경험으로 이어지는지가 남은 관건이다.
59점으로 오른 지수 1위
아티피셜 애널리시스가 발표한 인텔리전스 인덱스 v5에서 카본은 59점을 받았다. 평가 기관은 복잡한 추론, 지식, 과학 과제에서의 성적이 전체 점수를 이끌었다고 설명한다. 지수를 구성하는 9개 평가 가운데 HLE-다이아몬드, 터미널벤치-사이언스, AA-옴니사이언스, 오토메이션벤치-AA 등 4개에서 1위였다. 이번 1위는 한 가지 시험에서 압도적인 점수를 낸 결과라기보다 여러 과제에서 쌓은 성적의 합이다.
같은 제미나이 계열과 비교해도 카본의 상승 폭은 크다. 그러나 아티피셜 애널리시스는 코딩과 지식 업무에서도 상당히 나아졌다고 평가하면서, 그 분야 모두에서 선두에 선 것은 아니라고 구분했다. 종합 순위 1위라는 표현만으로 특정 작업에 쓸 모델을 고르면 놓치기 쉬운 대목이다. 뒤이어 공개된 세부 평가가 카본의 강점과 남은 격차를 나눠 보여준다.
코딩 에이전트는 오퍼스 바로 뒤
코딩 에이전트(도구를 써서 여러 단계의 개발 작업을 수행하는 AI) 평가에서 카본은 앤티그래비티 CLI(Antigravity CLI)를 통해 59점을 기록했다. 클로드 코드(Claude Code)에서 실행한 클로드 오퍼스 5.5(Claude Opus 5.5)는 62점으로, 격차는 3점이다. 아티피셜 애널리시스는 이 분야에서 구글 모델이 과거 상대적으로 약했다고 보고, 이번 결과를 두드러진 개선으로 평가했다. 종합 지수의 1위와 달리 코딩 에이전트 지수에서 카본의 위치는 2위다.
개별 시험에서도 비슷한 구도가 나타난다. 카본은 터미널벤치 4.0에서 64%, 프런티어코드 v1.1에서 51%를 기록해 두 평가 모두 2위에 올랐다. 프런티어코드에서 오퍼스 5.5의 점수는 56%였다. 따라서 카본의 코딩 성능 향상은 분명하지만, 공개된 수치에서 최고 성적을 낸 모델은 여전히 오퍼스 5.5다.
발표 과제에서 커진 지식 업무 점수
지식 업무 평가인 AA-브리프케이스(AA-Briefcase)에서 카본은 고강도 추론 설정으로 1609 엘로(Elo·상대적 성능을 나타내는 점수)를 받았다. 같은 설정의 제미나이 4 아르곤(Gemini 4 Argon)이 받은 1483점보다 126점 높다. 증가 폭만 보면 이전 모델에서 뚜렷하게 전진했지만, 이 평가의 최상위 점수에는 미치지 못했다. 모델 계열 안에서의 개선과 경쟁 모델을 상대로 한 순위는 별개의 이야기다.
격차가 가장 크게 벌어진 항목은 프레젠테이션이었다. 이 항목에서 카본은 아르곤보다 293점 높은 1598점을 기록했고, 분석 품질 점수도 120점 올라 1671점이 됐다. 다만 AA-브리프케이스 전체 점수에서는 그록 4.7(Grok 4.7)의 1638점, 뮤즈 원더(Muse Wonder)의 1659점, 키미 K3.1 프로(Kimi K3.1 Pro)의 1678점이 카본보다 높다. 어떤 지식 업무를 맡기느냐에 따라 종합 지수와 다른 선택이 나올 수 있는 이유다.
작업당 7.76달러의 계산법
카본의 가격 경쟁력은 토큰 단가만이 아니라 과제를 마치는 데 든 총비용에서 드러난다. 아티피셜 애널리시스의 표준 요금 기준으로 인텔리전스 인덱스 평가 작업당 카본은 7.76달러를 썼다. 오퍼스 5.5의 10.04달러보다 약 23% 낮고, GPT-6 아스트라(GPT-6 Astra)의 6.25달러보다는 약 1.2배 높다. 비슷한 종합 지능을 놓고 비교하면 오퍼스보다 저렴하지만, 비교 대상 전체에서 가장 싼 모델은 아니다.
출력량도 비용 차이를 읽는 단서다. 카본은 작업당 출력 토큰(모델이 답변으로 생성한 텍스트의 단위) 12만3000개를 사용해, 오퍼스 5.5의 17만3000개보다 29% 적었다. 아르곤과는 입력·출력 토큰 100만 개당 각각 4달러와 20달러라는 표준 요금이 같고, 작업당 비용도 아르곤의 7.68달러와 가깝다. 그럼에도 인텔리전스 인덱스 점수는 카본이 아르곤보다 9점 높다.
구글은 카본에 출시 기념 50% 할인을 제공하지만 종료일은 확정하지 않았다. 아티피셜 애널리시스의 그래프와 비용 비교에는 이 할인이 아닌 카본과 아르곤의 표준 요금이 쓰였다. 따라서 7.76달러라는 수치를 현재 할인 요금으로 계산한 실제 청구액과 혼동해서는 안 된다. 평가가 보여주는 것은 동일한 가격 기준에서 카본이 아르곤과 비슷한 비용으로 더 높은 종합 점수를 냈다는 점이다.
더 정확해졌지만 환각도 늘었다
업데이트된 AA-옴니사이언스 v1.1에서 카본은 54점을 기록했다. 오퍼스 5.5의 48점보다 6점, 아르곤의 46점보다 8점 높다. 정답률도 아르곤보다 10%포인트 오른 58%였다. 지식 평가에서 카본이 앞선다는 발표의 근거가 되는 수치다.
하지만 환각(사실과 다른 내용을 사실처럼 생성하는 현상) 비율은 아르곤의 4%에서 카본의 11%로 높아졌다. 아티피셜 애널리시스는 그래도 카본의 환각률이 아르곤 다음으로 낮으며, 오퍼스 5.5와 GPT-6 아스트라의 50%보다 낮다고 밝혔다. 즉 카본은 이전 제미나이보다 더 자주 정답을 맞히는 동시에, 잘못된 내용을 만들어내는 비율도 더 높다. 지식 업무에서는 최고 점수뿐 아니라 오류가 났을 때 이를 얼마나 쉽게 발견할 수 있는지도 중요하다.
100만 토큰 창, 아직은 제한된 배포
카본의 컨텍스트 창(한 번에 처리할 수 있는 입력 범위)은 100만 토큰이다. 텍스트·이미지·영상·음성을 입력받고 텍스트로 출력한다. 캐시 입력 토큰(저장해 둔 입력을 다시 사용하는 토큰)에는 표준 요금에서 95% 할인이 적용돼, 100만 개당 0.20달러다. 긴 자료나 반복되는 입력을 다루는 작업에서는 일반 입력 요금과 캐시 요금을 구분해 계산해야 한다.
성능표와 별개로 접근성은 아직 제한적이다. 구글은 아르곤 출시 때처럼 카본을 일부 사용자에게 순차 배포하고 있으며, 일반에 공개하지는 않았다. 이번 평가에 쓰인 인텔리전스 인덱스 v5에는 새 벤치마크 2개와 개선된 평가 3개가 반영됐고, 처음으로 지수의 과반이 비공개 데이터셋으로 구성됐다. 새 평가 방식과 제한된 모델 접근은 모두 결과를 해석할 때 살펴야 할 조건이다.
커뮤니티 의견
한 사용자는 아르곤을 개인 용도로 써 보니 구글 검색·지도 연동은 여행 계획에 편리했지만, 이용 한도가 낮고 답변에 잘못된 세부사항도 나타났다고 했다. 답글에서는 코딩에 쓸 때 아르곤이 빠르고 결과도 좋았다는 경험이 나왔다. 같은 모델이라도 사용 경로와 작업에 따라 평가가 엇갈리는 셈이다.
다른 사용자는 카본을 직접 쓸 수 없다면 높은 점수도 당장은 의미가 작다고 주장했다. 답글에서는 공개되지 않은 모델을 순위에 넣는 관행과 구글의 도구 사용 경험에 대한 불만이 이어졌다. 핵심은 발표 시점의 성능이 아니라, 사용자가 그 성능에 언제 접근할 수 있느냐는 문제다.
과학 개념 설명에서는 제미나이를 높게 평가하는 의견도 있었다. 한 사용자는 설명의 깊이와 문체가 잘 맞고 그래픽 시각화 요소도 도움이 된다고 했으며, 답글에서는 고급 수학을 이해할 때 다른 모델보다 약간 쉽다는 경험을 보탰다. 종합 순위와 무관하게 특정 학습 용도에서 뚜렷한 선호가 있다는 주장이다.
반대로 한 사용자는 제미나이가 좋은 벤치마크 성적을 발표해도 자신이 시험한 코딩·가정용 보조 작업에서는 클로드나 코덱스보다 만족스럽지 않았다고 했다. 지도 등 구글 데이터와의 연결은 장점으로 인정하면서도, 모델 자체의 품질과 비용에는 비판적이었다. 발표된 점수와 반복해서 쓰는 작업의 체감 품질 사이에 거리가 있다는 의견이다.
지수 자체를 의심하는 의견도 나왔다. 한 사용자는 비공개 평가의 비중이 커져 결과를 재현하기 어렵고, 평가 기관이 모델 개발사에 벤치마크 자문도 제공한다는 점을 문제 삼았다. 답글에서는 비공개 시험이 모델을 공개 벤치마크에만 맞춰 최적화하는 일을 막는 데 필요하다는 반론이 제기됐다.
오퍼스 5.5의 코딩 에이전트 성능을 높이 평가하는 사용자도 있었다. 다만 답글에서는 벤치마크가 모호한 지시를 받은 에이전트를 대화 없이 실행하는 경우가 많아, 사람과 상호작용하며 코딩할 때의 경험과 다를 수 있다고 지적했다. 카본과 오퍼스의 3점 차이를 실사용 차이로 곧장 읽어서는 안 된다는 관점이다.
또 다른 사용자는 발표 당일 카본에 접근할 수 없으니, 나중에 배포되는 모델이 이번 평가에 쓰인 모델과 같은지 확인하기 어렵다고 했다. 그 사용자는 벤치마크 기관이 평가 대상과 실제 출시 모델의 일치 여부를 확인해야 한다고 주장했다. 제한적 배포가 접근성뿐 아니라 결과 검증의 문제로 이어진다는 지적이다.
문서 인식 작업에 아르곤을 썼다는 사용자는 흐릿한 19세기 덴마크어 필기체를 잘 읽었지만, 2단 편집된 페이지에서는 첫 번째 단만 옮기고 작업을 끝냈다고 했다. 답글에서는 책 전체를 한꺼번에 처리하기 전 어려운 페이지로 지시문과 출력 형식을 시험해야 한다는 조언이 나왔다. 높은 인식 능력과 지시를 빠짐없이 따르는 능력은 다르다는 경험담이다.
핵심통찰
카본의 1위는 구글 모델이 추론·지식 평가에서 앞서고, 코딩 에이전트에서도 선두와의 거리를 좁혔음을 보여준다. 그러나 이 순위가 사용자의 선택을 바꾸려면 일부 사용자에게만 열린 모델이 실제로 공개돼야 한다. 그때 확인할 것은 발표된 성능이 유지되는지, 긴 작업에서 지시를 놓치지 않는지, 할인 종료 후에도 작업당 비용의 이점이 남는지다. 점수표의 승자가 일상적인 작업의 승자인지는 배포 이후에 가려진다.
원본: Gemini 4 Carbon is the new #1 on the Artificial Analysis Intelligence Index v5
토론: Hacker News