실시간 전략 게임 ‘스타크래프트: 브루드 워’에서 AI 에이전트끼리 겨루게 한 결과, 어떤 모델도 초보자 수준을 넘지 못했다. 벤 스워들로(Ben Swerdlow)가 공개한 브루드 워 벤치(Brood War Bench)에서는 코덱스 아스트라(Codex Astra)가 다른 모델들을 꾸준히 이겼지만, 승리한 모델도 병력을 모아 공격할 시점을 맞추는 기본 운영에 어려움을 겪었다. 게임이 멈추지 않는 동안 오래 생각하는 모델은 상대의 작은 교란에도 손을 놓았다. 이 실험은 AI의 전략 지식뿐 아니라 판단을 행동으로 옮기는 속도까지 드러낸다.
핵심 요약
- 코덱스 아스트라는 대결에서 뚜렷한 우위를 보였지만, 스워들로는 참가 모델 모두 초보자 수준을 넘지 못했다고 평가했다.
- 코덱스는 일꾼으로 상대를 흔드는 데 강했으나, 생산과 전투를 맡은 하위 에이전트들이 엇갈려 병력을 한 기씩 소모하기도 했다.
- 그록(Grok)은 긴 추론에 비해 명령을 거의 내리지 않아, 실시간 게임에서는 생각하는 시간 자체가 약점이 됐다.
- 페이블(Fable)은 자원 운영과 기술 개발을 시도해 승리도 거뒀지만, 복잡한 계획을 안정적으로 실행하지는 못했다.
- 이 벤치마크는 모델과 추론 설정을 서로 맞붙이고 게임 기록을 남겨, 승패뿐 아니라 행동 과정과 비용도 살펴보게 했다.
친구의 공격 명령에서 시작된 실험
스워들로의 실험은 에이전트를 통해서만 브루드 워를 플레이할 수 있도록 만든 게임에서 출발했다. 그는 스타크래프트를 몇 판 해보지 않은 친구들과 이 게임을 즐겼고, 친구들이 예상보다 잘하는 모습을 봤다. 친구들에게 비결을 묻자, 이들은 에이전트에 공격을 요청했을 뿐인데 에이전트가 작은 군대를 만들고 공격까지 수행했다고 답했다. 스워들로는 그 일을 계기로 사람이 방향을 잡아주지 않을 때 에이전트가 어디까지 할 수 있는지 시험했다.
브루드 워는 자원을 모으고 건물을 세우며 병력을 생산하는 동안 상대도 계속 움직이는 실시간 전략 게임이다. 따라서 그럴듯한 작전을 떠올리는 것과 제때 명령을 내려 실행하는 것은 별개의 능력이다. 스워들로는 구형 모델이 게임을 턴제처럼 다루다가 생각하는 사이 공격당하는 경향을 봤다. 신형 모델도 가끔 같은 함정에 빠졌지만, 대체로 생각에 시간을 쓰는 대가를 더 잘 의식했다고 그는 평가했다.
일꾼 한 기가 멈춰 세운 상대
코덱스(Codex)가 반복해서 보여준 강점은 정교한 장기 운영보다 상대를 방해하는 행동이었다. 프로토스(Protoss)로 플레이할 때는 일꾼인 프로브(Probe)를 지도 반대편으로 보내 상대 일꾼이나 건물을 공격하곤 했다. 작은 공격인데도 상대 에이전트가 프로브 한 기에 어떻게 대응할지 수십 초씩 생각하며 다른 일을 하지 않는 경우가 있었다. 공격 자체의 규모보다 상대의 판단 시간을 빼앗는 효과가 컸던 셈이다.
반면 꾸준히 병력을 키우는 운영은 약했다. 코덱스는 기술 개발을 미루거나 기본 유닛 한두 기를 방어가 갖춰진 기지로 차례차례 보내기도 했다. 마지막 저항에 일꾼을 투입하는 장면도 나왔다. 초반 교란에 성공하더라도 그 이득을 생산과 공격으로 이어가는 데에는 다른 능력이 필요하다는 점이 드러났다.
따로 움직인 경제·생산·전투
스워들로는 코덱스가 경제 운영, 병력 생산, 병력 조종을 맡을 하위 에이전트(큰 작업의 일부를 따로 맡는 에이전트)를 만드는 모습을 자주 봤다. 역할은 나뉘었지만 에이전트끼리 충분히 소통하지는 않았다. 그 결과 전투 담당은 다른 담당자들이 더 큰 병력을 준비 중이라는 사실을 모른 채 새로 나온 유닛을 곧바로 공격에 보냈다. 병력을 모아 한 번에 움직일 시점을 기다리지 못한 것이다.
스워들로는 이를 초보자가 유닛을 한 기씩 흘려보내는 실수에 비유했다. 반대로 그가 코덱스의 진행을 도왔을 때는 공격 시점을 계획하고 하위 에이전트들의 움직임을 맞추는 능력이 훨씬 나아졌다. 같은 모델이라도 목표를 어떻게 조율하느냐에 따라 플레이가 달라진 셈이다. 이 장면은 일을 여러 담당자에게 나누는 것만으로 협동이 완성되지는 않음을 보여준다.
기지를 잃고도 여섯 분 더
코덱스가 끝까지 버티는 장면도 있었다. G009 경기에서 코덱스 5.6 테라(Codex 5.6 Terra)의 중간 추론 설정은 군대와 주 기지를 잃은 뒤, 마지막 커맨드 센터(Command Center)를 들어 올려 지도 반대편 구석으로 옮겼다. 그 상태로 경기를 6분 더 이어갔다. 패색이 짙은 상황에서도 게임에 남을 방법을 찾아 행동한 사례다.
다만 오래 살아남는 것과 전세를 되돌리는 것은 다르다. 스워들로가 기록한 코덱스의 다른 경기들에서는 공격 유닛을 차례로 소모하거나 생산을 지속하지 못하는 문제가 반복됐다. G009의 기지 이동은 상황에 반응하는 끈기를 보여주지만, 그것만으로 안정적인 자원 운영이나 전투 계획을 갖췄다고 볼 수는 없다. 벤치마크가 승패뿐 아니라 경기 중 어떤 선택을 했는지도 살펴봐야 하는 이유다.
그록이 명령보다 생각을 많이 할 때
그록 4.6은 오랫동안 추론하면서 실제 게임 명령은 드물게 내리는 경우가 많았다. G043 경기의 높은 추론 설정은 43분 동안 추론 토큰(모델이 처리한 텍스트의 단위) 1만1138개를 기록했지만, 명령을 묶어 내린 횟수는 여섯 번이었다. 전투 유닛도 끝내 생산하지 못했다. 게임 안의 시간이 흐르는 동안 판단을 행동으로 바꾸지 못한 극단적인 사례다.
다른 경기에서도 흐름은 비슷했다. G003의 높은 추론 설정은 마린(Marine) 세 기를 만들었으나 적 기지에 도달하지 못했고, G002의 중간 추론 설정은 질럿(Zealot) 두 기를 만든 뒤 지도 반대편으로 넘어가지 못했다. 스워들로는 이를 단순히 전략을 잘못 고른 결과보다, 상황을 계속 확인하고 명령을 내리는 순환을 유지하지 못한 문제로 봤다. 실시간 게임에서는 좋은 판단을 기다리는 동안에도 필요한 관찰과 행동이 밀릴 수 있다.
기술을 올린 페이블의 승리와 패배
페이블은 첫 전투 유닛을 만든 뒤 멈추기보다 경제를 키우고 기술 단계를 올리려 했다. G007에서는 레어(Lair), 스파이어(Spire), 뮤탈리스크(Mutalisk)까지 확보해 승리했다. G027에서도 로보틱스 퍼실리티(Robotics Facility), 시타델 오브 아둔(Citadel of Adun), 옵저버터리(Observatory), 템플러 아카이브(Templar Archives)를 추가한 뒤 이겼다. 스워들로는 이런 경기를 보며 페이블이 다른 모델보다 게임을 제대로 플레이하려는 듯했다고 적었다.
하지만 더 높은 단계의 건물과 유닛을 목표로 한다고 해서 실행이 늘 따라온 것은 아니다. G036에서 페이블은 팩토리(Factory)와 아카데미(Academy)까지 올렸지만 오퍼스 5(Opus 5)에 밀렸다. 여러 단계를 계획하는 능력과 상대 공격을 버티며 계획을 완수하는 능력 사이에 간격이 있었다. 페이블의 경기는 기술 개발을 시도했다는 점과 그 계획이 전투 중에도 유지됐는지를 나눠 보게 한다.
아스트라가 앞섰어도 초보 수준
대결 결과에서 코덱스 아스트라는 다른 모델들을 꾸준히 이긴 선두였다. 그러나 스워들로의 평가는 승률만으로 끝나지 않는다. 그는 아스트라와 페이블조차 복잡한 군대를 만들거나 단순한 공격을 막고, 구체적인 전략을 실행하는 데 실패했다고 봤다. 초보자가 광자포 러시를 해도 이 경기들에서 모두 이길 것이라는 게 그의 판단이다.
이 평가는 모델 사이의 차이와 게임을 잘하는 데 필요한 수준을 구분한다. 아스트라가 비교 대상보다 강하다는 사실은 분명하지만, 상대 모델들 역시 운영과 방어에서 자주 무너졌다. 스워들로는 실망보다 가능성에 무게를 뒀다. 에이전트가 배울 일도, 벤치마크가 새로 요구할 일도 많이 남았다는 이유에서다.
모든 설정을 맞붙인 대전 기록
실험은 모델과 추론 강도 설정을 각각 하나의 참가 구성으로 놓고, 모든 구성을 다른 구성과 맞붙이는 방식으로 진행됐다. 하네스(대전 실행과 기록을 자동화하는 프로그램)는 프리스타일(Freestyle)의 가상머신에서 경기를 병렬로 돌리며 게임 엔진 데이터와 양쪽 에이전트의 실행 기록을 저장했다. 상대별 결과표에서는 승리, 패배, 벤치마크 제한 시간에 도달한 경기를 구분한다. 모델 이름만 비교하는 대신 어떤 설정으로 뛰었는지도 결과에 포함한 설계다.
보고서에는 시간에 따른 기술 연구·업그레이드, 살아남은 일꾼, 완성된 병력과 건물, 쓰지 않고 보유한 광물과 가스의 변화도 담겼다. 진행 중인 생산은 반영하되 유닛과 건물 수에는 완성된 것만 세며, 종료된 경기는 이후 시간대 평균에서 빠진다. 승률과 경기당 평균 비용을 함께 비교하고, 코덱스와 소넷(Sonnet)의 비용에는 토큰 사용량을 바탕으로 한 추정치를 썼다. 이런 기록은 어느 모델이 이겼는지를 넘어, 이기는 동안 무엇을 만들고 어디에 시간을 썼는지 확인하게 한다.
커뮤니티 의견
한 사용자는 2010년 무렵 UC 샌타크루즈의 브루드 워 AI 대회를 떠올렸다. 당시의 봇 제작 방식과 이번 에이전트 실험, 딥마인드(DeepMind)의 스타크래프트 2 작업을 비교하는 일이 흥미롭다고 했다. 답글에서는 유전 프로그래밍으로 생산 순서를 다듬거나, 저그 봇을 만들기 위해 별도 도구를 구축했던 경험도 나왔다.
오래된 브루드 워 방송 경기를 머신러닝으로 복원하고 싶다는 의견도 있었다. 한 사용자는 저화질 영상의 지형과 유닛 위치, 애니메이션 상태를 추출해 리마스터 화면으로 다시 만들 수 있지 않겠느냐고 제안했다. 벤치마크 자체와는 다른 이야기지만, 게임의 화면을 데이터로 다룰 수 있다는 관심에서 출발한 제안이다.
현재 대전 순위에서 사람들을 이기는 봇이 있다는 댓글도 나왔다. 다만 답글에서는 그 봇에 분당 명령 횟수 제한이 없고, 지도 정보를 부당하게 볼 가능성을 제기하는 영상 댓글도 있다며 성과를 평가할 조건을 따져야 한다고 했다. 이번 실험의 에이전트와 다른 봇을 나란히 놓을 때 입력 정보와 행동 제약을 확인해야 한다는 지적이다.
한 사용자는 스타크래프트 종족을 AI 에이전트를 쓰는 방식에 빗댔다. 프로토스는 직접 세밀하게 지휘할 강력하고 비싼 에이전트, 테란은 역할을 나눠 맡는 팀, 저그는 앱 안에서 속도와 비용에 맞춰 다듬는 다수의 전문 에이전트에 대응시켰다. 게임 플레이 평가를 넘어, 작업에 맞는 AI 도구 조합을 고르는 비유로 받아들인 것이다.
다른 사용자는 9×9 바둑에서 LLM을 평가하는 별도 벤치마크를 소개하며 전략 게임이 모델 간 능력 차이를 보기 좋다고 했다. 답글에서는 모델에 게임을 직접 두게 하면 학습 과정에서 해당 게임을 얼마나 접했는지에 따라 결과가 크게 달라질 수 있다고 반론했다. 대신 모델이 게임 엔진을 작성하게 평가하는 편이 더 일반적인 프로그래밍 능력을 볼 수 있다는 제안이었다.
경기를 에이전트가 어떤 방식으로 조작했는지 묻는 댓글도 있었다. 화면을 보고 클릭했는지, 별도 API를 통해 정보를 받고 명령했는지에 따라 과제의 성격이 달라진다는 이유다. 답글에서는 특수 API를 사용하며 일반 화면 조작으로는 어려운 유닛 선택이나 보이지 않는 유닛 정보도 API에서 다뤄진다고 설명했다.
설정 비교의 균형을 묻는 의견도 나왔다. 한 사용자는 아스트라에는 중간·높은 추론 설정이 표시되는데 페이블에는 설정 설명이 보이지 않는다며, 어떤 수준을 시험했는지 물었다. 이어 코덱스 계열만 여러 추론 설정으로 시험한 이유가 궁금하다는 답글도 달렸다.
실시간 경기가 모델 속도를 재는 시험대가 될 수 있다는 기대도 있었다. 한 사용자는 깊게 생각하는 모델과 빠르게 답하는 모델 중 무엇이 나은지 비교하려면 제미나이(Gemini)나 가속된 오픈소스 모델도 넣어보고 싶다고 했다. 속도가 중요한 게임부터 시간제한이 있는 턴제 게임까지 조건을 달리하면, 추론 시간과 성능의 관계를 더 선명하게 볼 수 있다는 제안이다.
살펴볼 점
브루드 워 벤치가 드러낸 차이는 전략을 설명할 수 있는 능력과 흐르는 게임 속에서 전략을 실행하는 능력 사이에 있다. 코덱스의 교란은 통했지만 담당 에이전트들은 엇갈렸고, 그록은 생각하는 동안 명령을 놓쳤으며, 페이블의 기술 개발도 늘 승리로 이어지지는 않았다. 앞으로 살펴볼 것은 승률의 상승만이 아니다. 같은 정보와 행동 제약 아래에서 모델이 얼마나 자주 상황을 확인하고, 병력 생산과 공격 시점을 맞추며, 그 성과를 어느 정도 비용으로 내는지가 중요하다.
원본: Brood War Bench
토론: Hacker News