1990년대 펜티엄에 현대 체스 엔진을 올렸더니

니컬러스 칼리니(Nicholas Carlini)는 1990년대의 펜티엄 프로(Pentium Pro) 컴퓨터에서도 현대 체스 엔진을 돌리면 당시 세계 챔피언 게리 카스파로프(Garry Kasparov)를 이겼을 가능성이 매우 높다고 주장했다. 그는 실제 200MHz 컴퓨터에 체스 엔진을 이식하고 대국 성적을 측정했다. 수백만 달러를 들인 전용 기계가 필요해 보였던 승부를 평범한 당시 하드웨어와 오늘날의 소프트웨어로 다시 시험했다는 점이 흥미롭다. 동시에 이 실험은 AI의 발전을 설명할 때 더 강한 칩뿐 아니라 더 나은 알고리즘을 얼마나 중요하게 봐야 하는지도 묻는다.

핵심요약

  • 칼리니는 200MHz 펜티엄 프로와 64MB 메모리에서 현대 체스 엔진을 실행해, 1990년대 하드웨어에서도 인간 최정상급을 넘는 실력을 낼 수 있다고 주장했다.
  • 1996년판 크래프티(Crafty)를 현대 컴퓨터에서 돌린 경우보다 개량한 현대 엔진을 펜티엄 프로에서 돌린 경우가 맞대결 100판에서 78승을 거둬, 속도만으로 성능 차이를 설명하기 어렵다는 결과를 얻었다.
  • 같은 옛 컴퓨터에서 크래프티에 현대적인 탐색·평가 기법을 더하자 기력 추정치가 크게 올라, 알고리즘 개선의 효과를 따로 확인할 수 있었다.
  • 카스파로프를 이길 것이라는 판단은 인간과 엔진의 직접 대국이 아니라 엔진 간 평점과 짧은 제한시간의 결과를 바탕으로 해석해야 한다.
  • 칼리니는 이 실험을 오늘날 언어모델의 소프트웨어 개선 가능성에 비춰 보지만, 체스의 결과가 곧 언어모델의 미래를 예측하지는 않는다고 본다.

딥블루가 열었던 질문

1996년 2월 10일, IBM의 딥블루(Deep Blue)는 당시 체스 세계 챔피언 카스파로프를 한 대국에서 이겼다. 딥블루는 그해 전체 승부에서는 패했지만, 이듬해 재대결에서는 3.5 대 2.5로 승리했다. IBM은 이를 위해 수백만 달러를 들여 체스 전용 컴퓨터를 개발했다. 승리한 버전에는 약 120MHz로 작동하는 프로세서 30개와 수 생성·국면 평가 같은 작업을 맡는 전용 보조 프로세서 480개가 들어갔다.

딥블루는 초당 2억 개가 넘는 체스 국면을 분석할 수 있었고, 제작 당시 세계에서 259번째로 강력한 슈퍼컴퓨터였다. 칼리니가 다시 꺼낸 질문은 그만한 연산 장비가 승리의 필수 조건이었느냐는 것이다. 그는 딥블루와 같은 장비를 재현하는 대신, 1995년 출시된 200MHz 인텔(Intel) 펜티엄 프로와 64MB 메모리를 갖춘 컴퓨터를 준비했다. 여기에 훗날 개발된 체스 엔진의 방법을 가져와, 하드웨어와 소프트웨어가 각각 얼마나 기여했는지 살폈다.

더 많이 읽는 대신 더 잘 고르기

체스 엔진이 강해지는 길은 더 많은 수를 분석하거나, 중요한 수를 더 잘 골라내거나, 도달한 국면을 더 정확하게 평가하는 것이다. 칼리니는 현대 엔진의 발전을 연산량 증가만으로 설명하기 어렵다고 본다. 탐색 과정에서 가치가 낮은 갈래를 효율적으로 줄이고, 남은 국면을 더 잘 판단하는 방법도 함께 발전했기 때문이다. 그의 계산에서는 비교 대상의 전체 기력 상승분 1335 엘로 가운데 720 엘로가 하드웨어가 아닌 프로그래밍 개선에서 나왔다.

엘로(Elo)는 대국 결과를 바탕으로 실력 차이를 나타내는 평점이다. 칼리니는 1996년의 일반 컴퓨터에서 돌릴 수 있던 상위 체스 엔진을 약 2300, 딥블루를 약 2700, 현대 스톡피시(Stockfish)를 약 3700 엘로로 제시한다. 다만 이 숫자는 같은 조건의 선수들이 얼마나 잘하는지를 비교할 때 의미가 크다. 체스 엔진끼리 매긴 평점과 인간 선수의 평점을 나란히 놓는 문제는 실험 끝부분에서 다시 짚는다.

크래프티를 30년 뒤의 설계로 고치다

첫 실험의 출발점은 1996년판 체스 엔진 크래프티 11.13이었다. 펜티엄 프로에서 수당 1초를 주면 추정 기력이 1999±90 엘로, 수당 10초를 주면 2383±77 엘로였다. 같은 옛 프로그램을 현대의 라이젠 7(Ryzen 7) 컴퓨터에서 수당 1초씩 돌리자 2614±97 엘로로 올랐다. 소프트웨어를 그대로 두어도 빠른 하드웨어가 큰 차이를 만든다는 결과다.

이번에는 컴퓨터를 그대로 두고 프로그램을 바꿨다. 칼리니는 탐색 과정과 국면 평가 방식을 고치고, NNUE(신경망을 이용한 체스 국면 평가 방식)를 더했다. 개량한 크래프티는 펜티엄 프로에서 수당 1초 기준 2718±34 엘로, 10초 기준 2974±74 엘로에 도달했다. 현대 컴퓨터에서 옛 크래프티를 빠르게 돌리는 것과, 옛 컴퓨터에서 크래프티 자체를 더 똑똑하게 만드는 것을 나란히 비교한 셈이다.

스톡피시를 펜티엄 프로에 맞추다

두 번째 실험에서는 접근법을 뒤집었다. 옛 엔진을 고치는 대신 현대 엔진인 스톡피시 17을 펜티엄 프로로 가져왔다. 32비트 컴퓨터에서 돌아가도록 연산 방식을 고치고, 메모리 사용량도 64MB 이내로 제한해야 했다. 이렇게 이식한 초기 버전은 수당 1초에 2496±64 엘로, 10초에 2940±76 엘로를 기록했다.

칼리니는 여기서 멈추지 않고 오래된 프로세서와 얕은 탐색 깊이에 맞게 엔진을 조정했다. 그 결과 수당 1초에는 2846±35 엘로, 10초에는 3109±79 엘로, 30초에는 3180±80 엘로로 올라갔다. 앞서 측정한 현대 라이젠 7의 1996년판 크래프티와 개량한 펜티엄 프로 엔진을 100판 맞붙이자, 후자가 78승 17무 5패를 거뒀다. 이 대결은 같은 시대의 엔진과 하드웨어를 서로 엇갈리게 배치해, 소프트웨어 개선의 힘을 보여준다.

플로피디스크로 켜는 체스 서버

실험에 쓴 펜티엄 프로는 전용 슈퍼컴퓨터가 아니라 당시 부품으로 구성한 중고 데스크톱이다. 66MHz로 작동하는 64MB 메모리를 갖췄고, 1.44MB짜리 3.5인치 플로피디스크에서 부팅한다. 칼리니는 출시 당시 프로세서 가격이 1325달러, 메모리 네 개의 가격이 약 2000달러였다고 적었다. 주변기기를 합친 당시 가격은 4000~5000달러 정도로 추정했다.

컴퓨터를 인터넷에 연결하는 방식도 별도로 만들었다. 플로피디스크에 담긴 작은 구동 프로그램이 컴퓨터를 시작하고 네트워크 카드를 준비하면, 메모리로 전송된 체스 프로그램이 HTTP 요청을 기다린다. 요청에는 FEN(체스판의 배치를 문자열로 나타내는 형식)으로 적은 국면과 최대 실행시간이 담기며, 엔진은 시간이 다할 때까지 수를 계산해 응답한다. 칼리니는 이 구동 프로그램과 엔진 수정 코드를 작성할 때 LLM에 구현을 요청했다고 밝혔다. 글 자체는 사람이 썼다고 구분했다.

카스파로프와의 가상 대국에는 남는 간격

칼리니는 수당 30초 실측치와 시간을 늘렸을 때의 기력 상승 폭을 바탕으로, 고전적 대국 시간에서는 개량한 스톡피시가 약 3300 엘로일 것으로 추정했다. 카스파로프의 당시 평점은 2800에 조금 못 미쳤다. 이 격차를 근거로 칼리니는 펜티엄 프로의 엔진이 카스파로프를 이길 가능성이 압도적으로 높고, 기대 점수도 대략 10점 만점에 9점 수준이라고 판단한다. 다만 3300은 긴 대국을 충분히 반복해 직접 측정한 값이 아니라 짧은 시간의 실험에서 외삽한 수치다.

또 하나의 간격은 평점이 매겨진 집단이다. 칼리니의 엔진 평점은 컴퓨터 체스 평점표(CCRL)에 있는 엔진들과 비교한 값인 반면, 카스파로프의 평점은 국제체스연맹(FIDE)의 인간 선수 평점이다. 칼리니도 두 평점이 정확히 일치하지 않는다고 인정하면서, 추정 격차가 커서 그 차이를 감안해도 결론은 유지될 것으로 본다. 결국 이 실험이 직접 보여준 것은 오래된 컴퓨터에서 현대적 설계가 강력한 성적을 낸다는 사실이고, 카스파로프와의 승부는 그 결과에 근거한 예측이다.

칼리니는 이 사례를 오늘날의 언어모델에도 연결한다. 처음 성과를 낼 때는 장비를 키우는 방법에 기대기 쉽지만, 시간이 흐르면 같은 일을 더 효율적으로 하는 설계를 찾을 수 있다는 것이다. 체스 엔진의 역사가 앞으로 언어모델에서도 소프트웨어 개선이 하드웨어 확장을 앞지를지 답해 주지는 않는다. 다만 그 가능성을 시험할 만한 질문으로 만든다.

커뮤니티 의견

한 사용자는 현대 엔진이 평가와 탐색의 발전으로 강해졌다는 핵심 주장에는 동의하면서도, 카스파로프를 이겼을 것이라는 결론은 조심해야 한다고 했다. 오래된 하드웨어에서 탐색 깊이가 부족하면 현대적 기법에도 약점이 생기고, 인간 선수와 준비팀이 이를 공략할 수 있다는 주장이다. 이 사용자는 엔진 간 평점을 인간 선수의 평점과 곧바로 비교하기 어렵다고도 지적했다.

다른 사용자는 체스 실험을 보고 영상 압축을 떠올렸다. 오늘날의 압축 방식을 과거로 가져갔다면 당시 통신망에서도 낮은 해상도의 영상 스트리밍이 가능했을지 궁금하다는 것이다. 다만 그 시절 컴퓨터에 해당 영상을 인코딩하거나 디코딩할 성능이 있었을지는 별개 문제라고 덧붙였다. 알고리즘의 이득을 따질 때 실행 비용도 함께 봐야 한다는 비교다.

그랜드마스터가 아마추어와 비슷한 수의 수를 분석한다는 글의 설명에 이의를 제기하는 의견도 나왔다. 한 사용자는 그랜드마스터가 대국을 해설하는 모습을 보면 자신보다 더 많은 갈래를 보고, 일부 갈래는 훨씬 깊이 따진다고 말했다. 이에 다른 사용자는 중요하지 않은 갈래를 빨리 버린다면 전체 탐색량이 비슷해도 더 좋은 수에 도달할 수 있다고 반박했다. 인간의 분석량을 어떻게 셀지부터 분명하지 않다는 논쟁이다.

하드웨어 설명을 바로잡는 의견도 있었다. 한 사용자는 펜티엄 프로가 펜티엄 MMX보다 거의 모든 면에서 뒤처졌다는 글의 표현에 반대하며, 두 제품의 설계와 주된 시장이 달랐다고 설명했다. 펜티엄 프로는 새로운 P6 계열의 업무용 프로세서였고, 펜티엄 MMX는 소비자용 기존 계열의 확장판이라는 주장이다. 따라서 후자의 등장만으로 전자의 가치를 평가절하하기는 어렵다고 봤다.

한 사용자는 이 실험에서 AI 하드웨어의 수명을 다시 볼 이유를 찾았다. 더 큰 연산 자원을 계속 투입하는 것과 별개로, 같은 장비에서 돌아가는 소프트웨어의 성능 밀도도 높아질 수 있다는 의견이다. 펜티엄 프로에서 달라진 체스 실력은 칩을 교체하지 않고도 가능한 개선을 보여준다고 해석했다.

반대로 NNUE에 들어간 학습의 출처를 따져야 한다는 지적도 나왔다. 한 사용자는 오래된 컴퓨터가 강한 엔진을 실행할 수 있다는 사실과 당시 개발자들이 같은 엔진을 만들 수 있었다는 주장은 다르다고 했다. 오늘날의 강한 스톡피시가 학습을 도운 만큼, 과거에는 그런 교사 모델이 없었다는 이유다. 답글에서는 당시 컴퓨터를 대량으로 오래 가동하는 방법도 원리상 가능했다는 칼리니의 설명을 들어 반론을 폈다.

또 다른 사용자는 엔진 개발의 역사 자체가 소프트웨어 개선의 중요성을 뒷받침한다고 봤다. 그는 과거 엔진들 사이에서 평가 방식이 바뀐 뒤 나타난 기력 차이를 언급하며, 칼리니가 고친 크래프티와 이후 엔진들이 얼마나 자주 같은 수를 고르는지 비교해 보자고 제안했다. 단순한 평점 비교를 넘어, 개선된 엔진이 실제로 어떤 판단을 달리하는지 확인하자는 의견이다.

핵심통찰

이 실험은 딥블루의 승리를 다시 쓰기보다, 그 승리에 이르는 길이 하나만은 아니었음을 보여준다. 빠른 장비에서 옛 프로그램을 돌리는 것보다 옛 장비에 더 나은 프로그램을 얹는 편이 맞대결에서 크게 앞섰다. 다만 카스파로프와의 가상 승부에는 긴 대국에서의 실측과 인간·엔진 평점 차이라는 빈칸이 남는다. 앞으로 주목할 지점은 AI가 더 많은 연산으로 얻는 성능과, 같은 연산 안에서 더 잘 고르고 평가하도록 설계를 바꿔 얻는 성능을 얼마나 분리해 측정할 수 있느냐다.


원본: Could a modern chess engine on a Pentium have defeated Kasparov in 1996?

토론: Hacker News