개발자 시몬 에드워드손(Simon Edwardsson)이 실제 셸과 파일시스템 없이 움직이는 터미널 ‘월드TUI(WorldTUI)’를 만들었다. 3억6000만 매개변수 모델은 키 입력을 받아 다음 화면을 예측하며, 파일을 만들거나 빔(vim)과 티먹스(tmux)를 실행하는 듯한 모습을 보여준다. 에드워드손이 확인하고 싶었던 것은 그럴듯한 출력보다 더 어려운 능력, 곧 방금 만든 파일을 나중에도 같은 파일로 다룰 수 있느냐는 것이었다. 브라우저에서 직접 시험할 수 있는 이 실험은 모델이 화면 뒤의 규칙을 구현하지 않고 어디까지 일관된 작업 환경을 흉내 낼 수 있는지 보여준다.
핵심요약
- 월드TUI는 실제 명령을 실행하는 대신 키 입력마다 바뀔 화면을 예측해, 터미널의 동작을 학습된 모델만으로 재현하려 했다.
- 도커(Docker)에서 실행한 프로그램을 기록해 약 33만6000개 세션을 만들고, 모델이 자기 오류를 고치는 사례를 추가 학습해 긴 작업의 일관성을 높였다.
- 화면의 행을 병렬로 생성하고 결과를 다시 검증해, 큰 화면 변경의 지연 시간을 줄이면서 행 사이의 충돌을 보완했다.
- 모델을 4비트로 압축한 브라우저 데모는 208MB이며, 연산은 모두 사용자 기기의 브라우저 탭에서 이뤄진다.
- 파일 내용과 경로를 그럴듯하게 기억할 때도 있지만 읽기 결과가 틀리거나 작업 위치를 잃기도 해, 보이는 화면과 신뢰할 만한 파일시스템 사이에는 차이가 남아 있다.
명령 실행 대신 화면 변경 예측
에드워드손은 지니 3(Genie 3)를 보고, 프로그램을 코드로 작성하는 대신 사용자의 입력 다음에 나타날 장면을 모델이 예측하는 방식을 떠올렸다. 게임 화면 전체를 다룰 데이터와 GPU 자원은 없었기에 대상을 문자 격자인 터미널로 좁혔다. 터미널은 실제 프로그램을 실행해 키 입력과 그 결과 화면을 짝지은 학습 자료를 만들 수 있고, 출발점인 코드 모델도 ls나 cat의 출력 형태에 익숙하다는 이점이 있었다. 최종 모델의 기반은 큐원2.5 코더(Qwen2.5-Coder-0.5B)다.
일반 언어 모델처럼 출력을 맨 뒤에 이어 붙이는 방식으로는 터미널을 다루기 어렵다. vim에서 Esc를 누르거나 clear를 실행하면 화면의 아래쪽이 아니라 기존 위치의 내용과 커서가 바뀌기 때문이다. 월드TUI는 화면 크기·문자·커서 위치가 담긴 첫 화면을 받은 뒤, 매 키 입력에 대해 어느 행의 어느 위치를 다시 쓸지 예측한다. 키를 누르지 않는 시간도 대기 입력으로 전달해, 뱀 게임처럼 시간이 흐르며 움직이는 화면을 표현한다.
스크롤을 짧은 복사 명령으로
긴 출력이 화면 아래에 닿아 한 줄 스크롤될 때마다 모든 행을 다시 생성하면, 키 한 번에 약 3000개 토큰이 필요하다. 에드워드손은 이전 화면의 특정 행을 새 위치로 복사하는 연산을 넣었다. 그러면 스크롤에 필요한 양은 행당 약 96개 토큰에서 3개 토큰으로 줄어든다. 같은 방식으로 화면 지우기, 빔의 줄 삽입·삭제, 설명서 페이지 이동도 표현한다.
모델이 쓰는 어휘는 바이트 토큰 256개와 행 토큰 64개, 몇 가지 특수 연산을 합쳐 333개다. 화면은 단색 문자로 다루고, 유니코드 문자도 인코딩 전에 아스키(ASCII) 문자로 바꾼다. 생성 결과에는 문법 제약을 걸어 언제나 형식상 유효한 화면 변경만 나오게 했다. 이 작은 어휘는 뒤에서 모델을 브라우저에 올릴 만큼 줄이는 데도 도움이 됐다.
실제 터미널을 돌려 만든 33만6000개 세션
키 입력과 화면 변화가 정확히 맞물린 기존 자료를 찾지 못한 에드워드손은 도커 안에서 실제 프로그램을 실행하며 기록을 만들었다. 사용자 이름과 프롬프트, 파일과 디렉터리, 터미널 크기를 바꾸고 세션마다 파일 수정·파이썬(Python)·티먹스 같은 작업을 6~24개씩 골랐다. 입력은 탭 완성과 오타까지 포함해 한 글자씩 기록했다. 세션의 35%는 작업 도중의 화면에서 시작하도록 해, 모델이 처음부터 본 상태에만 의존하지 않게 했다.
자료는 최종적으로 약 33만6000개 에피소드, 약 20억 토큰이 됐다. 에드워드손은 화면 이력과 키 입력을 주고 실제 터미널의 화면 변경을 맞히게 하는 지도 미세조정(기존 모델을 추가 학습시키는 방식)부터 시작했다. 글자 입력, 백스페이스, 커서 이동은 빨리 배웠지만 긴 세션에서는 작은 오류가 뒤의 작업으로 번졌다. 파일 이름을 한 번 잘못 쓰면 이후 화면에서도 그 잘못된 이름이 이어지는 식이었다.
모델 자신의 실수를 학습 자료로
오류가 쌓이는 문제에는 모델이 스스로 만든 화면을 다시 학습에 쓰는 방법을 적용했다. 기록된 세션의 한 지점에서 모델이 다음 1~4개 입력의 결과를 예측하게 하고, 실제 화면과 차이가 작으면 다음 입력에서 이를 바로잡는 수정 사례를 만든다. 단, 수정에 쓰이는 단어는 앞서 실제 화면이나 사용자의 입력에 등장한 것이어야 했다. 보지 못한 파일 이름을 맞힌 것처럼 가르치면 오히려 환각을 보상하게 되기 때문이다.
이런 수정 사례는 표본 세션의 약 3분의 1에서 나왔고, 에드워드손은 최신 모델이 낸 오류를 모으는 과정을 세 차례 반복했다. 추가 자료와 자기 수정 학습을 거친 뒤 데모에서 발견한 실패를 모은 프리셋벤치(PresetBench)의 점수는 47개 중 24개에서 38개로 올랐다. 별도 비교에서 월드TUI의 파일 값 재확인 결과는 13개 중 9개로, 예시를 담은 프롬프트만 받은 두 모델의 2개와 3개보다 높았다. 다만 이 성적은 안정적인 파일시스템을 뜻하지는 않는다. 실제로 파일에 내용을 덧붙인 뒤 cat으로 읽으면 새 줄이 빠질 때가 있다.
행은 함께 만들고 순서대로 검증
반응 속도도 큰 장벽이었다. 자기회귀(앞서 만든 토큰을 바탕으로 다음 토큰을 하나씩 생성하는 방식) 모델은 글자 하나를 입력할 때는 빨랐지만, 화면 전체를 바꾸는 작업에는 에드워드손의 RTX 4090에서 최대 12초가 걸렸다. 그는 대부분의 행이 서로 독립적이라는 점을 이용해 행별 화면 변경을 한꺼번에 생성했다. 큰 화면 변경의 95백분위 지연 시간은 이 방식으로 6.7초에서 0.87초로 줄었다.
행을 따로 만들자 새 문제가 생겼다. 빔 화면이 엉뚱한 행에서 시작하거나 뱀 게임의 먹이가 여러 행에 동시에 나타났다. 에드워드손은 병렬 생성한 행을 초안으로 삼고 같은 모델이 순서대로 검증해 충돌 지점부터 고치는 추측 디코딩(초안을 먼저 만들고 검증하는 생성 방식)을 적용했다. 그의 M4 맥(Mac)에서는 글자 하나의 반응 시간이 약 60밀리초였고, man test처럼 큰 변경은 순차 생성 2.5초에서 초안 생성·검증 방식 0.9초로 줄었다.
208MB 데모와 기억을 잃은 작은 모델
기반 모델은 약 4억9400만 매개변수였지만, 원래의 방대한 어휘를 담은 임베딩 표에서 이 작업에 필요 없는 부분을 덜어 약 3억6000만 매개변수로 줄였다. 이어 4비트 양자화(가중치를 적은 비트로 표현하는 압축)를 적용한 결과가 208MB 브라우저 데모다. 연산은 웹GPU(WebGPU)를 이용해 브라우저 탭 안에서 처리하며 서버의 셸에 접속하지 않는다. 데모는 물리 키보드가 있는 데스크톱 브라우저에 맞춰져 있고, 에드워드손의 시험에서는 파이어폭스(Firefox)가 크롬(Chrome)보다 약 20배 느렸다.
층 자체를 덜어내는 증류(큰 모델의 동작을 작은 모델에 옮기는 방식)는 다른 결과를 냈다. 한 층만 제거했을 때 다음 토큰 정확도는 99.3%에서 98.9%로 조금 떨어졌지만, 파일 값의 정확한 재확인은 64개 중 64개에서 0개로 무너졌다. 특정 층을 보존한 16층 모델은 4비트·약 138MB에서도 64개 값을 모두 맞혔으나, 명령 출력을 맞히는 셸벤치(ShellBench) 성적은 교사 모델의 106개 중 78개에서 65개로 낮아졌다. 에드워드손은 그럴듯한 출력 아래에서 기억 능력이 조용히 사라질 수 있음을 확인하고, 최종 데모에는 증류 모델을 쓰지 않았다.
살아 있는 듯한 파일, 어긋나는 결과
에드워드손이 가장 인상 깊게 본 순간은 티먹스의 한 창에서 빔으로 파일을 고친 뒤 다른 창에서 cat으로 바뀐 내용을 읽었을 때였다. 모델은 빔의 모드 전환과 저장·종료, 티먹스의 여러 창과 패널, 환경변수와 변수 확장도 어느 정도 흉내 낸다. 하지만 파이썬 대화형 실행에서 간단한 덧셈은 대체로 맞혀도 리스트의 내용은 틀릴 때가 있다. pythoon이라는 오타로 파이썬이 실행되기도 하므로, 눈앞의 응답을 실제 명령 실행과 혼동해서는 안 된다.
중첩 디렉터리를 만들다 갑자기 다른 경로에 있는 듯 행동하는 일도 있다. 에드워드손은 월드TUI가 당장 실용적인 도구는 아니라고 보면서도, 내부 규칙을 구현하지 않은 작은 모델이 어느 정도 일관된 작업 세계를 유지한다는 점에 주목한다. 다음 실험으로는 각각 조작법과 규칙이 다른 무작위 앱 수천 개를 학습시켜, 처음 보는 앱의 동작까지 문맥으로 예측할 수 있는지 살펴보고 싶다고 했다. 지금의 데모는 완성된 가상 컴퓨터보다 그 질문을 시험하는 장치에 가깝다.
커뮤니티 의견
한 사용자는 코드를 신경망에 학습시켜 저장하고 체크아웃할 때 다시 생성하는 자신의 ‘손실이 있는 깃’ 실험과 비교했다. 버전 관리와 학습·추론이 모두 브라우저에서 돌아간다는 점에서, 파일을 그대로 보관하거나 실행하지 않아도 비슷한 결과를 만들어내는 두 실험이 닮았다고 봤다. 답글에는 다시 꺼낸 코드의 버그가 오히려 줄어들지도 모른다는 농담도 붙었다.
다른 사용자는 에드워드손이 실용성이 낮다고 한 대목에 주목하며, 앤트로픽(Anthropic)이 비슷한 종류의 모델을 정렬 평가에 사용한다고 소개했다. 일반 사용자를 위한 셸이 아니어도 모델의 행동을 시험하는 환경으로는 쓸모가 있을 수 있다는 관점이다. 이는 데모의 재미와 평가 도구로서의 용도를 구분해 보자는 의견이었다.
미세조정 뒤 기억 성적이 크게 좋아진 점이 예상 밖이었다는 반응도 나왔다. 이 사용자는 처음에는 기반 모델과 학습 후 모델을 비교하고 싶었는데, 글에 실린 평가를 보고 특히 파일 값의 재확인 결과에 놀랐다고 했다. 답글에서는 더 큰 모델도 기억 성적이 좋아지는 경향이 보이지만 아직 폭넓은 시험은 하지 않았다는 설명이 이어졌다.
한 사용자는 초창기 챗GPT(ChatGPT)에 ‘터미널인 척하라’고 지시하고 명령을 입력하던 시연을 떠올렸다. 그 아이디어를 공개 SSH 서버 뒤에 놓아 가짜 표적처럼 쓰면 접속자가 어떻게 행동할지 궁금했다는 의견도 달렸다. 다른 답글은 에드워드손이 글의 관련 작업 부분에서 당시 실험을 이미 언급했다고 짚었다.
직접 비슷한 가짜 셸을 만든 사용자는 두 방식의 교환 조건을 설명했다. 자신의 방식은 별도 학습 없이 큰 모델과 긴 프롬프트를 쓰므로 파일 내용과 파이썬 결과의 일관성이 더 좋지만, 키 입력을 모아 화면 전체를 다시 그려 대화형 프로그램의 반응은 느리다고 했다. 반면 월드TUI는 키마다 바뀐 행을 예측해 빠르고 오프라인으로 돌릴 수 있지만, 작은 모델의 기억과 계산에는 한계가 있다는 비교다.
또 다른 사용자는 지연 시간이나 기억이 충분하다면 무엇이든 파일시스템처럼 보일 수 있다는 농담을 남겼다. 이 말은 월드TUI가 파일시스템의 규칙을 실행하지 않으면서도 잠시 동안 파일이 존재하는 듯한 화면을 만든다는 특징을 압축한다. 동시에 기다릴 수 있는 시간과 결과를 믿을 수 있는 기간이 체험의 질을 가른다는 점도 건드린다.
인터넷에 이 가짜 터미널을 열어 두면 스크레이퍼 같은 자동화된 접속자가 어떻게 반응할지 궁금하다는 의견도 있었다. 사람에게 그럴듯한 화면이 자동화된 입력 앞에서도 유지되는지 시험해 보자는 제안으로 읽힌다. 다만 댓글은 실험 결과가 아니라 가능한 다음 시험을 떠올린 것이다.
한 사용자는 이 프로젝트가 ‘지능적인 출력을 예측하는 모델’과 ‘지능 자체’의 차이를 생각하게 만든다고 했다. 답글에서는 예측된 터미널이 실제 터미널이 아니듯 예측된 지능도 실제 지능은 아니라는 주장과, 그런 구분이 튜링 테스트의 질문과 맞닿는다는 반응이 엇갈렸다. 월드TUI의 오류를 눈으로 확인할 수 있다는 점이 이 논쟁을 추상적 주장에만 머물지 않게 한다.
핵심통찰
월드TUI가 바꿔 놓은 것은 터미널의 구현 방식보다 터미널을 시험하는 관점이다. 키마다 화면을 예측하는 208MB 모델도 파일을 고치고 다시 읽는 짧은 흐름에서는 실제 작업 환경처럼 보일 수 있다. 그러나 한 층을 빼자 평범한 출력 정확도는 거의 유지된 채 기억만 사라졌고, 복합 명령에서는 파일 내용과 경로가 어긋났다. 앞으로 지켜볼 기준은 화면이 얼마나 그럴듯한지가 아니라, 처음 보는 작업과 긴 작업 사이에서도 같은 상태를 정확히 지키는지다.
원본: WorldTUI: I trained a 360M model to pretend to be a terminal
토론: Hacker News