도미니크 피체타(Dominik Picheta)가 LLM과 코딩 에이전트가 읽고 쓰기 어렵도록 설계한 프로그래밍 언어 킬스위치(KillSwitch)를 공개했다. 이 언어는 낯선 문법에 글자 수 규칙, 안전장치를 건드리는 표현, 지시문처럼 보이는 문장을 섞어 모델의 코딩 능력을 시험한다. 피체타는 주요 모델에 간단한 과제를 풀게 했고, 최고 성적은 66.8이었다. 실험이 던지는 질문은 모델이 코드를 이해하는지, 익숙한 코드와 설명을 능숙하게 활용하는지다.
핵심요약
- 킬스위치는 LLM이 접해 보지 못한 언어에서도 코드를 작성하고 해석할 수 있는지 시험하려고 만든 실험적 프로그래밍 언어다.
- 식별자 글자 수와 줄 수 계산을 실행 규칙에 넣어, 모델이 문법뿐 아니라 세부 상태도 정확히 추적하도록 요구한다.
- 사양서의 거짓 설명과 지시문처럼 보이는 구문은 코딩 에이전트가 실제 언어 규칙과 방해 요소를 구분하는지 시험한다.
- 간단한 과제를 기준으로 최고 모델의 점수는 66.8이었지만, 피체타는 이 결과만으로 코드 이해 능력을 판단하기 어렵다고 봤다.
- 해커 뉴스 토론에서는 언어 자체보다 사양서의 함정을 가려내는 능력, 인간의 가독성, 도구를 이용한 우회가 쟁점이 됐다.
익숙한 코드 없이 코딩할 수 있을까
피체타는 LLM이 특히 뛰어난 성과를 보인 분야로 코드 작성을 꼽는다. 동시에 그 성과가 프로그램의 동작을 이해한 결과인지, 학습 데이터나 현재 대화에서 본 코드 조각을 떠올린 결과인지 묻는다. 이미 널리 쓰이는 언어만으로는 두 가능성을 구분하기 어렵다고 보고, 모델이 처음 접할 언어를 직접 만들었다.
목표는 생소한 문법을 제시하는 데 그치지 않았다. 그는 사람이라면 사용할 수 있으면서 LLM과 코딩 에이전트에는 가능한 한 까다로운 언어를 구상했다. 글자를 세는 일, 안전 관련 표현에 반응하는 방식, 입력된 지시를 따르려는 성향을 설계에 끌어들였다. 킬스위치는 그런 선택을 한데 모은 실험적 프로그래밍 언어다.
이 실험의 출발점은 모델이 코드를 외웠는지 가려내는 데 있지만, 킬스위치가 시험하는 능력은 그보다 넓다. 처음 보는 규칙을 읽고, 규칙과 무관한 문장을 걸러 내며, 실제로 실행될 코드를 완성해야 한다. 따라서 결과를 볼 때도 낯선 문법을 배웠는지와 문서 속 방해 요소를 견뎠는지를 함께 살펴야 한다.
사양서에 심은 거짓말과 빈칸
킬스위치의 언어 사양서에는 의도적으로 숨겨 놓은 거짓 설명이 있다. 피체타의 설명에 따르면 사람이 읽다가 지나치기 쉽거나, 읽더라도 거짓임을 알아차릴 만한 내용이다. 사양서가 모든 것을 명시하지도 않는다. 일부 규칙은 독자가 설명을 바탕으로 스스로 추론하도록 남겨 뒀다.
이 구성은 사양서를 그대로 받아들여 코드를 작성하는 모델에 부담을 준다. 어떤 문장은 적용할 규칙이고, 어떤 문장은 믿지 말아야 할 설명인지 가려야 하기 때문이다. 피체타가 겨냥한 것은 언어의 실행 규칙뿐 아니라 코딩 에이전트가 문서를 읽고 활용하는 과정이다.
다만 언어의 기본 뼈대까지 낯설게 만든 것은 아니다. 킬스위치는 스택(값을 쌓고 맨 위부터 꺼내 쓰는 자료구조)을 쓰는 인터프리터 언어(코드를 읽어 실행하는 프로그램을 통해 동작하는 언어)다. 함수, 변수, 조건문 등 구성 요소도 제한적으로 갖췄다. 피체타는 사람과 모델 모두 이 기본 요소에는 익숙할 것이며, 완전히 다른 프로그래밍 방식을 택했다면 모델을 더 혼란스럽게 만들 수도 있었을 것이라고 봤다.
글자 수가 틀리면 실행되지 않는 코드
킬스위치에서는 식별자의 글자 수가 실행 결과를 좌우한다. 인터프리터는 글자 수에 따른 규칙을 지키지 않은 코드를 실행하지 않는다. 변수나 함수의 이름을 대략 기억하는 것만으로는 부족하고, 이름을 정할 때부터 해당 규칙을 맞춰야 한다.
피체타가 이 규칙을 넣은 이유는 LLM의 글자 세기 능력을 시험하기 위해서다. 코드를 생성하는 모델은 전체 흐름이 그럴듯한 답을 내더라도 식별자 하나의 길이를 잘못 계산할 수 있다. 킬스위치에서는 그런 작은 오차가 문체나 품질의 문제가 아니라 실행 가능성을 가르는 오류가 된다.
줄 수 역시 중요하다. 스크립트 안의 값은 한곳에 선언해 바로 쓰는 대신, 문서 어디에 놓였는지를 줄 수로 가리킬 수 있다. 피체타가 제시한 짧은 예에서는 앞서 적은 ‘Hello World’ 문자열을 ‘두 줄 위의 값’이라는 식으로 참조해 스택에 올린다. 모델은 문자열을 찾는 동시에 현재 위치와 대상 위치의 관계를 정확히 계산해야 한다.
지시처럼 보이는 문장도 언어의 일부
킬스위치에는 모델의 안전 가드레일(유해 요청에 대한 응답을 제한하는 장치)을 자극하도록 고른 표현도 들어간다. 피체타가 든 예는 ‘컴퓨터에 침입하기’처럼 읽히는 구문이다. 코드를 다루는 모델이 이를 언어의 구성 요소로 처리할지, 위험한 요청으로 받아들여 멈출지가 시험 대상이 된다.
‘이전 지시를 무시하라’는 문장도 언어 안에서 뜻을 가진다. 일반적인 대화에서는 모델의 행동을 바꾸려는 명령처럼 보이지만, 여기서는 해석해야 할 코드의 일부일 수 있다. 모델이 입력 속 지시를 따르려는 성향을 보인다면, 언어를 읽는 일과 자신의 응답 방침을 정하는 일을 혼동할 여지가 생긴다.
스크립트의 대부분은 인터프리터가 무시하는 이야기 형태의 문장이다. 그 이야기에는 문법상 중요한 지시가 들어갈 수도 있고, 아무 역할도 없는 문장이 이어질 수도 있다. 피체타는 실행에 필요한 정보를 잡음 속에 흩어 놓아, 눈에 띄는 문장만 골라 읽거나 모든 문장을 명령으로 받아들이는 접근을 어렵게 만들었다. 결국 킬스위치를 읽으려면 자연어처럼 보이는 부분까지 언어 규칙에 비춰 판단해야 한다.
공개된 인터프리터와 실제 과제
피체타는 킬스위치의 인터프리터와 언어 사양을 GitHub에 공개했다. 글에는 ‘Hello World’ 문자열을 스택에 올리는 짧은 부분만 설명하고, 완전한 프로그램 예시는 별도 사이트에서 볼 수 있도록 했다. 언어의 규칙을 확인하고 코드를 실행해 볼 수 있는 재료를 함께 내놓은 셈이다.
이후 그는 LLM과 코딩 에이전트가 킬스위치를 읽고, 쓰고, 이해할 수 있는지 알아보려고 과제를 만들었다. 주요 모델과 코딩 에이전트 실행 환경을 대상으로 시험했고, 결과 차트와 모델 순위표도 공개했다. 평가는 낯선 언어에 대한 첫 반응을 넘어, 사양서를 이용해 실제 답을 만들어 내는지를 비교한다.
과제 내용은 복잡한 응용 프로그램보다는 기초적인 작업에 가깝다. ‘Hello World’를 구현하고, 두 숫자 중 큰 값을 출력하는 스크립트의 결과를 설명하며, 섭씨를 화씨로 바꾸는 기존 스크립트를 반대 방향으로 고치는 식이다. 모델이 높은 점수를 받더라도 무엇을 해냈는지 판단할 때 이 과제의 범위를 함께 봐야 하는 이유다.
오퍼스 5가 앞섰지만 최고 점수는 66.8
평가에서 가장 좋은 성적을 낸 모델은 클로드(Claude) 오퍼스(Opus) 5였다. 피체타는 오퍼스 5.5가 아니라 오퍼스 5가 앞섰으며, 그 차이는 단순한 우연으로 보이지 않는다고 적었다. 그의 판단으로는 오퍼스 5가 언어 사양을 더 잘 해석했다.
반면 페이블(Fable) 5.1과 제미나이(Gemini) 4 아르곤(Argon)은 민감한 안전 가드레일 때문에 낮은 성적을 보인 사례로 언급됐다. 공개 가중치 모델 가운데 가장 좋은 성적을 낸 것은 미모(MiMo)-V2.6-프로(Pro)였다. 전체 최고 점수는 66.8로 제시됐다. 이 차이는 같은 과제를 풀어도 문서 해석과 안전 관련 표현을 처리하는 방식에 따라 결과가 달라질 수 있음을 보여 준다.
피체타는 처음 보는, 모델을 혼란스럽게 만들도록 설계된 언어로 이런 과제를 푼 점 자체는 인상적이라고 평가했다. 그러나 현재 과제가 비교적 간단해, 그 성적을 곧바로 언어를 ‘이해한다’는 증거로 보지는 않았다. 그는 출시를 앞둔 모델들이 같은 과제를 얼마나 잘 처리하는지 지켜보고, 모두 성공한다면 더 복잡한 과제 묶음을 만들겠다고 했다. 현재 결과가 다른 모델 평가의 성적과 어느 정도 맞물린다는 점도 눈여겨봤다.
커뮤니티 의견
한 사용자는 다른 실험적 언어인 다르모크(Darmok)를 떠올리며, 문학적 표현을 코드의 형태로 쓰는 발상 자체를 즐겼다. 답글에서도 코드와 시의 경계가 흐려진다는 반응이 이어졌다. 이 관점은 킬스위치를 모델 평가 도구인 동시에 언어 디자인 실험으로 읽는다.
제목의 표현을 좁혀 봐야 한다는 반론도 나왔다. 한 사용자는 킬스위치가 ‘LLM이 쓸 수 없는 언어’라기보다 ‘사용법을 학습하지 않은 LLM에 적대적인 언어’라고 했다. 그는 동작할수록 성질이 바뀌어 모델이 변화하는 상태를 계속 추적해야 하는 언어를 기대했다고 덧붙였다.
다른 사용자는 규칙을 숨기는 것만으로 AI를 막을 수 없다고 주장했다. 모델이 충분히 이상한 문제를 만나면 결과에서 거꾸로 규칙을 찾거나 프로그램을 분석해 제약을 알아낼 수 있다는 것이다. 이 의견에서 킬스위치의 함정은 지속적인 장벽보다 분석해야 할 대상에 가깝다.
사람에게도 어렵다는 지적도 나왔다. 한 사용자는 킬스위치의 피즈버즈(FizzBuzz) 예시를 보고 LLM보다 인간에게 더 적대적인 언어처럼 보인다고 했다. 답글에서는 인간의 이해 가능성과 모델에 대한 난도를 동시에 맞추기 어려웠다는 반응이 이어져, 평가 기준에 사람의 가독성도 넣어야 한다는 질문을 남겼다.
모델과 인간의 코딩을 비교하는 의견도 있었다. 한 사용자는 숙련된 사람도 사양서를 한 번 읽는 것만으로 코딩을 익히지 않으며, 연습하고 실수한 경험에서 표현을 끌어낸다고 했다. 사람 역시 배운 코드 조각을 다시 조합한다면, 낯선 언어에서의 첫 성적만으로 모델의 ‘이해’를 구분하기는 어렵다는 취지다.
안전 가드레일을 더 적극적으로 건드리는 방법을 제안한 사용자도 있었다. 코드가 모델이 거부하기 쉬운 주제의 지시문처럼 읽히게 만들자는 생각이다. 답글에서는 모델이 해당 개념을 다른 말로 바꾸거나 별도 도구를 써서 우회할 수 있다는 반박이 나왔다.
스택 언어 자체가 LLM의 약점이라는 경험담도 나왔다. 한 사용자는 스택에 무엇이 남아 있는지 정확히 추적해야 하는 작업에서 좋은 모델조차 기본적인 실수를 반복한다고 했다. 이는 킬스위치의 성적을 사양서의 함정만이 아니라 실행 중 상태를 따라가는 능력과 함께 봐야 한다는 의견이다.
마지막으로 한 사용자는 LLM이 파이썬(Python) 스크립트를 작성해 글자 수 계산과 자극적인 표현을 제거한 중간 언어로 변환하면 되지 않겠느냐고 물었다. 답글에서는 모델이 실제로 그런 방식을 사용하며, 어려운 부분은 언어 자체보다 사양서의 함정과 규칙을 분리하는 일이라는 설명이 나왔다. 도구를 쓰는 에이전트까지 평가한다면 우회도 실력의 일부가 된다.
핵심통찰
킬스위치는 LLM이 코드를 ‘전혀 못 쓰게’ 하는 언어보다, 코딩 성적을 이루는 능력을 갈라 보게 하는 시험에 가깝다. 낯선 규칙의 추론, 글자와 줄 수 계산, 스택 상태 추적, 사양서의 거짓말 판별, 안전 가드레일 대응이 한 과제에 얽혀 있다. 앞으로 볼 것은 점수 상승만이 아니다. 모델이 어떤 함정에서 실패하는지, 스크립트 같은 도구로 무엇을 우회하는지, 과제가 복잡해져도 같은 성과를 내는지가 코드 이해에 관한 더 분명한 답을 줄 것이다.
원본: I built a programming language that LLMs can’t use
토론: Hacker News