제인스트리트의 소크라테스식 AI 튜터

제인스트리트(Jane Street)가 AI에게 정답을 곧바로 알려주지 말고 질문으로 사용자를 가르치라고 지시하는 ‘소크라테스식 튜터’ 스킬을 GitHub에 공개했다. 이 스킬은 학습자의 수준을 먼저 확인하고, 세부 능력별 진도를 기록하며, 여러 차례 답을 검증한 뒤에야 숙달을 인정하도록 설계됐다. AI에게 설명을 부탁하는 일은 쉽지만 설명을 들은 사람이 스스로 풀 수 있게 됐는지는 별개의 문제다. 이 문서는 그 간극을 대화 규칙으로 좁히려는 시도이며, 토론에서는 질문 중심 수업의 가능성과 프롬프트만으로 이를 유지하기 어렵다는 우려가 함께 나왔다.

핵심요약

  • 제인스트리트는 AI가 강의보다 질문을 앞세워 학습자의 추론과 설명을 이끌도록 하는 튜터 스킬을 공개했다.
  • 일회성 질문에는 평소처럼 답하고 지속적인 수업을 원할 때만 진단을 시작하게 해, 원치 않는 퀴즈를 피하도록 했다.
  • 수업은 주제를 세부 능력으로 나누고 3~5개의 진단 질문을 거쳐, 학습자가 이미 아는 것과 배울 것을 구분한다.
  • 능력 수준은 서로 다른 검증을 두 차례 이상 통과해야 올라가며, 이전 내용을 다시 틀리면 내려갈 수도 있다.
  • 토론에서는 스스로 생각하게 만든다는 호평과 함께 교재 구조, 장기 기억, 프롬프트 준수 여부가 과제로 제기됐다.

질문을 하기 전에 수업 의도를 묻는다

소크라테스식 튜터는 답을 설명하는 대신 질문을 던져 사용자가 추론하고, 결과를 예측하고, 자신의 생각을 말하게 하는 AI 학습용 지침이다. 문서가 내세우는 목표는 당장의 이해가 아니라 주제를 실제로 다룰 수 있는 수준까지 이끄는 것이다. 여기서 말하는 산파법(maieutic)은 교사가 결론을 먼저 제시하기보다 학습자가 스스로 생각을 끌어내도록 돕는 방식이다.

첫 단계는 의외로 질문을 시작하지 않는 것이다. 사용자가 “이게 무엇인가”, “어떻게 쓰는가”처럼 한 번의 답을 구했다면 튜터 수업으로 전환하지 말고 보통의 답변을 하도록 했다. 의도가 불분명할 때만 짧게 확인한다. 설명을 원한 사람에게 갑자기 진단 문제를 내는 실패를 피하기 위해서다.

이 구분은 이후의 엄격한 규칙을 받아들일지 사용자가 결정하게 한다. 한 번 시작한 수업에서는 AI가 정답을 쉽게 말해주지 않고, 틀린 답에도 다시 생각할 질문을 던진다. 빠른 해결이 필요한 순간에는 유용하지 않을 수 있는 방식인 만큼, 문서는 학습 모드 진입 자체를 별도의 선택으로 다룬다.

주제를 쪼개고 3~5문항으로 출발점을 찾는다

수업이 시작되면 AI는 주제를 구체적인 세부 능력 410개로 나눈다. 좁은 주제라면 항목을 줄이고, 넓은 주제라면 두 단계의 구조를 만든 뒤 첫 갈래부터 다룬다. 이어 쉬운 것부터 어려운 것까지 35개의 진단 질문을 한 번에 하나씩 내며, 그동안은 가르치지 않는다.

진단이 끝나면 세부 능력마다 현재 수준을 표시한 학습 지도를 보여주고 시작할 지점을 제안한다. 다만 제안이 곧 결정은 아니다. 사용자가 다른 항목부터 배우고 싶다면 바꿀 수 있다. AI가 정한 커리큘럼에 학습자를 끼워 맞추기보다, 확인된 수준을 바탕으로 다음 순서를 협의하는 구조다.

수준은 0부터 5까지다. 0은 해당 내용을 모르는 상태, 1은 들어본 상태, 2는 설명을 따라갈 수 있는 상태, 3은 도움을 받아 해낼 수 있는 상태다. 4는 독립적으로 수행하는 수준이며, 5는 다른 사람에게 설명하거나 예외적인 상황까지 다룰 수 있는 수준이다. 이 구분은 단순히 ‘알았다’고 답하는 것과 혼자 문제를 해결하는 것 사이의 거리를 드러낸다.

한 번에 하나씩 묻고, 틀리면 더 좁혀 묻는다

본격적인 수업에서는 한 메시지에 질문 하나만 던진다. 질문 뒤에 힌트나 예시 답안을 붙이지 않고 사용자의 답을 기다리라는 지침도 있다. 결과를 예측하게 하거나, 그 이유를 설명하게 하거나, 그럴듯하지만 틀린 주장 속 오류를 찾게 하는 질문을 우선한다. 새 상황에 개념을 적용하고 서로 다른 생각을 연결하는 문제도 권한다.

사용자가 틀리면 AI는 곧장 답을 공개하지 않는다. 대신 추론이 어긋난 지점을 드러낼 더 좁은 질문을 던진다. 두세 차례 시도해도 해결하지 못했을 때에만 직접 설명하고, 곧바로 같은 개념을 다른 각도에서 다시 묻는다. 설명을 듣고 고개를 끄덕이는 것만으로 이해했다고 처리하지 않으려는 절차다.

정답을 말했을 때도 수업이 무조건 다음 문제로 넘어가지는 않는다. AI는 가끔 반대 입장에서 예외를 제시해, 학습자가 자기 답을 방어할 수 있는지 확인한다. 반대로 혼자 도출하기 어려운 새로운 내용은 몇 문장으로 짧게 소개할 수 있다. 질문을 위한 질문을 반복하기보다, 필요한 설명을 끼워 넣고 다시 사고를 요구하는 흐름이다.

말로만 안다고 할 때와 실제로 해낼 때를 가른다

관련 도구를 쓸 수 있다면 실습도 시키도록 했다. 쿼리를 직접 작성하거나 코드의 출력 결과를 예측하게 하고, 가능하면 사용자가 실제로 만든 결과를 확인한다. 무엇을 했다는 설명만 듣는 것보다 산출물을 보는 편이 수행 능력을 판단하는 데 맞다는 취지다. 질문 중심 수업이 말하기 연습에만 머물지 않도록 하는 장치다.

평가 규칙은 느슨하지 않다. 수준을 올리려면 서로 독립적인 확인을 두 번 이상 통과해야 하며, 그중 하나는 방금 답을 들은 직후가 아닌 때에 스스로 내용을 떠올려 답하는 검사여야 한다. 모호하거나 일부만 맞는 대답은 정답으로 처리하지 않고 더 캐묻는다. 사용자가 표현하지 않은 통찰을 AI가 대신 읽어 넣어서도 안 된다.

이전에 배운 내용도 예고 없이 다시 묻는다. 복습 문제를 틀리면 세부 능력의 수준을 낮추고 그 부분으로 돌아간다. 최상위인 5단계에 이르려면 예외나 반박성 질문에 대응하면서, 남을 가르쳐도 될 만큼 개념을 명확히 설명해야 한다. 칭찬으로 대화를 매끄럽게 이어가기보다, 관찰된 실력에 맞춰 지도를 고치라는 주문이다.

막대그래프로 진도를 보여주고 마지막에 섞어 묻는다

학습 지도에는 각 세부 능력의 수준과 현재 집중하는 항목이 표시된다. 수준이 바뀔 때마다, 또는 사용자가 진도를 물을 때마다 이를 다시 보여주도록 했다. 문서는 막대를 그릴 때 사용할 블록 문자까지 지정한다. 이 화면의 역할은 보기 좋은 진도율보다 어떤 능력이 독립 수행 단계에 도달했고 어디에 도움이 필요한지를 구분하는 데 있다.

수업의 기본 목표는 모든 세부 능력이 4단계에 도달하는 것이다. 사용자가 완전한 숙달을 요청했다면 목표를 5단계로 높인다. 각 항목을 채웠다고 바로 끝내지도 않는다. 모든 세부 능력에서 최소 한 문제씩 내고 여러 내용을 함께 써야 하는 통합 문제까지 포함한 최종 평가를 치른다.

최종 평가를 통과하면 마지막 학습 지도와 취약한 부분의 요약을 보여준다. 통과하지 못하면 해당 학습 과정으로 돌아간다. 세부 항목을 따로 풀 때는 맞혔어도 함께 적용할 때 막힐 수 있다는 점을 종료 조건에 반영한 셈이다.

난도 조절과 상태 저장은 사용자가 맡는다

사용자는 수업 도중 언제든 진행 상황을 보여달라고 하거나 문제를 더 어렵게, 더 쉽게 해달라고 요청할 수 있다. 지금 다루는 질문만큼은 그냥 답을 알려달라는 명령도 있다. 이 경우 소크라테스식 질문 규칙을 해당 질문에 한해 잠시 해제한다. 엄격한 수업 방식 안에서도 사용자가 속도와 방식을 조절할 통로를 둔 것이다.

대화를 이어가기 위한 상태 저장 명령은 주제, 세부 능력별 수준, 확인된 오해, 이미 다룬 내용을 짧은 블록으로 출력한다. 사용자는 그 블록을 새 대화에 붙여 넣어 이어갈 수 있다. 앞서 무엇을 이해했고 어디서 틀렸는지를 다음 대화에 넘기려는 방식이지, 문서가 별도의 자동 기억 시스템을 제시하는 것은 아니다.

전체 설계는 ‘잘 설명하는 AI’보다 ‘이해했는지 계속 확인하는 AI’에 가깝다. 다만 지침에 적힌 평가와 복습은 실제 대화에서 AI가 질문 규칙을 지키고 사용자의 답을 정확히 판별할 때 작동한다. 토론이 사용 경험뿐 아니라 교재, 기억, 인터페이스를 함께 거론한 이유도 여기에 있다.

커뮤니티 의견

한 사용자는 이런 학습 스킬이 간단한 답을 얻거나 연습 문제에서 막혔을 때 도움이 되지만, 혼자 깊이 공부하기에는 더 큰 구조가 필요하다고 했다. 어려운 책을 강의의 뼈대로 삼고 AI가 그 순서를 따라 가르치게 하는 방안을 제안했다. 답글에서는 밀도 높은 철학 텍스트에 이 스킬을 써봤더니 15분 만에 지칠 만큼 질문이 이어졌다는 경험도 나왔다.

학습 효율과 인간관계를 함께 걱정하는 시각도 있었다. 한 사용자는 기계가 좋은 교사가 될수록 사람들이 다른 사람에게서 배우고 교류하는 시간이 줄어들 수 있다고 했다. 이에 평균적인 교육 수준이 높아진다면 좋은 일이라는 반론이 붙었다. 같은 도구를 두고도 학습 기회의 확대와 사람 사이 접촉의 감소를 다르게 평가한 것이다.

또 다른 사용자는 AI가 사람들의 생각과 표현을 더 정돈된 방향으로 이끌 수 있다고 기대했다. 직장에서 이메일 문장이 좋아졌다는 관찰을 예로 들며, 질문 중심 학습은 사고의 순서까지 끌어올릴 수 있다고 봤다. 반면 답글에서는 문장만 매끈해지고 생각은 AI에 맡기는 일이 늘 수 있다는 반박이 나왔다. 표현의 품질과 작성자의 사고력이 같은 것은 아니라는 지적이다.

새로운 접근이냐는 질문도 제기됐다. 한 사용자는 LLM이 충분히 유능해진 뒤로 비슷한 방식의 대화를 이미 해왔다며 특별할 것이 없다고 했다. 답글에서는 소크라테스식 문답을 모르는 사람에게는 구체적인 사용법 자체가 도움이 된다고 맞섰다. 기존 학습법을 AI에서 재현한 것과 그 방법을 누구나 쉽게 실행하게 만든 것은 별개라는 관점이다.

프롬프트보다 학습자의 이력을 기억하는 체계가 중요하다는 의견도 있었다. 한 사용자는 학습 경로의 개인적인 특성을 AI가 알아야 하는데, 이를 미리 하나의 지침에 모두 담으려 하면 번거롭다고 했다. 자신은 대화형 학습보다 함께 조작할 수 있는 터미널을 쓰고, 구체적인 생각을 Git 저장소에 기록하는 방식을 활용한다고 설명했다.

질문의 질 자체를 짚는 의견도 나왔다. 한 사용자는 소크라테스식 질문이 무작정 던지는 문항이 아니라, 학습자가 안다고 여긴 지식의 빈틈이나 오류를 스스로 보게 해야 한다고 했다. 단순히 질문을 많이 하는 것과 제대로 된 질문으로 무지를 확인하게 하는 일은 다르다는 주장이다.

실제 사용에서 답을 너무 일찍 알려주는 문제를 겪었다는 사용자도 있었다. 그는 틀렸을 때 정답 대신 더 좁은 질문을 던지라는 규칙에 기대를 보였다. 답글에서는 이것이 결국 프롬프트이므로 LLM이 지침에서 벗어나거나 잘못된 내용을 만들어낼 수 있다는 우려가 제기됐다.

인터페이스가 수업 규칙과 충돌한 사례도 언급됐다. 한 사용자는 클로드(Claude) 명령줄 도구에서 이 스킬을 시험했는데, 다음 입력을 추천하는 기본 기능이 튜터 질문의 답을 제안해버렸다고 했다. 답글은 설정에서 그 추천 기능을 끌 수 있다고 안내했다. 정답을 스스로 생각하게 하는 수업에서는 주변 기능 하나도 학습 경험을 바꾼다.

핵심통찰

이 스킬이 바꾸려는 것은 AI 답변의 길이가 아니라 학습을 끝냈다고 판단하는 기준이다. 사용자가 설명을 이해했다고 말하는 순간이 아니라, 힌트 없이 다시 답하고 예외에 대응하며 여러 개념을 함께 쓸 때까지 대화를 이어간다. 그만큼 좋은 질문과 정확한 채점이 중요해진다. 앞으로 지켜볼 지점은 이 규칙이 실제 긴 수업에서도 유지되는지, 그리고 책이나 실습 결과물, 학습 이력을 연결했을 때 혼자 공부하는 데 필요한 구조를 갖출 수 있는지다.


원본: agent_skills/socratic-tutor/SKILL.md at master · janestreet/agent_skills

토론: Hacker News