AI 모델은 출시 뒤 나빠질까, 리브너프의 30일 실험

출시 뒤 AI 모델이 조용히 나빠지는지 확인하려는 공개 실험이 시작됐다. 독립 개발자가 만든 리브너프(livenerf)는 앤트로픽(Anthropic)의 클로드 오퍼스 5.5(Claude Opus 5.5)에 30일 동안 같은 문제를 반복해서 풀게 하고, 출시 직후의 성적과 비교한다. 이용자들 사이에서 반복되는 ‘모델이 예전 같지 않다’는 체감을 기록과 통계로 가려보겠다는 시도다. 다만 아직 성능 저하 판정은 나오지 않았으며, 실험이 측정하는 대상도 모델 자체가 아니라 구독형 클로드 코드(Claude Code)를 통해 제공되는 서비스다.

핵심 요약

  • 리브너프는 클로드 오퍼스 5.5 출시 직후를 기준점으로 삼아 30일간 같은 문제를 반복 측정하며, 체감에 기대던 성능 저하 논쟁을 검증 가능한 기록으로 바꾸려 한다.
  • 2,336개 후보에서 정답 여부가 흔들리는 78개 문제를 골랐고, 같은 문항의 성적을 비교해 문제별 난도 차이가 결과에 끼치는 영향을 줄였다.
  • 사전 검증에서 추론 강도를 낮추자 출력 토큰 수가 크게 줄었지만, 오퍼스 5를 투입한 차이는 충분히 구별하지 못해 탐지 능력에도 한계가 드러났다.
  • 성능 변화는 연속된 두 개의 10일 구간에서 99% 신뢰구간과 최소 3%포인트 기준을 모두 충족하고 대조군에 같은 변화가 없을 때만 판정한다.
  • 2026년 9월 29일 기준 30일 중 6일의 기록만 쌓여 있어, 현재는 ‘성능이 떨어졌는가’보다 ‘어떤 변화를 알아챌 수 있는가’가 핵심이다.

출시 뒤의 체감을 기록으로 바꾸다

리브너프가 겨냥한 질문은 단순하다. 새 모델이 나온 뒤 며칠 또는 몇 주가 지나면, 같은 이름으로 제공되는 모델의 성능이 떨어지는가. 개발자는 이용자들이 오래전부터 앤트로픽 모델의 품질 저하를 이야기해 왔지만, 출시 직후부터 같은 조건으로 측정한 기록이 없어 체감과 체감이 맞서는 논쟁에 머물렀다고 설명한다.

가능한 원인으로는 모델의 양자화(계산에 쓰는 수의 정밀도를 낮추는 방식), 같은 이름 뒤의 다른 모델, 추론 강도 축소, 요청을 처리하는 경로의 변경이 거론된다. 반대로 실제 변화 없이 이용자가 우연한 실패에 의미를 부여했을 가능성도 열어 둔다. 리브너프는 원인을 먼저 정하지 않고, 서비스에서 관찰되는 결과가 시간에 따라 움직이는지부터 보려 한다.

클로드 오퍼스 5.5는 2026년 9월 22일 출시됐다. 리브너프의 첫 일일 측정은 출시 약 2.5일 뒤인 9월 24일 22시 10분(UTC)에 이뤄졌고, 이후 30일간 하루에 한 번씩 진행된다. 첫 10일을 기준 구간으로 삼고 다음 두 구간을 각각 10일씩 비교하므로, 첫 결과 행은 20일째 이후에 나온다. 사전 등록된 규칙에 따른 첫 변화 판정은 10월 24일 무렵에야 가능하다.

2,336개 후보에서 고른 78개 문제

모델이 늘 맞히는 문제는 작은 성능 하락을 알아채기 어렵다. 늘 틀리는 문제 역시 변화를 측정하는 데 도움이 적다. 개발자는 GPQA 다이아몬드(GPQA Diamond), MMLU-프로(MMLU-Pro), 수학 경시대회와 AIME 2025~2026 문제 등 후보 2,336개를 문항당 네 번씩 시험한 뒤, 맞힐 때도 틀릴 때도 있는 78개를 측정 패널로 골랐다.

이 선별 과정에서 오퍼스 5.5의 첫 시도 정답률은 약 93%였고, 문제의 97%는 네 번 모두 맞히거나 모두 틀렸다. 드물게 결과가 갈리는 문항에 측정 자원을 집중한 이유다. 다만 ‘가끔 맞히는 문제’만 골라 계산한 정답률에는 선택 편향이 생긴다. 실제로 선정 당시 54.7%였던 통과율은 새 표본에서 62.0%로 올라갔고, 이후 탐지 능력 계산에는 새 표본의 수치가 쓰였다.

패널을 채택한 뒤에는 매일 같은 문제를 다시 낸다. 문항마다 출시 직후의 성적과 비교하므로, 쉬운 문제와 어려운 문제를 섞어 평균을 낼 때 생기는 영향을 줄일 수 있다. 채점에는 답이 정확히 일치하는지 확인하는 방식을 쓰며, 판정 기준 자체가 흔들릴 수 있는 별도의 AI 채점 모델은 두지 않는다. 개발자가 예상한 탐지 범위는 10일 구간에서 정답률 약 7.5%포인트 변화다.

토큰 수에서 먼저 보인 추론 강도 차이

리브너프는 본 측정에 앞서 장치가 알려진 성능 변화를 포착하는지 시험했다. 추론 강도를 높게 설정했을 때와 비교해 ‘낮음’ 설정에서는 출력 토큰 수가 62% 줄고 정확도는 8.3±4.5%포인트 낮아졌다. ‘중간’ 설정에서는 토큰 수가 26% 줄고 정확도는 4.2±3.9%포인트 낮아졌다. 토큰 수의 움직임이 정확도 변화보다 더 뚜렷하게 드러난 셈이다.

그래서 리브너프는 정답률과 별도로 응답당 출력 토큰 수도 추적한다. 모델이 문제를 푸는 데 쓰는 출력이 줄어든다면 정답률이 눈에 띄게 움직이기 전에 그 흔적이 나타날 수 있다는 판단이다. 단, 토큰 수 변화만으로 왜 품질이 달라졌는지를 설명하지는 않는다. 이 프로젝트는 추론 강도를 매번 명시해, 기본 설정의 변화가 측정 결과에 섞이지 않도록 한다.

반면 오퍼스 5.5 대신 오퍼스 5를 투입한 시험에서는 차이를 99% 기준으로 구별하지 못했다. 정확도 차이는 −3.8±6.3%포인트, 토큰 수 차이는 −23%였다. 본 실험의 10일 구간은 이 검증보다 표본이 약 2.5배 많지만, 그것만으로 같은 계열 모델의 교체를 알아낼 수 있는지는 아직 확인되지 않았다. 따라서 변화가 관측되지 않더라도 모든 종류의 변경이 없었다는 뜻은 아니다.

매일 같은 실행 환경을 지키는 법

현재 버전은 API 키 대신 맥스(Max) 구독 계정의 클로드 코드를 명령줄에서 실행한다. 평가의 뼈대로는 영국 AI 안전 연구소의 오픈소스 프레임워크 인스펙트(Inspect)를 사용한다. 모델의 출력을 완전히 똑같이 재현할 수는 없기에, 개발자는 질문·시스템 지시문·채점기와 실행 도구의 버전을 고정했다. 클로드 코드가 업데이트되면 측정 장치의 변화가 모델 변화처럼 보일 수 있어, 버전이 달라진 실행은 거부한다.

각 호출에는 고정된 짧은 시스템 지시문과 한 차례의 문답만 들어간다. 도구, 외부 연결 기능, 개인 설정, 이전 대화의 기억은 불러오지 않고 빈 작업 디렉터리에서 실행한다. 코드 문제는 모델이 텍스트로 낸 답을 별도 샌드박스의 숨겨진 테스트로 채점하며, 모델이 직접 코드를 실행하지 않는다. 프롬프트와 응답, 토큰 사용량, 지연 시간, 실행 도구 버전과 측정 장치의 식별값도 원시 로그에 남긴다.

구독 요금제의 한도는 토큰 수로 공개되지 않아, 프로젝트는 사용량 화면에 표시되는 비율을 읽어 실행 예산을 관리한다. 주간 또는 5시간 사용량이 정해 둔 선에 이르면 시도를 미루고, 그날의 측정이 끝날 때까지 매시간 다시 확인한다. 설계 문서상 전체 패널을 하루 한 번 돌려 10일 구간의 약 7.5%포인트 변화를 탐지하는 데 드는 비용은 주간 사용량의 약 3.6%다. 하루 실행에는 주 측정 외에 대조군도 포함된다.

두 번의 10일 구간과 대조군

리브너프가 ‘변화’를 선언하는 문턱은 높다. 첫 10일의 문항별 성적을 기준으로 이후 두 개의 10일 구간에서 차이를 계산하고, 두 구간 모두에서 99% 신뢰구간이 0을 벗어나야 한다. 차이의 크기도 최소 3%포인트여야 하며, 대조군에서 같은 방향의 변화가 나타나서는 안 된다. 악화뿐 아니라 개선에도 같은 기준을 적용한다.

대조군은 같은 실행 환경에서 패널의 GPQA 문항을 푸는 클로드 오퍼스 5다. 두 모델의 결과가 함께 움직인다면 오퍼스 5.5만의 변화보다 실행 환경이나 서비스 경로의 변화를 의심할 이유가 생긴다. 선정 절차, 검증, 주요 지표와 판정 규칙은 첫 연속 측정 전에 문서로 고정됐다. 결과를 본 뒤 유리한 문항이나 기준을 고르는 일을 막기 위한 장치다.

문항 자체의 결함도 기록한다. 78개 패널 문항과 뒤에 제외된 2개를 살핀 별도 감사에서는 정답표가 잘못된 것으로 보이는 문항 8개와 모호한 문항 30개가 발견됐다. 이 이유로 문항을 임의로 빼지는 않았으며, 해당 문항을 제외했을 때 결과가 달라지는지는 사전 등록된 추가 분석으로 확인한다. 안전 분류 장치가 생물학이나 일부 수학 문제를 거부하거나 오퍼스 5로 답하는 경우도 있어, 해당 표본은 거부 건수로 기록하고 영향을 받은 문항은 제외한다.

6일치 기록이 말해 주는 것

2026년 9월 29일 기준으로 쌓인 자료는 30일 중 6일치다. 기준 구간 10일 중 6일이 끝났고 빠진 날은 없으며, 매일 같은 측정 장치 식별값과 클로드 코드 버전 2.1.280으로 90개 표본을 실행했다. 다섯째 날에는 예산 보호 장치를 한 번 예외 처리했고, 그 사실을 변경 기록에 남겼다. 아직 기준 구간도 끝나지 않아 성능 저하 여부를 판정할 단계는 아니다.

측정 범위 역시 분명하다. 리브너프가 보는 것은 구독형 클로드 코드를 통해 제공되는 오퍼스 5.5이지, API로 직접 호출한 모델의 모든 동작이 아니다. 출시 직후 기준 성적도 절대적인 정상 상태는 아니다. 새 서비스 환경의 문제나 용량 압박 때문에 오히려 출시 초기 품질이 낮을 수도 있다. 개발자는 2025년의 품질 문제들이 의도적인 성능 축소가 아니라 인프라 오류로 드러났다는 점을 짚으며, 원인을 가정하지 않은 채 양방향 변화를 기록하겠다는 입장이다.

커뮤니티 의견

한 사용자는 출시 당일부터 모델을 측정하는 네르프 벤치(Nerf Bench)도 있다고 소개했다. 그곳은 기준점에서 10% 넘게 벗어나면 변화로 보며, 과거 오퍼스 4.6의 품질 저하를 포착했다고 주장했다. 이 사용자는 실제 성능 하락보다 신제품에 대한 초기 기대가 식으면서 품질이 낮아졌다고 느끼는 경우가 더 많을 것이라고 봤다. 답글에서는 로컬 모델에서는 같은 체감을 하지 않는다는 반박과, 개인의 인상에 지나친 의미를 부여한다는 재반박이 이어졌다.

다른 사용자는 측정을 계속하려면 후원 수단을 마련하고 별도 계정도 써야 한다고 제안했다. 서비스 제공자가 측정 계정에 더 좋은 모델을 줄 수도 있다는 의심이 근거였다. 이 의견은 누가 실험 대상 계정을 알아볼 수 있는지에 따라 측정 결과를 신뢰하는 방식도 달라질 수 있다는 우려를 드러낸다.

클로드 코드의 피드백 창을 둘러싼 경험담도 나왔다. 한 사용자는 긍정적 평가를 보낸 직후 실수가 늘어나는 듯해 이제는 창을 닫는다고 했고, 답글에서는 부정적 평가 뒤에 오히려 응답이 좋아진 듯했다는 정반대의 체감이 제시됐다. 두 사람 모두 개인적 관찰이라는 점을 전제로 했다. 같은 기능을 두고 상반된 기억이 나오는 모습은 반복 측정의 필요성을 보여준다.

서비스 환경의 잦은 변경을 원인으로 보는 의견도 있었다. 한 사용자는 프롬프트 문구, 캐시 조정, 추론에 쓰는 토큰의 최적화 등이 특정 작업에서 일시적인 퇴보를 만들 수 있다고 주장했다. 이에 다른 사용자는 그런 변화가 많다는 사실이야말로 우연한 변동 속에서 패턴을 찾아낼 위험을 키운다고 반박했다. 모델의 가중치가 아닌 주변 서비스의 변경을 어디까지 ‘모델 성능 저하’로 부를지도 쟁점이 됐다.

새 모델을 쓰는 사람이 점점 어려운 일을 맡기게 된다는 설명도 제시됐다. 한 사용자는 출시 직후에는 능력이 크게 늘어난 듯하다가, 며칠 뒤 모델이 감당할 수 있는 작업의 복잡도에 닿으면 갑자기 한계가 드러난다고 봤다. 답글에서는 자신의 업무 난도는 그대로인데 모델의 품질이 달라졌다는 반론이 나왔다. 또 다른 사용자는 과거 사용 기록에서 출시 몇 달 뒤 오류가 늘었다며 정밀도 축소 가능성을 추측했다.

현재까지 특정 작업의 출력 품질을 지켜봤지만 이상 신호를 보지 못했다는 사용자도 있었다. 반면 다른 사용자는 비교 대상 모델이 긴 설명을 늘어놓거나 지시를 무시한다며, 자신이 원하는 협업 방식에서는 품질 차이가 분명하다고 했다. 이 의견들은 정답률뿐 아니라 지시를 따르는 방식과 작업 흐름도 이용자가 체감하는 품질에 들어간다는 점을 드러낸다.

구독 서비스의 품질이 시간에 따라 달라지는 것이 공정한지 묻는 의견이 뒤따랐다. 또 한 사용자는 서버 부하에 따른 품질 차이를 살피려면 사용량이 많은 시간대의 성능까지 측정해야 한다고 제안했다. 이는 리브너프가 하루 한 번 같은 조건을 반복하는 방식과 별개로, 하루 안에서 일어나는 변동도 궁금하다는 문제 제기다.

끝으로 오퍼스 5.5가 최근에도 연구 수준의 질문을 잘 따른다는 사용자들이 있었다. 한 답글은 큰 규모의 코드 수정 작업을 빠르게 처리한 경험을 들며, 오히려 모델의 향상이 자신의 일에 미칠 영향을 걱정했다. 출시 뒤 품질을 논하는 자리에서도 실제 사용 경험은 작업 종류와 기대에 따라 크게 갈렸다.

핵심 통찰

리브너프가 바꾸려는 것은 ‘모델이 멍청해졌다’는 체감의 결론이 아니라, 그 주장을 확인하는 절차다. 같은 문항과 실행 환경을 고정하고 개선·악화에 똑같은 판정 규칙을 적용하면, 적어도 구독형 클로드 코드에서 큰 변화가 지속됐는지는 따져볼 수 있다. 앞으로 볼 지점은 두 차례의 10일 구간에서 정답률과 출력 토큰 수가 어떻게 움직이는지, 대조군에도 같은 흔들림이 있는지다. 결과가 변화 없음으로 나와도 가치가 있지만, 그것이 모든 작업과 제공 경로의 품질을 대신 설명하지는 않는다.


원본: GitHub - ninjahawk/livenerf: Benchmark for tracking model capability after release.

토론: Hacker News