재러드 시걸(Jared Siegel)은 LLM(대규모 언어 모델)을 쓰면서 요청 경로를 직접 살피려면 자체 프록시를 운영해야 한다고 주장한다. 제공업체의 활동 화면만으로는 어떤 작업이 토큰을 얼마나 썼고, 사용량이 왜 달라졌는지 판단하기 어렵다는 것이다. 그가 권하는 프록시는 여러 모델을 연결하는 통로인 동시에 키별 요청 기록을 남기고 경로를 바꾸는 통제 지점이다. 다만 해커뉴스(Hacker News) 토론에서는 같은 정보를 프록시 없이 모을 수 있다는 반론과, 구독 대신 API 요금을 낼 이유가 있느냐는 질문이 맞섰다.
핵심요약
- 시걸은 제공업체의 활동 화면보다 시간에 따른 토큰 사용량과 개별 요청 기록이 작업 방식을 판단하는 데 유용하다고 주장한다.
- 자체 LLM 프록시는 여러 제공업체와 모델을 하나의 접점으로 묶고, 키·클라이언트·모델별 호출 내역을 남길 수 있다.
- 가상 API 키를 쓰면 주된 제공업체 키를 여러 실행 환경에 흩어 놓지 않고, 모델과 제공업체를 바꿀 때도 설정을 덜 고칠 수 있다.
- 토론에서는 오픈텔레메트리 추적 정보나 로컬 세션 파일로도 사용 현황을 살필 수 있으며, 프록시는 장애 지점이 될 수 있다는 반론이 나왔다.
- 구독 요금과 API 종량제의 차이, 수집한 대화에 담긴 개인정보와 자격 증명도 관측 방식을 고르는 기준으로 제시됐다.
구독 화면 뒤에서 일어나는 일
시걸의 질문은 LLM으로 무슨 일을 하느냐보다 그 일을 어디서 들여다볼 수 있느냐에 맞춰져 있다. 코드를 작성하거나 정보를 찾는 사용자는 대개 제공업체의 유료 구독과 연결된 화면에서 모델을 만난다. 화면은 문자 기반일 수도, 그래픽 화면이나 음성 통화일 수도 있다. 어느 쪽이든 사용자의 데이터가 들어가고 모델의 응답이 돌아오는 흐름은 같다.
시걸은 이 거래 자체에는 만족하며, 지금도 기꺼이 비용을 낸다고 말한다. 불만은 결과가 돌아오기까지 어떤 요청이 오갔는지 파악하려 할 때 생긴다. 서비스가 작업이 진행되고 있다는 표시를 해주더라도, 그것만으로 사용자가 원하는 수준의 사용 내역을 보여주는 것은 아니라는 주장이다. 그의 관심은 답변을 받았는지에 그치지 않고, 그 답변을 얻는 동안 무엇이 쓰였는지로 향한다.
이 차이는 작업이 길어지거나 여러 도구가 모델을 호출할 때 더 중요해진다. 겉으로는 하나의 코딩 세션처럼 보여도, 사용자는 어느 호출에서 토큰이 쓰였는지 알고 싶을 수 있다. 시걸은 제공업체의 화면만 바라보는 방식으로는 이런 질문에 답하기 어렵다고 본다. 그래서 모델의 응답을 평가하는 일과 별도로, 요청이 지나가는 길 자체를 볼 방법을 찾는다.
활동 표시로는 부족한 토큰 기록
시걸이 요구하는 것은 엔지니어가 판단에 쓸 수 있는 시계열 데이터(시간에 따른 변화를 보여주는 기록)다. 토큰 사용량이 얼마였는지뿐 아니라 언제 변했고, 그때 어떤 작업이 진행됐는지를 연결해 봐야 한다는 뜻이다. 그는 서비스의 활동 표시를 실제 사용량 통계와 구분한다. 무언가 처리되고 있다는 신호만으로는 다음 작업에서 모델이나 설정을 바꿀지 결정하기 어렵다고 말한다.
제공업체의 분석 화면도 시걸에게는 충분한 답이 아니다. 그가 원하는 정보는 화면에 총량을 띄우는 데서 끝나지 않고, 요청 단위의 변화까지 조사할 수 있어야 한다. 특히 사용량이 예상과 다르게 나타났을 때 어느 호출에서 차이가 생겼는지를 좁혀야 한다. 따라서 문제는 통계 화면의 유무보다, 그 통계가 실제 작업과 얼마나 잘 이어지는가에 있다.
시걸은 오픈텔레메트리(OpenTelemetry·시스템의 추적 정보를 수집하고 전달하는 표준)로 데이터를 내보내는 선택지가 있다는 점을 모르는 것은 아니라고 밝힌다. 다만 그것만으로 자체 프록시를 둘 이유가 사라지지는 않는다고 본다. 관측은 그가 꼽는 이유 중 하나이고, 키 관리와 모델 연결, 요청 경로 변경도 함께 해결하고 싶기 때문이다. 그의 제안은 그래프를 하나 더 보는 방법이 아니라 요청을 다루는 위치를 바꾸자는 쪽에 가깝다.
여러 제공업체를 하나의 접점으로
시걸이 자체 프록시의 첫 번째 이점으로 꼽은 것은 여러 제공업체와 모델을 자신이 통제하는 단일 엔드포인트(요청을 보내는 접점)에 묶는 일이다. 프록시(사용자와 모델 제공업체 사이에서 요청을 전달하는 중계 서버)를 두면 각각의 작업 환경이 그 접점을 통해 모델을 호출하도록 구성할 수 있다. 그 자리에서 어떤 키가 어느 모델을 호출했는지 기록할 수도 있다. 제공업체가 여러 곳이어도 요청 내역을 살펴볼 출발점은 하나가 되는 셈이다.
그가 원하는 기록에는 모델 이름만 들어가는 것이 아니다. 어떤 클라이언트가 어떤 키로, 언제 요청을 보냈고 결과 상태가 어땠는지까지 확인할 수 있어야 한다. 그래야 특정 작업의 사용량을 조사할 때 막연히 서비스 전체의 활동을 훑지 않아도 된다. 요청을 보낸 도구와 사용한 키를 함께 보면 어디서 확인을 시작할지 좁힐 수 있다는 것이 시걸의 생각이다.
이 구조에서는 모델이나 제공업체를 바꾸는 방식도 달라진다. 시걸은 조합을 바꿀 때마다 작업 환경을 반복해서 다시 설정하는 수고를 줄일 수 있다고 강조한다. 요청이 향하는 곳을 자신이 관리하는 접점에서 조정하겠다는 구상이다. 다만 편리한 전환 기능만을 위해 프록시를 두자는 주장은 아니다. 호출 기록과 요청 경로를 같은 곳에서 다룰 수 있다는 점까지 합쳐서 프록시의 가치를 설명한다.
주된 API 키를 흩어 놓지 않는 법
시걸은 가상 API 키(프록시가 발급해 실제 제공업체 키 대신 쓰게 하는 키)도 자체 프록시의 이유로 든다. 주된 제공업체 키 하나를 여러 작업과 에이전트, 실행 도구에 넣어 두지 않으려는 것이다. 프록시를 통해 용도별로 키를 나누면 요청을 보낸 쪽을 기록과 연결해 살피기도 쉬워진다. 이는 키를 어디에 두느냐와 어떤 요청이 어디서 왔느냐를 함께 관리하는 방식이다.
여기서 키 분리는 단순한 정리 작업에 머물지 않는다. 같은 모델을 호출했더라도 서로 다른 도구가 보낸 요청을 구별할 수 있어야 사용량 기록이 쓸모 있어진다. 시걸이 요구한 로그에는 키와 클라이언트, 모델, 시간, 상태가 모두 들어간다. 프록시가 그 정보의 접점에 있으므로 작업별 호출 내역을 찾아볼 수 있다는 설명이다.
시걸은 독자에게 특정 프록시 제품을 권하지 않는다. 직접 통제할 수 있는 곳에서 운영하고, 고른 도구를 실제 필요에 맞춰 고치라고 말한다. 그 자신도 프록시에 기능을 추가해 사용하고 있다. 따라서 그의 제안에서 중요한 것은 유명한 제품을 설치하는 일이 아니라, 요청을 관찰하고 바꿀 권한을 사용자 쪽에 두는 일이다.
직접 고친 프록시와 20초짜리 조사
시걸은 자신이 쓰는 프록시를 수정해 더 자세한 정보를 볼 수 있게 했다고 밝힌다. 사용자 지정 MCP(모델 컨텍스트 프로토콜·모델이 외부 도구와 연결되는 규약) 서버 엔드포인트와 추가 기능도 넣었다. 이미 마련된 화면에서 볼 수 있는 항목에 맞춰 작업 방식을 바꾸기보다, 자신이 확인하려는 것에 맞게 중계 도구를 고친 것이다. 특정 제품을 추천하지 않는 태도 역시 이런 사용 방식과 맞닿아 있다.
그가 든 가장 구체적인 사례는 코딩 도중 발생하는 캐시 미스(재사용할 데이터를 캐시에서 찾지 못한 상태)다. 시걸은 프록시 기록을 보고 캐시 미스가 왜 일어났는지 손으로 20초 안에 찾아낼 수 있다고 말한다. 단순히 토큰을 많이 썼다는 결과를 보는 데서 그치지 않고, 변화가 생긴 이유를 해당 작업에서 조사할 수 있다는 이야기다. 그에게 필요한 가시성은 바로 이런 질문에 답할 수 있는 수준이다.
원인을 찾는 절차를 자동화한 것은 아직 아니다. 시걸은 자신이 쓰는 프록시에 API가 있어 자동화할 수는 있다고 덧붙인다. 지금 가능한 일과 앞으로 만들 수 있는 기능을 구분해 말하는 대목이다. 프록시가 모든 문제를 알아서 해결한다기보다, 문제를 확인할 데이터와 도구를 손에 쥐게 해준다는 것이 그의 경험담에 가깝다.
집에서는 배우고, 직장에서는 계측한다
글의 마지막에서 시걸은 인프라와 애플리케이션의 가시성, 데이터가 지나는 경로, 저장 방식을 직접 관리하자고 말한다. 집에서 이렇게 하는 이유는 재미있고 배우는 데 도움이 되기 때문이다. 직장에서는 이를 자신의 일을 제대로 하는 데 필요한 활동으로 본다. 같은 프록시 운영이라도 개인적인 호기심과 업무상의 요구가 함께 있다는 설명이다.
그는 LLM의 내부 작동을 면접장의 화이트보드에서 완벽하게 설명할 자신은 없을지 모른다고 인정한다. 대신 모델이 추론 서비스를 제공하는 동안 무엇이 일어나는지 계측할 수는 있다고 강조한다. 모델 자체를 모두 이해하는 일과 모델을 사용하는 시스템을 관찰하는 일을 구분한 것이다. 자신이 다룰 수 있는 요청 경로와 기록부터 확보하겠다는 태도다.
결국 시걸이 묻는 ‘무슨 일이 벌어지는지 아는가’는 답변의 품질이나 토큰 총량 하나로 끝나지 않는다. 어떤 키와 도구가 모델을 불렀는지, 예상과 다른 사용량이 나타났을 때 어디를 살펴볼지까지 포함한다. 자체 프록시는 그 질문에 답하기 위해 그가 선택한 운영 방식이다. 하지만 관측에 반드시 같은 방식이 필요한지는 토론에서 곧바로 쟁점이 됐다.
커뮤니티 의견
한 사용자는 관측을 위해 프록시를 요청 경로에 넣을 필요가 없다고 반박했다. 코덱스(Codex)와 클로드 코드(Claude Code)의 오픈텔레메트리 추적 정보나 다른 도구의 플러그인을 활용하면 도구 호출, 프롬프트, 토큰 사용량과 비용을 모을 수 있다는 것이다. 추적 정보 일부를 놓치는 것은 감수할 수 있지만, 프록시가 고장 나거나 과부하에 걸리면 팀의 작업이 막힐 수 있다고 지적했다. 이에 대한 답글에서는 도구가 남기는 기록만으로는 중간의 프록시가 요청을 어떻게 처리했는지 알 수 없다는 반론이 나왔다.
다른 사용자는 자체 프록시와 API 키를 쓰고 싶어도 구독 요금의 이점을 포기하기 어렵다고 했다. 월 200달러짜리 클로드 맥스(Claude Max) 구독의 주간 한도에 거의 매번 도달하는데, API 키로 시험했을 때는 2~3일 만에 200달러를 썼다는 경험을 들었다. 답글에서는 현재의 저렴한 구독이 이용자 확보를 위한 보조금에 기대고 있어 계속 같은 가격과 한도로 제공되리라 기대하기 어렵다는 견해가 나왔다.
세 번째 사용자는 자신의 조직이 프록시 대신 에이전트 연동과 규칙 엔진을 사용한다고 전했다. 요청을 모두 중계하는 서버를 두지 않고도 에이전트의 활동을 살피는 구성을 택한 사례다. 관측이 필요하다는 판단과 프록시가 필요하다는 판단은 구분해야 한다는 앞선 반론과도 이어진다.
또 다른 사용자는 테일스케일(Tailscale)이 무료로 제공하는 애퍼처(Aperture)를 대안으로 소개했다. 직접 소유하는 도구는 아니지만 자신의 테일넷(tailnet·테일스케일로 연결한 사설망) 안에서 접근을 어느 정도 통제할 수 있고, 에이전트의 활동을 보는 기능과 설정·확장 가능성도 좋다고 평가했다. 이 사용자는 애퍼처의 확장 기능을 작업 중이라는 이해관계도 함께 밝혔다.
다섯 번째 의견은 비용을 내는 방식에 따라 기록을 모을 곳을 달리해야 한다는 것이었다. API 종량제로 사용한다면 프록시가 유용하지만, 구독으로 쓴다면 클로드 코드의 로컬 JSONL(한 줄에 JSON 데이터 하나를 저장하는 형식) 파일을 수집하는 편이 쉽고 하위 에이전트의 활동도 더 잘 정리돼 있다는 주장이다. 조직 전체의 세션을 모을 때 얻는 가치가 크지만 자격 증명을 지우고 보안을 관리해야 한다고도 했다. 답글에서는 대화에 개인정보가 들어갈 수 있으므로 이를 단순한 코드 기록처럼 취급해서는 안 된다고 덧붙였다.
한 사용자는 직접 프록시를 운영하는 재미가 모든 사람에게 같은 가치를 갖지는 않는다고 했다. 복잡한 용어와 설정을 회사가 대신 처리해주기 때문에 월 20달러를 내는 사용자도 있다는 것이다. 글은 흥미롭게 읽었지만, 시걸이 집에서 즐기는 운영 작업을 다른 사용자에게도 필요한 일로 보기는 어렵다는 반응이다.
일곱 번째 사용자는 집에서 월 100달러짜리 오픈AI(OpenAI) 구독을 쓰면서 사용량이 사실상 무한하게 느껴진다며, 왜 이렇게 세밀한 관측이 필요한지 물었다. 답글은 제공업체의 기본 공유기에 만족하는 사람과 내부를 보려고 직접 라우터를 운영하는 사람의 차이에 비유했다. 다른 답글에서는 클로드의 캐시 유효 시간이 짧아 에이전트가 테스트를 기다리는 동안 사용 한도나 회사 예산을 예상보다 빨리 소모할 수 있으므로 관측이 필요하다고 주장했다.
여덟 번째 사용자는 샌드박스(격리된 실행 환경)에서 에이전트를 운영하려고 자체 프록시를 설정 중이라고 했다. 프록시가 가상 키를 발급하면 제공업체의 실제 API 키를 샌드박스에 넣지 않아도 되고, 요청을 살피거나 제어 장치를 둘 수도 있다는 설명이다. 이 사용자에게 프록시는 사용량을 보는 화면만이 아니라 에이전트와 외부 모델 사이에 놓인 통제 지점이다.
핵심통찰
시걸의 제안은 LLM 사용량을 나중에 확인하는 합계가 아니라, 작업 중 원인을 추적할 수 있는 기록으로 다루자는 것이다. 자체 프록시는 그 기록과 키 관리, 모델 전환을 한곳에 모으지만 모든 요청이 통과하는 장애 지점도 된다. 프록시 없이 추적 정보를 모을지, 구독의 가격 이점을 유지할지, 수집한 대화를 어떻게 보호할지는 사용 환경에 따라 달라진다. 앞으로 살펴볼 것은 그래프의 수보다 필요한 기록을 어떤 비용과 운영 부담으로 얻을 수 있는가다.
원본: If you don’t run your own LLM proxy, how the fuck do you even know whats going on?
토론: Hacker News