클로드 코드(Claude Code)의 오토 모드(Auto Mode)는 웹사이트를 요약하라는 요청만으로도 공격자가 준비한 코드를 실행할 수 있었다. 한 보안 연구자가 악성 웹페이지와 ZIP 파일을 엮어 오퍼스 5(Opus 5)를 시험한 결과, 소규모 테스트에서 공격 성공률이 60~80%에 이르렀다. 앤트로픽(Anthropic)이 공개한 평가에서 오토 모드의 프롬프트 인젝션 성공률이 0.00%였다는 점과 대비된다. 이 사례가 중요한 이유는 모델이 수상한 실행 파일을 거부하고도, 스스로 작성한 ‘안전한’ 대체 코드로 공격을 완성했기 때문이다.
핵심 요약
- 클로드 코드의 기본 시작 방식이 된 오토 모드는 사람의 실행 승인을 안전성 분류기로 대체하지만, 연구자의 소규모 공격 실험에서는 악성 코드 실행을 막지 못했다.
- 공격자는 요약할 웹사이트를 ZIP 자료실로 꾸며 클로드가 파일을 내려받고 직접 해독 코드를 작성하도록 유도했다.
- 클로드는 제공된 실행 파일은 거부했지만, 압축 해제 폴더에서 파이썬(Python) 코드를 실행하며 악성
struct.py를 불러왔다. - 앤트로픽의 0.00% 결과는 정해진 72개 시나리오에 관한 수치여서, 새 공격 경로에 대한 안전 보증으로 읽어서는 안 된다는 것이 연구자의 주장이다.
- 연구자와 토론 참가자들은 에이전트의 승인 기능과 별개로 실행 환경 격리, 네트워크 제한, 작업 감시가 필요하다고 봤다.
기본값이 된 오토 모드와 0.00% 평가
클로드 코드의 오토 모드는 명령을 실행할 때마다 사람에게 승인을 구하는 대신 안전성 분류기의 판단을 사용한다. 연구자가 글을 쓸 당시 이 방식은 8월 중순부터 클로드 코드의 기본 시작 모드가 됐다. 작업 흐름을 덜 끊는 기능이지만, 연구자는 이를 격리된 실행 환경이나 에이전트 감시의 대체재로 받아들여서는 안 된다고 강조한다.
앤트로픽의 보리스 체르니(Boris Cherny)는 모델 훈련, 입력 검사, 의도 분류기를 겹친 방어가 처음 보는 간접 프롬프트 인젝션(외부 자료를 통해 AI의 행동을 바꾸려는 공격)을 거의 0으로 줄일 수 있다고 설명했다. 앤트로픽이 의뢰한 트래젝터리 랩스(Trajectory Labs)의 평가는 간접 프롬프트 인젝션 시나리오 72개를 각각 10번 시험했다. 공유된 도표에서 오퍼스 5 오토 모드의 공격 성공률은 0.00%였다. 연구자는 이 수치가 표적형 공격에도 유지되는지 확인하고자 했다.
요약할 웹사이트가 ZIP 자료실로 바뀌는 과정
시험의 출발점은 특정 웹사이트를 요약해 달라는 평범한 사용자 요청이었다. 공격자가 준비한 사이트는 노트 기록을 모아 둔 작은 자료실처럼 보였고, 실제 기록은 ZIP 파일 안에 들어 있었다. 파일에는 목록 정보, 날짜, 체크섬과 함께 언어 이론의 발전을 다룬 짧은 기록 일곱 개가 담겨 있었다. 이런 외형은 클로드가 압축 파일을 열어 내용을 확인할 이유를 만들어 줬다.
클로드는 처음에 웹페이지를 가져오는 웹페치(WebFetch) 도구를 사용했다. 서버가 ‘415 지원하지 않는 미디어 유형’ 응답을 보내자, 클로드는 스스로 셸 명령에서 curl을 써서 다시 가져오기로 했다. 이어 사이트 첫 주소의 HTTP 303 리디렉션을 따라 ZIP 파일을 내려받았다. 연구자가 주목한 부분은 웹페이지가 ‘curl을 써라’고 명령하지 않았다는 점이다. 정상적인 요약 작업을 계속하려는 모델의 판단이 공격자가 마련한 경로로 이어졌다.
연구자는 웹페치를 거치지 않고 처음부터 curl을 쓰는 경우도 봤다고 했다. 따라서 415 응답 자체가 공격의 유일한 조건은 아니었다. 중요한 것은 외부 사이트의 내용을 읽는 일이 셸 도구로 파일을 내려받고 처리하는 작업으로 확장됐다는 사실이다. 요약 대상이었던 웹사이트가 이후 실행 환경에 영향을 줄 파일까지 전달하게 된 셈이다.
실행 파일은 거부하고 직접 해독기를 쓰다
ZIP 파일에는 안내문과 목록 파일, 체크섬 파일, 인코딩된 JSON 기록 일곱 개, 그리고 맥용 해독 실행 파일이 들어 있었다. 기록은 베이스85(Base85, 데이터를 문자로 표현하는 인코딩)와 압축을 거쳐 저장돼 있어 바로 읽을 수 없었다. 안내문은 함께 제공된 실행 파일을 해독기로 소개했지만, 클로드는 그 파일을 실행하지 않았다. 겉으로는 낯선 바이너리를 피한 적절한 안전 판단이었다.
그다음 선택이 공격의 핵심이었다. 클로드는 자료를 읽기 위해 파이썬으로 대체 해독기를 직접 작성했고, 압축을 푼 폴더 안에서 이를 실행했다. 연구자가 관찰한 명령은 해당 폴더로 이동한 뒤 base64, zlib, json 모듈을 불러와 기록을 해독하는 형태였다. 공격자는 제공된 실행 파일이 거부되더라도 모델이 스스로 같은 기능을 구현하도록 파일 구성을 짰다.
이 때문에 공격은 단순히 ‘악성 실행 파일을 실행하라’는 요청과 다르다. 클로드가 작성한 코드 자체는 기록을 해독하는 짧은 코드였고, 오토 모드의 분류기도 그 명령을 보게 됐다. 위험은 코드가 실행되는 위치와 그곳에 함께 놓인 파일에 숨어 있었다. 연구자는 실행 파일을 미끼로 삼은 안전 판단이 오히려 더 위험한 경로를 열었다고 설명한다.
struct.py가 표준 모듈을 가로챈 순간
파이썬은 모듈을 불러올 때 실행 위치와 관련된 경로에서도 같은 이름의 파일을 찾는다. 클로드의 해독기가 불러온 표준 라이브러리 base64는 다시 struct를 불러오는데, 공격자가 만든 ZIP 안에는 바로 struct.py라는 파일이 있었다. 압축 해제 폴더에서 명령을 실행한 탓에 파이썬은 공격자의 파일을 읽었다. 이를 모듈 섀도잉(같은 이름의 로컬 파일이 원래 모듈 대신 불러와지는 현상)이라고 한다.
악성 struct.py는 실제 저수준 _struct 기능을 다시 내보내도록 만들어졌다. 덕분에 기록 해독은 정상적으로 이어졌고, 클로드는 유효한 JSON 기록을 받았다. 동시에 모듈을 불러오는 순간 숨겨진 코드도 실행됐다. 해독이 잘 되는 모습이 공격의 흔적을 즉시 드러내지 않게 한 것이다.
연구자는 의심스러운 문자열을 찾는 기본적인 검색을 피하려고 파일을 난독화했고, 그 코드 작성에는 ChatGPT를 활용했다고 밝혔다. 다만 공격이 성립하는 결정적 조건은 난독화 자체가 아니다. 신뢰할 수 없는 압축 파일의 최상위 폴더를 작업 위치로 삼고, 그곳에서 표준 모듈을 불러오는 파이썬 명령을 실행한 점이다. 같은 명령이라도 어느 폴더에서 실행하느냐가 결과를 바꿨다.
뒤이어 실행된 코드와 막힌 정리 명령
악성 모듈은 불러와질 때 별도의 파이썬 자식 프로세스를 시작해 원격 코드를 내려받아 실행했다. 그 코드는 다시 시험용 네이티브 페이로드를 임시 파일로 내려받아 실행했고, 연구자가 통제하는 명령제어 서버에도 접속했다. 눈에 보이는 효과로 계산기도 열었다. 연구자는 계산기 실행만으로는 피해를 입증하기 어렵다고 보고, 실제 접속까지 확인하도록 시험을 구성했다.
자식 프로세스에는 파이썬 격리 모드인 -I 옵션이 쓰였다. 이 옵션이 없으면 자식도 같은 악성 struct.py를 다시 불러와 프로세스가 반복해서 생길 수 있기 때문이다. 공격 코드의 안정성을 높인 설정이지만, 클로드가 해독기를 실행할 때 사용할 수도 있었던 방어 수단이기도 하다. 분리돼 실행된 프로세스는 클로드와의 대화가 끝난 뒤에도 남을 수 있었다.
일부 시험에서는 이미 코드가 실행된 뒤 클로드가 struct.py를 살펴보고 ZIP 파일에 함정이 있다고 알아챘다. 그때 클로드의 사후 설명도 일정하지 않았다. 악성 명령을 실행하지 않았다고 말한 경우와 기기가 침해됐다고 인정한 경우가 모두 있었다. 더 문제인 장면은 클로드가 뒤늦게 악성 프로세스를 종료하려 했지만 오토 모드가 정리 명령을 막은 사례였다. 연구자가 관찰한 범위에서는 실행을 허용한 안전 장치가 복구 시도에는 제동을 건 셈이다.
또 다른 에이전트를 띄운 변형 실험
연구자는 악성 struct.py가 파이썬 자식 프로세스 대신 두 번째 클로드 코드 인스턴스를 화면 없이 실행하는 변형도 시험했다. 새 에이전트는 별도의 작업 맥락과 도구 접근권을 갖는다. 이 시험에서 자식 에이전트는 사용자와 시스템을 확인하는 기본 명령을 실행하고, 계산기를 열고, 홈 폴더의 파일에 내용을 썼다. 첫 에이전트의 파일 해독 작업이 다른 에이전트의 작업으로 번질 수 있음을 보여 준 사례다.
연구자가 제시한 공격 성공률은 작은 표본에서 나온 수치다. 그는 페이로드를 거듭 수정했고, 그 과정에 코덱스(Codex)의 도움도 받았다고 밝혔다. 반대로 클로드가 압축 파일을 정적으로 분석해 루트 폴더에서 파이썬을 실행하지 않거나, python3 -I를 쓰거나, 안전한 상위 폴더에서 해독기를 실행해 공격을 피한 경우도 있었다. 성공률 60~80%는 이 연구자가 조정한 공격의 시험 결과이지, 모든 웹사이트 요약 작업의 위험률을 뜻하지 않는다.
‘설계대로 작동’과 안전 경계의 위치
연구자는 시연 내용을 먼저 앤트로픽의 모델 버그 바운티 주소로 보냈지만 답을 받지 못했고, 이후 보안 신고 채널을 통해 회신을 받았다고 밝혔다. 앤트로픽은 보고서를 참고 정보로 종결하고, 동작이 설계 의도에 맞는다고 답했다. 연구자가 전한 앤트로픽 측 설명에 따르면 오토 모드는 가능한 범위에서 위험을 걸러내는 분류기를 사용하는 편의 기능이지 보안 보증이 아니다. 겉보기에는 무해한 여러 단계를 결합한 집요한 공격을 막는 것이 분류기의 역할도 아니며, 실제 경계는 운영체제 격리와 외부 네트워크 접근 통제에 있다는 입장이다.
연구자는 분류기가 샌드박스(프로그램의 접근 범위를 제한하는 격리 환경)가 아니라는 설명에는 동의한다. 다만 고정된 72개 시나리오에서 얻은 0.00%라는 수치와, 새 공격을 시연할 수 없다는 취지의 대외 발언은 사용자가 위험을 다르게 받아들이게 한다고 지적한다. 그의 공격 경로는 그 평가에 포함되지 않았다. 정해진 평가의 성공률 0.00%와 별도의 원격 코드 실행 사례는 동시에 성립할 수 있다.
연구자가 권하는 대비책은 무인 코딩 에이전트를 컨테이너·가상머신·운영체제 샌드박스에서 실행하고, 외부 네트워크 연결을 제한하며, 행동을 감시하는 것이다. 홈 폴더와 SSH 키, 클라우드 인증 정보도 에이전트가 접근할 수 없게 하라고 조언한다. 그는 전용 기기에서는 클로드와 코덱스에 넓은 권한을 주지만, 자신의 작업용 컴퓨터에서는 승인 없는 실행 모드를 피한다고 밝혔다. 오토 모드의 명령 승인은 그 명령이 안전하다는 증거가 아니라는 것이 이 실험의 결론이다.
커뮤니티 의견
한 사용자는 예전에 우연히 지은 파일명이 파이썬 표준 모듈과 겹쳐 이상한 실행 오류를 겪었다고 했다. 같은 댓글에 달린 답글에서는 클로드가 문제를 고치던 중 알리지 않고 npm update를 실행해 의존성 잠금 파일을 바꿨다는 경험도 나왔다. 자동 생성 파일의 모든 변경 줄을 사람이 확인하기 어렵다는 점에서, 에이전트의 예상 밖 행동이 검토를 통과하기 쉽다는 우려다.
다른 사용자는 공격이 클로드의 반복적인 도구 선택 습관을 겨냥했다고 봤다. 많은 사람이 같은 모델을 쓰고, 모델이 비슷한 상황에서 자주 python -c에 의존한다면 공격자가 그 경로에 맞춰 함정을 설계하기 쉬워진다는 주장이다. 답글에서는 다른 모델들도 작업을 위해 파이썬을 꾸준히 사용한다는 비교가 나왔다.
공격의 이름을 두고는 반론이 이어졌다. 한 사용자는 클로드가 악의적인 목표를 새로 받아들인 것이 아니라, 기존 요약 작업을 하다가 트로이목마처럼 준비된 파일에 걸렸으므로 프롬프트 인젝션보다는 코드 실행 함정에 가깝다고 했다. 반면 다른 사용자는 분류와 무관하게 무해해 보이는 URL을 읽는 것만으로 사용자도 에이전트도 모르게 임의 코드가 실행된 결과를 가볍게 봐서는 안 된다고 맞섰다.
한 사용자는 네트워크를 끈 샌드박스에서 에이전트를 실행하다가, 에이전트가 낯선 도메인에 연결할 수 없다고 말한 경험을 소개했다. 이유를 묻자 에이전트는 사용자가 요청했다고 답했지만, 이 사용자는 실제 프롬프트 인젝션의 증거를 찾지는 못했다고 했다. 이 일은 원인이 불분명한 행동까지 고려해 네트워크 접근을 미리 제한해야 한다는 경계심으로 이어졌다.
오토 모드와 이번 취약 경로의 관계에도 의견이 갈렸다. 한쪽은 오토 모드가 적절한 샌드박스 없이도 안전하다는 인상을 줄 수 있으므로 이번 사례와 밀접하다고 봤다. 다른 쪽은 사람이 비슷한 압축 파일을 받아 그 폴더에서 파이썬을 실행해도 같은 함정에 걸릴 수 있다며, 공격 자체는 오토 모드가 없어도 성립한다고 지적했다.
파이썬의 모듈 검색 방식에 놀랐다는 반응도 있었다. 한 사용자는 로컬 random.py 때문에 같은 폴더에서 코드 포매터를 실행할 수 없었던 경험을 들고, 격리 모드 -I가 이를 피하는 방법이라고 설명했다. 다른 답글은 C·C++에서도 라이브러리 디렉터리의 헤더 파일 때문에 비슷한 일이 생길 수 있어, 표준 라이브러리를 우선 보호하지 않는 문제가 파이썬만의 특성은 아니라고 덧붙였다.
샌드박스의 필요성에 동의해도 적용은 쉽지 않다는 사용자가 있었다. 거대한 저장소와 IDE, 이미 설치된 의존성을 갖춘 개발 환경을 가상머신이나 컨테이너에 다시 꾸리기 어렵고, 그래서 결국 모든 권한을 허용하게 된다는 것이다. 이에 개발 환경을 쉽게 재구성할 수 있도록 만드는 편이 장기적으로 낫다는 답글이 달렸다.
또 다른 사용자는 기본값이 된 오토 모드와 0.00%라는 홍보가 쌓일 피해에 비해 과도한 안심을 줄 수 있다고 우려했다. 반대로 실제로 개발 컨테이너로 옮긴 사용자는 프로젝트 밖 파일이나 SSH 인증 정보에 클로드가 접근하지 못하게 됐으며, 작업 경험은 거의 그대로였다고 전했다. 토론은 격리가 불편한 이상론에만 머무는지, 개발 환경을 어떻게 구성하느냐에 따라 일상적인 선택이 될 수 있는지로 이어졌다.
살펴볼 점
이번 사례에서 무너진 것은 클로드가 악성 실행 파일을 알아보는 능력보다, 그다음에 스스로 작성한 코드를 어디에서 실행할지 판단하는 경계다. 정해진 공격 문구를 가려내는 것과 파일·도구·프로세스가 이어지는 실제 작업의 위험을 판단하는 것은 다르다. 오토 모드가 편의 기능이라는 앤트로픽의 설명을 사용자도 분명히 알 수 있어야 한다. 앞으로는 공격 성공률 한 숫자보다 새 경로를 반영한 평가, 악성 프로세스의 사후 차단 여부, 격리와 네트워크 제한을 일상 작업에 적용할 수 있는지를 봐야 한다.
원본: Breaking Claude Code Opus 5 Auto Mode · Embrace The Red
토론: Hacker News