해커 뉴스(Hacker News)에 무료 뉴스 리더를 소개한 개발자 샘의 웹사이트는 실제 이용자보다 자동화된 요청 때문에 심하게 느려졌다. 접속 기록을 살펴보니 전체 트래픽의 거의 절반이 웹사이트 변경 사항을 AI 뉴스레터로 요약한다는 한 서비스에서 왔다. 샘이 알리려던 제품은 이용자가 AI 관련 뉴스를 덜 보도록 설정할 수 있는 도구였다. 그 제품을 소개한 뒤 AI 관련 수집 요청에 대응해야 했다는 역설은 작은 웹사이트가 관심을 얻었을 때 방문자와 봇을 어떻게 구분하고 감당해야 하는지 보여준다.
핵심요약
- 샘이 개발한 맞춤형 뉴스 리더 스프링클즈(sprinklz.io)는 해커 뉴스에서 약 100개의 추천을 받았지만, 게시 후 사이트가 느려지고 며칠이 지나도 회복되지 않았다.
- 로그인해 활동하는 이용자는 많지 않은데 서버 부하는 높아, 샘은 URL 경로별 요청 기록과 웹서버 로그를 조사했다.
- 전체 트래픽의 거의 절반을 만든 한 서비스는 사이트 변경 사항을 감지해 AI 뉴스레터로 요약한다고 소개했으며, 샘은 그 접속을 차단했다.
- 샘은 AI 크롤러의 접근을 억제하면서 검색 관련 크롤러는 허용하고, 요청 횟수 제한과 인프라 개선도 진행했다.
- 해커 뉴스 토론에서는 봇 차단의 필요성과 함께 정상 이용자까지 막거나 사이트 운영 비용을 늘릴 수 있다는 우려가 나왔다.
AI 뉴스를 덜 보는 뉴스 리더
샘은 몇 년 동안 맞춤형 뉴스 리더 스프링클즈를 개발해 왔다. 이 서비스에서는 뉴스 피드에서 특정 주제의 노출 우선순위를 낮출 수 있다. AI나 거대언어모델(LLM) 이야기에 지친 이용자라면 관련 글을 뒤로 밀어 둘 수 있지만, 조정할 수 있는 주제가 AI로 한정된 것은 아니다. 이용자가 원하는 주제를 정하고 직접 맞춤 설정을 만들 수 있으며, 해커 뉴스 게시물의 추천 수 같은 정보도 활용한다.
샘이 스프링클즈를 해커 뉴스에 올리자 게시물은 약 100개의 추천을 받았다. 그는 LLM 이야기를 덜 보고 싶어 하는 사람들이 서비스의 기능을 반겼다고 해석했다. 무엇을 보여줄지만 정하는 대신 무엇을 덜 볼지도 이용자가 고르게 한다는 제품의 용도가 전해진 셈이다. 샘에게는 자신이 만든 도구를 알릴 좋은 기회였지만, 게시물 공개 후 웹사이트의 반응 속도가 크게 떨어지기 시작했다.
처음에 샘은 인기 게시물이 데려온 방문자 때문에 사이트가 느려졌다고 생각했다. 갑자기 관심을 받았으니 서버가 평소보다 바빠지는 일도 예상할 만했다. 그러나 속도 저하는 게시 후 며칠이 지나도 이어졌고 오히려 심해졌다. 단순히 주목받은 날에만 트래픽이 몰렸다가 끝난 상황은 아니었다.
이용자 수와 맞지 않는 서버 부하
샘이 이미 기록하고 있던 지표에는 로그인해 실제로 활동하는 이용자가 소수로 나타났다. 그런데 서버에는 그 이용 규모와 어울리지 않을 만큼 높은 부하가 걸리고 있었다. 사람이 뉴스 리더를 많이 사용해서 느려진 것이라면 활동 이용자의 기록에도 그 흔적이 보여야 했다. 샘은 방문자가 늘었으니 서버 용량부터 키우기보다, 서버가 무엇을 처리하느라 바쁜지 살펴보기로 했다.
그는 모든 엔드포인트(서버가 요청을 받는 URL 경로)에 상위 수준의 기록을 추가해 각 경로에 요청이 몇 번 들어오는지 집계했다. 이 방식은 서버 전체가 바쁘다는 사실을 넘어, 요청이 사이트의 어떤 부분으로 향하는지 보여준다. 뉴스 리더를 이용하는 사람이라면 기사를 가져오고 화면에서 내용을 확인하는 흐름이 있을 것이다. 경로별 기록을 보자 그 예상과 실제 요청 사이에 큰 차이가 드러났다.
요청 대부분은 뉴스 기사를 가져오려는 시도조차 하지 않았다. 스프링클즈는 자바스크립트로 화면을 구성하는 단일 페이지 애플리케이션(SPA)이다. 샘의 설명대로라면 상당수 접속은 페이지를 표시하는 데 필요한 자바스크립트도 실행하지 않은 채 요청을 보냈다. 서버 부하는 높았지만, 그 부하를 만든 접속 다수가 제품의 주된 기능을 사용하고 있지는 않았던 셈이다.
화면도 열지 않는 접속의 출처
경로별 기록은 비정상적인 접속 양상을 보여줬지만, 누가 요청을 보내는지 알려면 더 살펴봐야 했다. 샘은 웹서버 엔진엑스(NGINX)의 집계 로그를 확인하며 요청이 많이 들어온 출처를 추적했다. 그 과정에서 특히 눈에 띄는 한 접속 주체를 발견했다. 전체 트래픽의 거의 절반이 그곳에서 오고 있었다.
샘은 해당 서비스의 이름을 공개하지 않았다. 그가 찾아본 서비스 소개에는 웹사이트의 변경 사항을 감지하고, 바뀐 내용을 AI 뉴스레터로 요약한다는 설명이 있었다. 샘이 관찰한 접속 방식은 자신의 사이트에 분당 여러 차례 요청을 보내며 변화를 확인하는 것이었다. 그는 이 서비스에서 오는 요청을 차단했다.
변경 사항을 알려주는 기능과 그 기능을 위해 사이트에 반복해서 접속하는 방식은 운영자에게 다르게 다가온다. 서비스를 이용하는 사람이 적더라도, 외부 시스템이 자주 확인 요청을 보내면 서버는 매번 그 요청을 처리해야 한다. 이번에는 한 서비스가 트래픽의 거의 절반을 차지해 부하의 출처가 뚜렷했다. 샘이 해커 뉴스의 관심을 처음에는 반겼다가 접속 기록을 다시 보게 된 이유도 여기에 있다.
검색 봇과 취약점 탐색이 한꺼번에
로그에는 과도한 요청을 보낸 그 서비스만 있었던 것이 아니다. 자신이 누구인지 밝히는 익숙한 크롤러(웹페이지를 자동으로 방문해 정보를 모으는 프로그램)도 여럿 보였다. 샘은 클로드(Claude) 봇과 오픈AI(OpenAI) 봇, 구글(Google)의 검색 색인 크롤러 등을 확인했다고 적었다. 같은 자동 접속이라도 검색에 쓰이는 요청과 AI 관련 수집 요청이 함께 들어오고 있었다.
취약점 스캐너로 보이는 접속도 기록에 남았다. 누군가 -/wp-content/phpinfo.php 경로에 접근하려 했는데, 샘의 웹사이트는 워드프레스(WordPress) 사이트가 아니다. 이 요청은 뉴스 리더를 사용하려는 행동과도, 정상적인 화면 구성 과정과도 거리가 멀다. 샘이 접속을 구분해야 했던 대상에는 콘텐츠 수집뿐 아니라 사이트의 취약한 경로를 찾는 시도까지 포함돼 있었다.
그렇다고 샘은 모든 봇을 같은 방식으로 막지 않았다. 검색 크롤러까지 차단하면 검색을 통해 사이트를 찾는 경로도 막힐 수 있기 때문이다. 그는 어떤 자동 접속은 줄이고 어떤 접속은 남길지 선택했다. 로그 조사는 단순히 ‘봇이 많다’는 결론을 내리기보다, 접속 목적과 빈도에 따라 대응을 나누는 출발점이 됐다.
robots.txt와 요청 제한을 더하다
샘은 robots.txt(크롤러에 사이트 접근 지침을 알리는 파일)를 추가했다. AI 스캐너 대부분에는 방문을 자제하도록 알리고, 구글봇을 비롯한 검색 관련 트래픽은 허용하는 내용이었다. 이는 모든 자동 접속을 차단하는 조치가 아니라, 사이트를 검색에서 발견할 수 있는 통로는 남겨 두는 선택이다. 과도한 반복 접속에 대응하기 위해 요청 횟수 제한도 추가했다.
취약점 탐색으로 보이는 경로도 그냥 넘기지 않았다. 샘은 클로드에 로그에서 발견한 취약점 관련 경로를 요청하고, 스캐너의 접근을 흉내 내도록 시켜 외부에 드러나는 내용이 없는지 점검했다. 자신이 워드프레스를 쓰지 않더라도 그런 경로를 두드리는 요청이 들어온다는 사실을 확인했기 때문이다. 접속을 막는 작업과 함께, 요청을 받았을 때 사이트가 무엇을 내보내는지도 확인한 것이다.
이 조치들은 서로 맡는 역할이 다르다. robots.txt는 크롤러에 접근 방침을 알리고, 요청 횟수 제한은 짧은 시간에 몰리는 접속을 제어한다. 엔진엑스 로그를 살펴본 작업은 어느 출처에 대응할지 판단하는 근거가 됐다. 샘이 처음 느낀 문제는 막연한 속도 저하였지만, 조사 뒤에는 특정 서비스의 반복 접속과 여러 종류의 자동 요청으로 나눠 볼 수 있게 됐다.
봇 차단에서 사이트 속도 개선으로
샘이 가장 중요한 교훈으로 꼽은 것은 사이트 자체를 더 빠르게 만드는 일이었다. 그는 실제 이용자의 요청이 많이 들어와도 처리할 수 있고, 높은 부하가 걸렸을 때도 더 잘 확장되는 웹사이트를 원한다고 밝혔다. 특정 서비스를 차단하고 요청 횟수를 제한하는 것은 눈앞의 트래픽에 대한 대응이다. 실제 이용자가 많이 찾아오는 상황까지 대비하려면 사이트의 처리 성능도 개선해야 한다는 판단이다.
샘은 이 일을 겪은 뒤 몇 주 동안 기반 인프라를 여러 곳 손봤다. 그는 그 개선이 모든 이용자에게 상당한 성능 향상으로 이어질 것으로 기대했다. 이번 기록에는 개선 전후의 구체적인 처리량이 제시되지는 않았지만, 대응의 방향은 분명하다. 자동화된 요청을 구분해 부하를 줄이는 동시에, 남아 있는 요청을 사이트가 더 잘 처리하도록 만들겠다는 것이다.
스프링클즈가 이용자에게 약속하는 것은 자신의 뉴스 피드를 직접 조정할 수 있는 선택권이다. 하지만 그 기능을 쓰려면 먼저 사이트가 빠르고 안정적으로 열려야 한다. 샘의 경험은 인기 게시물로 얻은 관심이 제품을 알리는 데 그치지 않고, 운영자가 평소 보지 못했던 서버의 약점까지 드러낼 수 있음을 보여준다. 더 많은 실제 이용자를 맞을 준비와 원치 않는 자동 접속에 대한 대비가 동시에 필요해진 것이다.
커뮤니티 의견
한 사용자는 스팸과 취약점 탐색, 공격적인 대량 수집 때문에 여러 클라우드 사업자의 트래픽을 자신의 사이트 대부분에서 차단했다고 했다. 그는 차단한 한 클라우드에서도 특정 도메인에 하루 100만 건의 요청이 계속 들어온다고 주장했다. 다만 업무용 VPN을 통해 같은 클라우드를 거치는 정상 이용자까지 영향을 받는다는 점을 차단의 어려움으로 꼽았다.
다른 사용자는 봇에 대응하는 방법을 소개한 글이 널리 퍼진 뒤 자신의 서버가 봇 트래픽에 압도됐다고 회고했다. 그가 소개했던 방법은 봇에 압축된 대용량 데이터를 보내는 것이었다. 답글에서는 그런 데이터를 전송하는 일 자체가 대역폭을 쓰며, 잘못 적용되면 정상 이용자에게도 영향을 줄 수 있다는 지적이 나왔다.
해커 뉴스에 자신이 만든 게임 링크를 댓글로 올렸다는 사용자는 반가운 반응과 공격 시도가 함께 찾아왔다고 했다. 작품을 좋게 본 사람에게 메시지도 받았지만, SQL 주입 시도와 공격적인 입력, 사이트를 조금 바꿔 복사한 사례도 겪었다. 그는 이 일이 AI가 등장하기 전이었다며, 링크 하나가 다양한 사람과 자동화된 접속을 한꺼번에 불러올 수 있다고 설명했다.
크롤러를 유형별로 구분해야 한다는 의견도 나왔다. 한 사용자는 검색용 봇과 이용자의 AI 대화에서 비롯된 요청은 서버 로그에서 구별할 수 있다며, 후자는 사이트에 가치 있는 접속일 수 있다고 봤다. 반론자는 AI가 내용을 대신 전달해 이용자가 원래 웹사이트에 방문할 필요를 줄인다면, 그 접속이 운영자에게 어떤 가치를 주는지 물었다.
직접 봇 검증 장치를 만든 한 사용자는 정상 크롤러를 허용한 뒤에도 전체 트래픽의 80% 넘게 검증을 통과하지 못하는 봇이었다고 전했다. 그는 기존 애플리케이션에서 허용된 접속인지 먼저 확인하고, 그렇지 않을 때만 검증 화면으로 보내는 방식을 택했다. 답글에서는 이런 검증이 정상 이용자의 접근성까지 해칠 수 있다는 우려가 제기됐다.
또 다른 사용자는 클로드가 웹 로그에서 나쁜 접속의 패턴을 찾는 데 도움이 됐다고 했다. 자신이 운영하는 위키에서는 메타(Meta)의 크롤러가 robots.txt를 무시하며 사실상 서비스 거부 상태에 가까울 만큼 요청을 보냈고, 결국 차단했다고 설명했다. 그는 페이지를 요청하면서 CSS나 자바스크립트, 파비콘은 가져오지 않는 양상도 눈에 덜 띄는 봇을 알아보는 단서로 들었다.
한 사용자는 클로드봇 때문에 한 달 구글 클라우드(GCP) 요금이 1만 달러 나왔다고 주장했다. 그는 누군가 자신의 소프트웨어를 복제하려고 AI 도구를 썼을 가능성을 추측했다. 답글에서는 상대의 AI 사용료가 반드시 컸던 것은 아니며, 비효율적으로 만들어진 코드가 원래 사이트에 많은 요청을 보냈을 수도 있다는 반론이 나왔다.
핵심통찰
샘의 사례에서 중요한 것은 AI 봇의 방문 자체보다 서버를 바쁘게 하는 요청과 실제 이용자의 활동이 얼마나 다를 수 있는지다. 경로별 기록과 웹서버 로그를 함께 보자 기사도 가져오지 않는 요청, 트래픽의 거의 절반을 차지한 서비스, 검색 크롤러와 취약점 탐색을 구분할 수 있었다. 샘은 일부 접속을 막으면서 검색 통로는 남겼고 사이트 성능도 손봤다. 앞으로 관건은 운영자가 이런 차이를 계속 식별해 정상 이용자의 접근을 지키면서 반복 수집의 비용을 감당 가능한 수준으로 낮출 수 있느냐다.
원본: Sammy’s Blog
토론: Hacker News