AI 오판에 중국 선박 승선 직전까지 간 미군

미군은 AI가 잘못 판단한 선박 화물 정보를 토대로 중국 선박 승선 작전을 준비했다가 실행 직전에 보고서의 오류를 발견했다. CNN이 취재한 이 사건에서 무장 병력이 승선을 준비했고 군용기는 이미 공중에 떠 있었다. 정보 분석가가 챗봇으로 화물을 판별한 뒤 AI로 결과를 정식 정보보고서 형태에 맞춰 배포한 것이 발단이었다. 전쟁 중 판단을 빠르게 하려는 도구가 검증되지 않은 결론까지 빠르게 작전 현장으로 밀어 넣을 수 있다는 점에서 주목할 사건이다.

핵심 요약

  • 미군은 중국 선박에 핵무기 프로그램 관련 부품이 실렸다는 보고를 받고 가로채기 작전을 준비했지만, 작전 직전 화물에 대한 AI의 판단이 틀렸음을 발견했다.
  • 분석가는 챗봇으로 선박 정보를 검토하고 AI로 결과를 정식 정보보고서로 작성했으며, 익숙한 보고서 형식이 잘못된 결론을 군 내부에 퍼뜨리는 통로가 됐다.
  • 미군은 AI를 정보 분석과 표적 선정까지 확대하고 있지만, 부서마다 도구와 안전 기준이 달라 생성된 정보를 검증하는 단일 기준은 없다.
  • 취재원들은 AI의 환각(사실과 다른 내용을 그럴듯하게 생성하는 현상)뿐 아니라 분석가에게 더 빨리 보고서를 내도록 하는 압박도 위험을 키운다고 지적했다.
  • 토론에서는 기술적 오류를 지적하는 의견과 함께, 잘못된 정보를 믿고 행동하게 만드는 조직의 판단 구조가 더 큰 문제라는 반론이 나왔다.

중국 선박 승선 직전 발견한 오류

올봄 이란과의 전쟁이 진행 중이던 때, 미군 내부에 중동의 중국 선박이 핵무기 프로그램 관련 부품을 운송한다는 정보보고서가 돌았다. 사건을 아는 취재원 네 명에 따르면 미군은 선박을 가로챌 계획을 세웠다. 이 가운데 두 명은 무장 병력이 승선을 준비하고 있었다고 전했다. 군용기가 이미 공중에 떠 있었다는 진술도 나왔다.

작전이 실행되기 직전, 관계자들이 보고서의 근거를 더 살피면서 문제가 드러났다. 특수작전사령부 소속 분석가가 AI의 도움을 받아 보고서를 만들었고, 사용한 챗봇은 선박에 실린 물품을 잘못 판별했다. CNN은 실제로 어떤 화물이 실려 있었는지는 확인하지 못했다. 한 취재원은 보고서가 “완전히 거짓”이었다며 이 일이 “거의 전쟁을 시작할 뻔했다”고 말했다.

중국 선박에 대한 미군의 작전은 두 나라 사이의 무력 충돌로 번질 위험이 있었다. 이번 사건은 오류가 드러나 작전 전에 멈췄다는 점에서 가까스로 피한 사고다. 동시에 잘못된 정보가 얼마나 멀리 전달됐는지도 보여 준다. 화물 판별에서 시작된 결론이 무장 병력과 항공기의 움직임으로 이어진 뒤에야 재검토가 이뤄졌다.

챗봇의 화물 판별이 정식 보고서가 되기까지

분석가가 챗봇에 입력한 대상은 하와이에 있는 미 특수작전사령부 태평양사령부(US Special Operations Command Pacific)에서 나온 선박 적하목록 관련 정보였다. 적하목록은 선박에 실린 물품을 기록한 문서다. 사용한 챗봇이 시중 제품인지 미 정부 제품인지는 확인되지 않았다. 군과 정보기관의 AI 체계를 아는 전직 미국 고위 관계자는 내부 도구도 대체로 상용 제품과 크게 다르지 않다고 말했다.

챗봇은 공개 출처 정보와 정부가 보유한 비밀 신호정보를 결합해 화물에 관한 결론을 냈다. 신호정보는 통신·전자 신호 등을 통해 수집한 정보를 뜻한다. 문제는 서로 다른 종류의 정보를 합쳐 만든 답이 맞는지 충분히 확인되기 전에 다음 단계로 넘어갔다는 점이다. AI가 그럴듯하게 연결한 내용이 사실에 근거한 판단처럼 받아들여진 셈이다.

분석가는 이후 AI를 다시 사용해 조사 결과를 표준 정보보고서 형식으로 정리하고 배포했다. 이는 군 관계자들이 신뢰하는 형태의 문서다. 화물에 대한 최초의 오판과 그 오판을 공식 문서처럼 포장한 과정은 별개의 단계였지만, 이번 사건에서는 연달아 일어났다. 미 특수작전사령부 태평양사령부와 미 국방부는 CNN의 논평 요청에 답하지 않았다.

더 빠른 전장 판단을 향한 AI 확대

미군과 정보기관은 방대한 수집 정보를 분석하는 일부터 공격 표적 선정까지 AI 활용을 넓히고 있다. 예산 관리, 군수, 공급망처럼 전투와 직접 관련이 적은 업무도 대상이다. 군이 기대하는 이점은 전장에서 어느 목표를 공격하고 자산을 어디로 이동할지 더 빨리 결정하는 것이다. 관계자들은 훗날 중국이나 다른 적대국과 맞설 경우 AI 통합에서 뒤처질 수 없다고 본다.

피트 헤그세스(Pete Hegseth) 미 국방장관은 지난 1월 군의 AI 사용을 가속하는 전략을 발표했다. 그는 실험을 늘리고 관료적 장벽을 없애며 투자와 실행에 집중하겠다고 밝혔다. 전략을 알린 메모는 다양한 프로그램을 통해 모든 기밀 등급에서 일하는 민간·군 인력 300만 명이 미국의 AI 모델을 사용할 수 있게 하겠다는 목표도 담았다. 제한된 전문 조직에서만 쓰는 도구가 아니라 군 전반의 일상적인 업무 도구로 확산하겠다는 방향이다.

속도를 높이려는 이유는 분명하지만, 중국 선박 사건은 빠른 결론 자체가 위험해질 수 있는 업무를 드러냈다. 표적 선정이나 선박 차단처럼 한 번 실행하면 되돌리기 어려운 판단에서는 정보의 정확성이 결정적이다. AI가 분석 시간을 줄여 주더라도, 근거가 틀렸다면 절약한 시간만큼 잘못된 작전이 앞당겨질 수 있다.

부서마다 다른 도구와 검증 기준

여러 미국 정부 관계자에 따르면 AI 도입은 한곳에서 통일해 추진하는 방식이 아니다. 조직마다 다른 도구를 서로 다른 지시와 안전 기준 아래 사용한다. AI가 만든 정보의 사실 여부를 미국 정부 전체가 어떻게 확인할지 정한 단일 기준도 없다. 군과 정보기관 곳곳에 배치된 시스템은 신뢰도와 기능이 제각각이다.

이 차이는 특정 챗봇 하나의 성능을 따지는 것보다 넓은 문제다. 분석가가 어떤 도구를 쓰고, 그 결과를 누가 검토하며, 최종 보고서가 어디까지 전달되는지가 조직별로 달라질 수 있기 때문이다. 이번 사건에서 챗봇이 틀린 답을 냈다는 사실만으로는 오류가 작전 준비 단계까지 통과한 과정을 설명할 수 없다. 잘못된 답을 발견할 검증 절차가 언제 작동했는지도 함께 봐야 한다.

최근 워싱턴에서는 AI가 인간의 통제에서 벗어날 가능성을 둘러싼 경고가 논쟁을 키웠다. 그러나 중국 선박 사건이 보여 준 것은 더 당면한 위험이다. AI나 다른 자동화 체계가 만든 부정확한 정보를 사람이 믿고 중대한 결정을 내릴 수 있다는 뜻이다. 판단을 내리는 주체가 인간으로 남아 있어도, 그 판단의 재료가 잘못됐다면 안전장치가 충분하다고 보기 어렵다.

표적 선정에서 커지는 ‘사람의 검토’ 문제

취재원들은 군이 표적 선정을 지원하는 데에도 AI를 빠르게 활용하고 있다고 전했다. 현행 정책을 아는 한 취재원은 그 활용이 늘고 있지만, 의사결정 과정에 사람을 남겨 두는 방식이 민간인 피해나 아군 간 오인 공격을 어떻게 막을지에 관한 실질적인 지침은 없다고 말했다. 중국 선박 사건에서는 마지막 순간의 추가 확인이 작전을 멈췄다. 하지만 마지막 확인에 의존하는 절차라면, 언제나 같은 결과를 기대할 수는 없다.

이번에 나타난 종류의 AI 환각은 정부 전반에 이런 도구가 퍼진 뒤 정보기관에서 처음 벌어진 일이 아니라고 한 취재원은 설명했다. 보고서 작성에 AI를 쓰면 결론을 만들고 전달하는 속도도 빨라진다. 오류를 찾는 속도가 그에 맞춰 빨라지지 않으면, 잘못된 판단이 더 많은 사람에게 도달할 수 있다. 특히 보고서가 정해진 형식과 문체를 갖출수록 받는 쪽은 그 안의 근거까지 확인됐다고 받아들이기 쉽다.

AI 사용을 대체로 지지하는 일부 경력 정보 관계자도 분석가에게 더 빨리 정보를 생산하고 배포하라는 압력이 생긴다고 우려한다. 여러 취재원은 젊은 분석가일수록 이런 도구에 익숙하고, 결과를 비판 없이 신뢰할 가능성이 있다고 말했다. 한 취재원은 AI가 “나쁜 생각에 더 빨리 도달하게 한다”고 표현했다. 이번 사건에서 피한 것은 챗봇의 실수만이 아니라, 그 실수가 검증보다 먼저 작전이 되는 상황이었다.

커뮤니티 의견

한 사용자는 대형언어모델의 출력에 오류가 섞일 수 있다는 점은 알려진 특성인데, 이를 단지 ‘잘 이해되지 않은 기술’이라고 부르면 위험이 흐려진다고 주장했다. 그 의견에 대한 답글에서는 일반 사용자와 실제 운영자 다수가 한계를 충분히 이해하지 못한다는 뜻이라면 그 표현도 맞다고 봤다. ‘환각’이라는 말이 오류를 완곡하게 부른다는 지적에는, 기술 현상을 설명하는 용어가 문자 그대로 정확할 필요는 없다는 반론이 이어졌다.

한 사용자는 AI보다 오래된 정보 판단 체계의 문제를 먼저 짚었다. 정치적 목표에 맞는 정보를 찾아내려는 압력과 출처를 따지기 어려운 비공개 절차가 이미 잘못된 결정을 낳을 수 있으며, AI는 그 결과물을 더 매끈하게 만들어 의심하기 어렵게 한다는 주장이다. 답글에서는 미국 정보기관이 과거 러시아의 전면 침공을 사전에 정확하게 예측한 적도 있다며, 모든 판단을 똑같이 취급해서는 안 된다고 맞섰다.

또 다른 사용자는 과거 소련 장교가 미사일 조기경보를 그대로 상부에 올리지 않았던 사례를 떠올렸다. 자동화된 경고가 중대한 행동으로 곧장 이어지지 않도록 사람이 판단하는 순간의 중요성을 강조한 것이다. 이어진 답글들은 작은 오인이나 오경보가 강대국 간 충돌로 커질 수 있다는 점에 주목했다.

한 사용자는 이번 보도가 창피한 실수인 동시에 미국의 선박 추적 능력과 차단 의지를 드러내 억제 효과를 낼 수도 있다고 추측했다. 이에 대한 반론은 중국의 핵확산 정책을 언급하며, 이런 군사적 압박이 중국의 행동을 바꿀 것이라는 해석에 반대했다. 두 의견 모두 이번 보고서가 실제 중국 선박의 화물을 밝혀냈다는 뜻은 아니다.

한 사용자는 AI가 스스로 초지능이 되는 상황보다, 사람들이 AI를 적당히 똑똑하다고 믿고 부정확한 정보에 따라 움직이는 상황이 더 현실적인 위험이라고 봤다. 다른 사용자는 법률 업무에서도 AI가 만든 오류가 알려진 뒤 비슷한 문제가 반복됐다며, 경고 사례가 생기는 것만으로 조직이 행동을 바꾸지는 않는다고 지적했다. 그 답글은 보고서를 제때 내지 못했을 때의 불이익은 확실한 반면, 틀린 보고서의 문제는 나중에야 드러날 수 있다는 압박을 설명했다.

마지막으로 일부 댓글은 다른 공격 사건의 책임을 AI에 돌리는 주장까지 내놨다. 이에 대한 반론은 의사결정자가 원하던 결론을 AI가 정당화하는 구실로 쓰였을 가능성을 제기했다. 이번 중국 선박 사건을 넘어선 그 주장들의 사실관계와 별개로, 토론의 초점은 점차 ‘AI가 무엇을 출력했는가’에서 ‘누가 그 출력을 근거로 행동했는가’로 옮겨갔다.

핵심 통찰

이번 사건은 AI가 군사 판단을 대신하지 않아도 작전의 방향을 바꿀 수 있음을 보여 준다. 챗봇의 화물 오판은 표준 보고서 형식을 거쳐 승선 준비와 항공기 출동으로 이어졌다. 따라서 지켜볼 것은 모델의 오류율만이 아니다. 분석가가 결론의 근거를 확인할 시간과 책임을 갖는지, 조직마다 다른 검증 절차를 표적 선정과 같은 고위험 업무에서 어떻게 맞출지가 더 중요하다. 빠른 판단을 장려하는 전략이 빠른 재검증까지 요구하지 않는다면 같은 위험은 남는다.


원본: Exclusive: US military had close call after using AI for false intelligence report, sources say | CNN Politics

토론: Hacker News