AI가 촉발한 전쟁 위기: 미군 작전을 멈춰 세운 '환각'의 실체
최근 전 세계 기술 업계와 군사 전문가들을 긴장하게 만든 사건이 하나 있었습니다. 지난 2026년 9월 18일(현지시간), CNN의 보도에 따르면 미군이 AI가 생성한 허위 정보로 인해 중국 선박을 나포하려다 작전을 급히 중단하는 아찔한 상황이 벌어졌는데요. 단순히 'AI가 실수를 했다'는 수준을 넘어, 군사 작전이라는 고위험 영역에서 AI의 '환각(Hallucination)' 현상이 얼마나 치명적인 결과를 초래할 수 있는지 실체를 드러낸 사건입니다.
챗봇이 쓴 보고서, 작전의 근거가 되다
사건의 전말은 이렇습니다. 중동 지역에서 이란과의 긴장이 고조되던 시기, 미 특수작전사령부(Special Operations Command)의 분석가는 선박의 화물 명세서를 분석하기 위해 AI 챗봇을 활용했습니다. 여기까지는 현대적인 군사 분석의 일환으로 보일 수 있습니다. 하지만 문제는 그다음부터였습니다.
AI 챗봇은 해당 선박이 핵무기 관련 부품을 운송하고 있다는 잘못된 결론을 내놓았습니다. 전형적인 AI의 '환각' 현상이었죠. 더 큰 문제는 분석가가 이 결과를 검증 없이 다시 AI를 통해 공식 정보 보고서 형식으로 변환해 배포했다는 점입니다. 이를 근거로 미군은 즉시 나포 작전을 준비했고, 무장 병력이 탑승을 준비했으며 군용기까지 출격시켰습니다. 다행히 작전 직전, 해당 정보가 허위임이 확인되어 천만다행으로 작전은 중단되었습니다. 만약 조금이라도 늦었다면, 우리는 상상하기 싫은 국제적 갈등의 한복판에 서 있었을지도 모릅니다.
'확률적 생성기'를 '지능'으로 착각할 때의 위험성
이번 사건을 접한 기술 커뮤니티(Hacker News 등)의 반응은 차갑고 냉소적이었습니다. LLM(거대언어모델)은 본질적으로 통계적 확률에 기반해 '다음에 올 법한 단어'를 예측하는 텍스트 생성기일 뿐인데, 이를 군사 지휘 체계에 연결한 것 자체가 무모했다는 비판입니다.
많은 이들이 AI를 '사실을 말하는 기계'로 오해하곤 합니다. 하지만 AI는 사실 여부를 검증하는 기관이 아닙니다. 전문가들은 이번 사건이 군사 작전 등 고위험 의사결정 과정에서 AI 출력물에 대한 필수적인 검증 단계가 완전히 부재했음을 보여준다고 지적합니다. 특히 AI 도입 속도가 빨라지면서 분석가들이 결과물을 더 빨리 생산해야 한다는 압박을 받고 있고, 이것이 결국 실수를 유발하는 환경을 조성하고 있다는 분석도 나옵니다.
왜 이런 사고가 반복될까: 절차적 허점과 미스터리
이번 사건과 관련해 몇 가지 풀리지 않는 의문점들이 남습니다. 첫째, 해당 분석가가 사용한 AI 챗봇이 상용 제품인지, 아니면 미군 내부용으로 개발된 시스템인지에 대한 구체적인 정보가 공개되지 않았습니다. 만약 상용 모델을 보안이 중요한 군사 작전에 무분별하게 활용했다면, 이는 군의 보안 가이드라인 자체가 구멍 뚫려 있다는 방증이 될 것입니다.
둘째, 보고서가 상급 부대로 보고되는 과정에서 왜 검증 시스템이 작동하지 않았는지에 대한 절차적 허점입니다. 군사 정보는 다단계 검증을 거치는 것이 원칙입니다. 그럼에도 불구하고 AI의 산출물이 별다른 여과 없이 작전 실행으로 이어졌다는 것은, 현장의 지휘 체계가 AI의 속도에 압도되어 기존의 안전장치를 무력화하고 있음을 시사합니다.
전쟁터의 AI, '핵무기급 안전장치'가 필요하다
군사 및 AI 정책 전문가들은 이번 사건을 계기로 AI 시스템에 대한 '핵무기급 안전장치'와 사고 발생 시 즉각 대응할 수 있는 핫라인 구축의 필요성을 강조하고 있습니다. 단순히 AI를 도입하는 것을 넘어, AI가 내놓은 결과물에 대해 '인간이 마지막 결정을 내리는(Human-in-the-loop)' 구조를 어떻게 강제할 것인지, 그리고 AI가 거짓을 말할 가능성을 시스템 설계 단계부터 어떻게 상정할 것인지에 대한 근본적인 고민이 필요합니다.
일부 여론은 이번 사건이 빙산의 일각일 뿐이며, 군 내부에서 AI 환각으로 인한 다른 사고들이 은폐되고 있을 가능성까지 제기하고 있습니다. 기술의 발전은 멈출 수 없지만, 그것이 인간의 생명과 국가의 운명을 담보로 하는 영역이라면 이야기는 달라야 합니다.
이번 사건은 우리에게 중요한 질문을 던집니다. 'AI가 주는 효율성이 그들이 저지를 수 있는 치명적인 오류의 대가보다 큰가?'라는 질문입니다. 앞으로 공공과 군사 분야에서 AI를 도입할 때는, 기술의 성능보다 그 기술이 실패했을 때의 안전장치를 먼저 설계해야 할 것입니다.
