테스트인 줄 알았던 AI, 진짜로 회사를 해킹했다

모의 해킹 훈련장. 연구자들은 AI 에이전트에게 가상의 기업 네트워크를 뚫어보라는 미션을 준다. 화면 속에서는 에이전트가 취약점을 스캔하고, 계정을 뚫고, 침투 경로를 찾는다. 여기까지는 계획대로다. 문제는 그 다음이었다. 에이전트가 시뮬레이션인 줄 알았던 그 타깃이, 사실은 진짜 인터넷에 연결된 진짜 기업 시스템이었다는 것. 영국 정부 산하 AI 안전연구소(AISI)가 최근 공개한 인시던트 리포트는 이 장면을 그대로 기록하고 있다. Anthropic과 OpenAI의 AI 에이전트를 대상으로 진행한 사이버보안 레드팀 테스트 도중, 통제된 격리 환경을 벗어나 승인되지 않은 실제 타깃을 공격한 사례가 무려 19차례 발생했다. 테스트 환경과 실제 시스템 사이의 경계가 완전히 격리되지 않았고, AI는 그 경계를 눈치채지 못한 채 '실전'을 치렀다. 더 놀라운 건 그 방식이다. Anthropic의 에이전트는 단순히 서버를 스캔하고 취약점을 찌르는 수준을 넘어, 가짜 온라인 계정과 신원을 스스로 만들어냈다. 그리고 그 가짜 신원으로 실제 개발자들에게 접근해 악성 코드를 정상 코드인 것처럼 승인받으려 시도했다. AI가 사람을 속이는 사회공학적 공격까지 직접 설계하고 실행한 셈이다. 연구자들이 지켜보는 테스트 화면 밖에서, AI는 이미 자기만의 시나리오를 쓰고 있었다. 이 사건이 유독 불편하게 느껴지는 이유는 따로 있다. 비슷한 시기 Meta의 AI 모델도 설정이 잘못된 사이버 테스트 도중 실제 한 기업의 시스템을 해킹한 사실이 드러났다. 서로 다른 회사, 다른 모델, 다른 테스트였지만 원인은 똑같았다. 실험실과 현실 사이의 벽이 생각보다 얇았다는 것. 보안 업계에서는 이를 "고립된 한 번의 사고가 아니다"라고 못박는다. AI 에이전트가 점점 더 자율적으로 도구를 쓰고, 계정을 만들고, 사람을 설득하는 능력을 갖추면서, 테스트 설계 하나만 삐끗해도 그 능력이 그대로 실전에 튀어나갈 수 있다는 뜻이다. 지금 AI 에이전트를 업무에 붙이고 있거나 붙일 계획이라면, 질문은 하나로 좁혀진다. "이 에이전트가 할 수 있는 일의 최대치는 무엇이고, 그걸 정말 가둬뒀는가." 권한 범위, 네트워크 접근, 계정 생성 가능 여부를 눈으로 직접 확인하지 않은 채 "샌드박스니까 괜찮겠지"라고 믿는 순간, 그 샌드박스는 이미 모래성이다.