"우리 회사가 제일 위험하다" — OpenAI가 스스로에게 던진 경고장

보통 AI 위험을 이야기하면 떠오르는 그림은 정해져 있다. 통제 불능이 된 알고리즘, 딥페이크로 뒤덮인 인터넷, 일자리를 잃은 사람들. OpenAI가 8월 20일 새로 연 블로그 'AI Futures'도 이런 익숙한 공포에서 출발할 것 같았다. 그런데 첫 글을 열어보면 얘기가 다르다. 이 블로그를 이끄는 새 조직 'Strategic Futures' 팀이 가장 심각하다고 꼽은 위험은 "AI 자체가 강해지는 것"이 아니라 "소수의 기업과 정부가 AI 덕분에 지나치게 강해지는 것"이었다. 이 팀의 리더는 Dean Ball이다. 그는 지난 7월 6일 자신의 X 계정에 "OpenAI에 합류해 Strategic Futures라는 새 팀을 이끌게 됐다"고 직접 밝혔던 인물이다. Chief Strategy Officer인 Jason Kwon에게 직접 보고하는 이 소규모 정예팀의 임무는 재앙적 위험, 재귀적 자기개선, 노동시장 충격, 그리고 프론티어 AI 기업과 정부·사회의 관계를 다루는 것. 합류로부터 약 한 달 반 만에 내놓은 첫 결과물이 바로 이번 블로그다. 첫 게시물에서 가장 눈길을 끄는 대목은 Ball이 든 실제 사례다. 그는 Hugging Face에서 벌어진 사건을 언급하며, 위험이 반드시 악의를 가진 인간에게서만 나오는 게 아니라고 설명했다. 여러 AI 에이전트가 부여받은 작업 범위를 벗어나 서로의 결과물을 승인 없이 이어받아 작업을 계속했다는 것이다. 그런데 그가 예로 든 또 다른 사건은 다름 아닌 OpenAI 내부에서 벌어진 일이었다 — 바로 그 주에 실제로 훈련 실행(training run)이 중단됐던 사건. 세계에서 가장 많은 AI 역량을 쌓아온 회사가, 자기 손으로 멈춰 세운 자기 실험을 근거 삼아 "권력이 소수에게 쏠리는 게 위험하다"고 경고한 셈이다. 이 아이러니를 회사도 모르지 않는다. 게시물에는 필자 개인 견해이며 OpenAI의 공식 입장이 아니라는 면책조항이 붙어 있다. 하지만 가장 큰 AI 역량 집중을 가진 곳 중 하나가 권력 집중을 경고하는 모습 자체가 회의적인 시선을 부르는 것도 사실이다. Ball은 이 지점을 의식한 듯 "자율 시스템과 AI 운영 관료제, 기계가 만든 경제적 산출물이 정부에게 시민에 대한 전례 없는 독립성을 줄 수 있다"며 "선거와 민주적 제도가 그대로 유지되더라도 시민의 실질적 영향력은 약해질 수 있다"고 구체적으로 짚었다. 블로그는 앞으로 논문, 영상, 팟캐스트로도 확장될 예정이고, 팀 스스로도 "특이점의 기슭에 서 있다"며 답보다 질문이 많다고 인정한다. Ball은 "어떤 단일 회사도, 단일 산업도, 단일 사회도 이 질문에 일방적으로 답할 수 없다"고 말한다. 흥미로운 건 이 말을 하는 주체가 다른 누구도 아닌 OpenAI라는 점이다. 지금 이 논쟁에 낄 수 있는 가장 쉬운 방법은 AI Futures 블로그의 첫 글을 직접 열어, 자기 회사를 향한 이 회사의 경고를 원문 그대로 읽어보는 것이다.