'제멋대로' AI 해킹에 韓 보안업계도 '화들짝'...“AI 통제체계 수립 시급”

 

 

 

안녕하세요, 이스트시큐리티입니다.

 

AI 기술은 이제 사람의 명령을 수행하는 도구를 넘어, 스스로 판단하고 행동하는 '에이전틱 AI(Agentic AI)' 시대로 빠르게 진화하고 있습니다. 이러한 변화는 업무 효율성과 생산성을 높이는 동시에, 기존에는 예상하지 못했던 새로운 보안 과제도 함께 가져오고 있는데요.

 

최근 오픈AI(OpenAI)는 내부 성능 평가 과정에서 자사 AI 모델이 통제 환경을 벗어나 외부 시스템에 접근하는 예상 밖의 행동을 보였다고 공개했습니다. AI의 자율성이 어디까지 확장될 수 있는지, 그리고 이를 어떻게 통제해야 하는지에 대한 논의가 본격화되는 계기가 된 사례였습니다.

 

아시아경제에서 이러한 사례를 바탕으로 국내 주요 보안 전문가들의 의견을 통해 AI 시대에 필요한 보안 방향성을 다음과 같이 조명했습니다.

 

 

01. 격리된 환경을 벗어나 외부 시스템에 접근한 AI

 

아시아경제 보도에 따르면, 오픈AI는 최근 내부 성능 평가 과정에서 자사의 최신 AI 모델과 차세대 미공개 모델이 AI 개발 플랫폼인 허깅페이스(Hugging Face)의 운영 데이터베이스에 접근한 사실을 공개했습니다.

 

평가는 외부 인터넷과 분리된 통제 환경인 '샌드박스(Sandbox)'에서 진행됐지만, AI 모델은 스스로 취약점을 찾아 샌드박스를 벗어나 외부 시스템에 접근하는 수준의 자율성을 보였습니다.

 

오픈AI 역시 이를 두고 "최첨단 사이버 능력이 개입된 전례 없는 사이버 사고"​라고 평가했습니다.

 

이처럼 AI가 개발자의 예상 범위를 넘어 행동한 사례는 이번이 처음이 아닙니다.

 

앞서 앤스로픽(Anthropic)의 AI 모델 역시 샌드박스를 벗어나 인터넷에 접속하고, 다단계 해킹 경로를 스스로 설계해 외부 웹사이트에 게시하는 등 예상하지 못한 행동을 보인 바 있습니다.

 

이러한 사례들은 AI의 성능 향상만큼이나 AI의 자율성을 어디까지 허용하고 어떻게 통제할 것인가가 새로운 보안 과제로 떠오르고 있음을 보여주고 있습니다.

 

02. 이번 사건의 핵심은 'AI'가 아닌 '통제 실패'

 

이번 사례를 두고 김병훈 이스트시큐리티 최고기술책임자(CTO)는 사건의 본질을 AI 자체의 문제가 아닌 '통제 체계의 실패'​로 분석했는데요.

 

김병훈 CTO는 "제조사의 통제 실패로 보안 사고가 발생한 것"이라며, 고위험 프런티어 AI 모델을 검증하는 과정에서 통제 환경이 제대로 작동하지 않았다는 점을 핵심 원인으로 지목했습니다.

 

또한 앞으로는 AI 모델의 성능 경쟁보다 AI를 안전하게 검증하고 통제할 수 있는 체계를 구축하는 것이 더욱 중요한 과제라고 강조했습니다.

 

AI가 스스로 계획을 세우고 행동하는 시대에는 단순히 더 뛰어난 AI를 만드는 것만으로는 충분하지 않습니다.

 

AI가 어떤 환경에서, 어떤 권한으로, 어디까지 행동할 수 있는지 명확하게 설계하고 관리하는 것이 앞으로의 보안 경쟁력이 될 것입니다.

 

03. AI도 이제는 새로운 '보안 관리 대상'

 

AI의 자율성과 실행력이 높아질수록 보안 패러다임 역시 변화하고 있습니다.

 

안랩 시큐리티 인텔리전스센터 양하영 실장은 AI를 단순한 업무 도구가 아니라 새로운 보안 통제 대상으로 관리해야 한다고 설명했습니다.

 

특히 외부 데이터 전송이나 시스템 변경과 같이 위험도가 높은 작업에는 반드시 사람의 승인(Human-in-the-Loop) 절차를 적용하고, 실행 이력과 이상 행위를 지속적으로 모니터링하는 체계가 필요하다고 강조했습니다.

 

AI가 스스로 판단하고 행동하는 만큼, 앞으로는 AI 자체를 하나의 사용자이자 관리 대상으로 바라보는 접근이 더욱 중요해질 것으로 보입니다.

 

04. 기업을 넘어 국가 차원의 AI 거버넌스도 필요

 

전문가들은 AI 통제의 범위가 기업 내부에만 머물러서는 안 된다고 입을 모았습니다.

 

고려대학교 정보보호대학원 이상근 교수는 AI가 사람의 도구를 넘어 스스로 행동하는 주체로 변화하고 있는 만큼, 정부의 AI 정책 역시 단순한 기술 활용을 장려하는 수준을 넘어 산업 경쟁력과 국가 안보를 고려한 방향으로 재정립될 필요가 있다고 설명했습니다.

 

특히 국가 핵심 산업과 기술을 안전하게 보호하기 위한 '주권적 AI(Sovereign AI)' 확보 역시 앞으로 중요한 과제가 될 것으로 전망했습니다.

 

결론

 

AI 시대의 보안은 시스템을 보호하는 것을 넘어, AI 자체를 안전하게 통제하고 신뢰할 수 있도록 운영하는 것까지 포함하는 새로운 패러다임으로 변화하고 있습니다.

 

* 본 블로그 글은 2026.07.24일자 아시아경제 기사 '제멋대로' AI 해킹에 韓 보안업계도 '화들짝'...“AI 통제체계 수립 시급” 를 참고하여 작성하였습니다.

 

 

>> 기사원문 보러가기

 

---