AI 보안의 문제는 더 이상 ‘AI 사용’에 머물지 않는다
불과 몇 년 전만 해도 기업에서 AI 보안은 비교적 단순한 문제였습니다. 직원이 ChatGPT와 같은 외부 AI 서비스에 내부 문서나 소스 코드를 입력하지 못하도록 관리하는 것이 주요 과제였습니다.
물론 이 문제는 여전히 유효합니다. Verizon의 2026 DBIR에 따르면 기업 기기에서 AI를 정기적으로 사용하는 직원은 전년 15%에서 45%로 증가했고, AI 사용자의 67%는 업무용이 아닌 계정으로 AI 서비스에 접속하고 있습니다. Netskope 역시 기업 내 생성형 AI 사용의 72%가 개인 계정을 통해 이뤄지고 있다고 분석합니다.
하지만 지금 기업이 마주하고 있는 AI 보안 문제는 Shadow AI보다 한 단계 더 나아가고 있습니다. AI가 사람의 질문에 답하는 도구에서 벗어나 이메일을 읽고, Git 저장소를 수정하고, CRM 데이터를 처리하고, API와 클라우드 인프라를 직접 다루는 AI 에이전트로 발전하고 있기 때문입니다.
과거에는 직원이 기밀 문서를 외부 AI에 입력할 경우 데이터 유출을 우려하는 정도였다면, 현재 AI 에이전트가 CRM에서 고객 데이터를 조회하고, 이를 가공한 뒤 외부 시스템으로 전송할 수 있는 것은 기존 보안 문제의 범위를 초월합니다.
이처럼 AI가 기업의 데이터를 사용하는 것을 넘어 기업을 대신해 행동할 수 있게 되면서, 기업 보안이 던져야 할 질문도 달라지고 있습니다. “AI 사용을 어떻게 통제할 것인가?”에서 “AI가 기업 안에서 무엇을 할 수 있고, 실제로 무엇을 했는가?”로 보안의 관점을 넓혀야 합니다.
AI가 기업 인프라의 사용자가 되기 시작했다
기업의 AI 활용 방식은 빠르게 복잡해지고 있습니다. ChatGPT나 Copilot과 같은 독립형 서비스뿐 아니라 기존 SaaS에 포함된 AI 기능, 내부 API를 호출하는 애플리케이션, 기업 데이터를 연결한 RAG, 그리고 여러 시스템을 직접 사용하는 AI 에이전트가 동시에 운영되고 있습니다.
이 가운데 보안 관점에서 가장 중요한 변화는 에이전트입니다. 일반적인 애플리케이션은 사전에 정의된 로직에 따라 정해진 API를 호출합니다. 반면 AI 에이전트는 주어진 목표와 현재 컨텍스트를 바탕으로 필요한 작업을 판단하고 여러 도구를 연속해서 사용할 수 있습니다.
예를 들어 개발 에이전트 하나가 Git 저장소를 읽고, 이슈를 분석하고, 코드를 수정하고, 테스트를 실행할 수 있습니다. 업무 에이전트라면 이메일과 문서를 확인하고 CRM이나 사내 시스템에 데이터를 입력할 수도 있습니다.
문제는 각각의 접근 권한이 개별적으로는 정상이어도, 하나의 에이전트에 결합되는 순간 이전에는 존재하지 않았던 새로운 행동 범위가 만들어진다는 것입니다.
NIST가 2026년 AI 및 소프트웨어 에이전트의 아이덴티티와 권한 부여를 별도의 보안 과제로 다루기 시작한 이유도 여기에 있습니다. NIST는 에이전트를 어떻게 식별할 것인지뿐 아니라 최소 권한을 어떻게 적용하고, 누구의 권한으로 행동했는지 어떻게 추적하며, 수행한 행동을 어떻게 감사할 것인지까지 문제로 제시하고 있습니다.
Microsoft 역시 AI 에이전트를 단순한 API 호출자가 아니라 독립적인 보안 주체로 다룰 것을 제안합니다. 각 에이전트에 관리 가능한 아이덴티티를 부여하고, 역할과 데이터 범위뿐 아니라 사용할 수 있는 도구 자체를 제한해야 한다는 것입니다.
AI의 위험은 AI가 어떤 시스템과 연결되어 있고, 어떤 권한을 가지고 있으며, 그 권한으로 무엇을 할 수 있는지가 실제 위험의 크기를 결정합니다.
문제는 접근 권한보다 권한을 어떻게 사용하는가에 있다
IAM(Identity and Access Management)은 사용자의 신원을 확인하고 역할에 따라 접근할 수 있는 리소스를 제한합니다. Zero Trust와 최소 권한 역시 이러한 원칙을 더욱 세밀하게 적용하는 방식입니다.
AI 에이전트에서도 이 원칙은 여전히 중요하지만, 정상적인 아이덴티티와 권한을 가진 상태에서도 조직이 의도하지 않은 행동을 할 수 있기 때문에 이것만으로는 충분하지 않습니다.
대표적인 사례가 간접 프롬프트 인젝션(Indirect Prompt Injection)입니다. Microsoft는 2026년 AI 기반 GitHub 워크플로를 분석하면서 GitHub 이슈의 HTML 주석처럼 사람에게는 보이지 않는 영역에 악성 지시를 숨길 수 있음을 확인했습니다. 사람이 화면에서 볼 때는 정상적인 이슈지만, 원본 Markdown을 읽는 AI는 숨겨진 지시까지 컨텍스트로 받아들일 수 있습니다.
만약 해당 AI가 GitHub뿐 아니라 Secret이나 파일 시스템, 셸과 같은 도구에도 접근할 수 있다면, AI는 자신의 정상적인 권한을 이용해 민감한 정보를 읽거나 외부로 전송하는 실제 행동을 수행할 수 있습니다.
여기서 중요하게 봐야 할 점은 권한 자체가 탈취되지 않았다는 것입니다. 로그만 보면 유효한 아이덴티티를 가진 에이전트가 허용된 API를 호출했을 뿐입니다. 각각의 요청은 정상일 수 있지만, 전체 행동의 목적은 조직이 의도한 업무와 전혀 다를 수 있습니다.
이 때문에 AI 에이전트 보안에서는 기존의 질문에 하나를 더해야 합니다. “이 에이전트가 이 작업을 할 수 있는가?”뿐 아니라, “이 에이전트가 지금 이 목적으로 이 작업을 수행하는 것이 정상인가?”를 판단해야 합니다.
보안의 판단 범위가 Identity → Permission → Context → Action으로 확장되는 것으로, Microsoft가 AI 에이전트에 최소 권한뿐 아니라 도구 허용 목록, 작업 단위의 권한 설계, 중요 작업에 대한 추가 승인과 전체 행동 로그를 함께 요구하는 것도 같은 맥락입니다.
AI는 공격 표면뿐 아니라 공격의 시간도 바꾸고 있다
AI가 보안 환경에 미치는 또 하나의 변화는 속도입니다. 새로운 공격 기법이 등장하는 것도 중요하지만, 기업 입장에서는 취약점이 알려진 뒤 실제 공격으로 전환되기까지의 시간이 크게 줄어들 수 있다는 점을 더 주의해서 볼 필요가 있습니다.
Anthropic이 2026년 공개한 N-day 취약점 연구가 이를 잘 보여줍니다. 연구에서 Mythos Preview는 알려진 21개의 취약점을 분석해 18개에서 PoC를 생성했습니다. 첫 번째 PoC가 만들어지는 데 걸린 시간은 31분이었고, 18개 모두 6시간 안에 생성됐습니다. 특히 일부 실험은 취약한 제품의 전체 소스 코드 없이 공개된 취약점 정보를 바탕으로 진행됐습니다.
기존에는 CVE가 공개되더라도 이를 분석하고 실제 공격 가능한 코드로 전환하기까지 공격자의 기술과 시간이 필요했습니다. 하지만 이 연구를 통해 AI가 이 과정의 상당 부분을 자동화할 수 있다면 취약점 공개와 실제 악용 사이에 존재했던 대응 시간이 빠르게 줄어들 수 있다는 것을 확인할 수 있게 되었습니다.
더 큰 문제는 공격자가 반드시 CVE 공개를 기다릴 필요도 없다는 점입니다. 오픈소스 환경에서는 보안 패치가 공식 취약점 발표보다 먼저 저장소에 반영되는 경우가 있습니다. 이 때 코드 변경, 테스트 추가, 커밋 메시지와 릴리스 기록을 분석하면, 어떤 취약점이 수정됐는지 역으로 추론할 수 있습니다.
AI가 대규모 저장소의 변경 사항을 지속적으로 분석할 수 있게 되면 기존의 Patch → CVE → Exploit 순서가 Patch → AI Diff Analysis → Exploit → CVE처럼 바뀔 가능성도 커집니다.
이는 취약점 관리 방식에도 영향을 줍니다. 공격자가 취약점 분석과 PoC 생성을 머신 속도로 자동화한다면, 방어자가 사람이 읽을 수 있는 취약점 공지와 CVSS 점수만 기다리는 방식으로는 대응 속도를 맞추기 어려울 것입니다.
우리 조직이 어떤 자산에 노출되어 있는지 빠르게 파악하고, 실제 악용 가능성을 판단해 대응 우선순위를 자동화하는 능력까지 취약점 관리의 일부가 되어야 하는 이유입니다.
기업 보안의 통제 단위도 달라져야 한다
AI 에이전트가 새로운 보안 주체가 된다고 해서 지금까지 구축한 보안 체계를 모두 바꿔야 하는 것은 아닙니다. IAM, Zero Trust, 최소 권한, DLP, SIEM, 감사 로그와 같은 기존 원칙은 여전히 유효합니다. 달라지는 것은 이 원칙을 적용해야 하는 대상과 범위입니다.
먼저 조직은 어떤 AI와 에이전트가 실제 환경에서 운영되고 있는지 파악해야 합니다. 어떤 에이전트가 어떤 목적으로 만들어졌는지, 누구의 책임 아래 운영되는지, 어떤 모델과 데이터를 사용하고 어떤 시스템과 도구에 접근할 수 있는지까지 관리 대상에 포함해야 합니다.
권한 관리 역시 사람과 서비스 계정에서 에이전트로 확장되어야 합니다. 하나의 에이전트에 광범위한 서비스 계정을 제공하기보다 작업 단위로 필요한 권한을 제한하고, 데이터 조회와 변경처럼 위험 수준이 다른 작업은 가능하면 분리해야 합니다.
하지만 IAM만으로 AI의 행동을 모두 통제할 수는 없습니다. 에이전트가 정상적인 권한으로 비정상적인 행동을 수행할 수 있기 때문에, 런타임에서 실제 행동을 관찰하고 통제하는 계층이 필요합니다.
예를 들어 CRM 조회 권한을 가진 에이전트가 고객 한 명의 정보를 확인하는 것은 정상적인 업무일 수 있습니다. 하지만 짧은 시간에 고객 데이터를 대량으로 내려받은 뒤 외부 API로 전송한다면 동일한 권한 안에서도 전혀 다른 보안 이벤트로 봐야 합니다.
따라서 AI 시대의 로그에는 어떤 작업을 수행하고 있었는지, 어떤 데이터와 컨텍스트를 전달받았는지, 어떤 도구를 어떤 순서로 사용했는지, 최종 행동이 처음 부여된 목적과 일치하는지까지 연결해서 볼 수 있어야 합니다.
모든 행동을 사람에게 승인받게 하는 것도 현실적인 해답은 아닙니다. 대신 데이터 삭제, 권한 변경, 운영 환경 수정, 금융 거래, 민감 정보의 외부 전송처럼 실패했을 때 영향이 큰 작업에 명확한 정책 게이트와 Human-in-the-loop를 두는 방식이 더 현실적입니다.
결국 기존 보안 체계는 다음과 같이 확장됩니다. IAM은 Agent Identity와 권한까지, DLP는 AI가 처리하는 데이터와 컨텍스트까지, SIEM과 SOC는 에이전트의 행동과 작업 흐름까지 관찰해야 합니다. Zero Trust 역시 사람과 기기를 넘어 자율적으로 행동하는 소프트웨어까지 포함하는 방향으로 넓어져야 합니다.
AI를 위한 완전히 새로운 보안 체계를 만드는 것이 아니라, 기존 보안 원칙을 AI가 실제로 행동하는 환경에 맞게 확장하는 것입니다.
시스템을 보호하는 것에서, 행동을 통제하는 것으로
AI는 우리가 이미 사용하고 있는 보안 원칙이 어디까지 적용되어야 하는지를 다시 묻게 합니다. 기업 인프라에는 이제 사용자와 서버, 애플리케이션, 서비스 계정뿐 아니라 데이터를 읽고 판단하며 여러 시스템에서 직접 행동하는 AI 에이전트가 들어오고 있습니다. 그렇기 때문에 기업이 AI 보안을 바라보는 관점도 Security of Systems에서 Security of Actions로 확장될 필요가 있습니다.
누가 시스템에 접근했는지 확인하는 것만으로는 충분하지 않습니다. 어떤 AI가 어떤 권한을 가지고 있는지, 어떤 데이터와 컨텍스트의 영향을 받았는지, 그 결과 어떤 행동을 했는지까지 추적하고 통제할 수 있어야 합니다.
AI 시대라고 해서 Zero Trust나 최소 권한과 같은 기존 보안 원칙이 사라지는 것은 아닙니다. 오히려 이러한 원칙을 AI 에이전트까지 얼마나 일관되게 적용할 수 있는지가 중요해지고 있습니다.
AI를 얼마나 많이 도입했는가보다, AI에게 어디까지 행동할 권한을 줄 것인지 그리고 그 행동을 얼마나 투명하게 통제할 수 있는지가 앞으로 기업 AI 보안의 수준을 결정할 것입니다.


































