Insights

기업 AI 보안 가이드 | AI Gateway로 민감정보와 비용 관리하기

November 10, 2026

min Read

핵심 요약 [TL;DR] :

생성형 AI를 쓸 때는 질문만 나가지 않습니다. 첨부 문서, 이전 대화, 검색된 사내 자료, AI 에이전트의 도구 결과까지 함께 외부 모델로 전달됩니다.
AI 사용을 전면 금지하면 업무 속도가 떨어지고, 부서별로 따로 허용하면 기준과 비용이 흩어집니다.
대안은 AI로 가는 길목에 하나의 관리 지점(AI Gateway)을 두는 것입니다. 여기서 민감정보를 가리고(마스킹), 모델을 모아 연결하고(라우팅), 사용량과 비용을 봅니다(비용 관리).
AI Keeper는 이 역할을 하는 기업용 AI 거버넌스 플랫폼입니다. 직원은 쓰던 AI 도구를 그대로 쓰고, 회사는 자기 기준을 지킵니다.

직원은 이미 AI를 쓰고 있다

오전 9시 40분, 마케팅팀 대리는 고객 인터뷰 녹취록을 통째로 붙여넣고 “핵심만 요약해 줘”라고 입력합니다. 같은 시각 개발팀에서는 에러 로그와 설정 파일을 코딩 어시스턴트에 넘깁니다. 둘 다 일을 잘하려는 행동이고, 둘 다 어떤 정보가 회사 밖으로 나갔는지 아무도 모릅니다.

기업 AI 환경이 복잡해진 세 가지 이유

최근 기업의 AI 사용 방식은 빠르게 바뀌었습니다. 바뀐 방식이 부서마다, 도구마다 제각각이라 관리가 따라가기 어려워졌습니다.

트렌드 1) 쓰는 모델이 많아졌다

한 회사 안에서도 외부 Cloud AI 여러 개와 사내에 올린 모델을 함께 쓰는 경우가 흔해졌습니다. 팀마다 다른 모델과 다른 API 키를 쓰다 보니, 회사 전체에서 어떤 AI를 얼마나 쓰는지 한 화면에서 확인하기 어렵습니다.

트렌드 2) AI에 넘기는 정보가 늘었다

초기 챗봇은 사용자가 직접 입력한 질문만 받았습니다. 지금은 사내 문서 검색(RAG), 코드 어시스턴트, AI 에이전트가 질문 외의 데이터를 알아서 붙여 보냅니다. 사용자는 한 줄을 입력했지만, 실제로 모델에 도착하는 것은 문서 내용, 이전 대화, 코드, 도구 호출 결과가 합쳐진 묶음입니다.

트렌드 3) 비용이 나중에 보인다

생성형 AI 비용은 토큰 단위로 쌓입니다. 에이전트가 같은 작업을 반복해서 호출하거나 간단한 질문에도 비싼 모델을 쓰면 비용이 늘어나는데, 이를 알게 되는 건 대개 청구서를 받은 뒤입니다.

금지와 방임 사이, 이런 상황에서 회사가 흔히 고르는 방법은 두가지 입니다.

방법	기대할 수 있는 것	생기는 문제
AI 사용 전면 금지	외부 전송 위험 감소	업무 효율이 떨어지고, 개인 계정으로 우회해 쓰는 경우가 생김
부서별 자율 허용	빠른 도입	기준, 권한, 비용, 이력이 도구마다 흩어짐

어느 쪽도 만족스럽지 않다면 관리 대상을 바꿔 볼 수 있습니다. 누가 AI를 쓰는지 대신 AI로 무엇이 나가는지를 관리하는 것입니다. 그러려면 여러 도구의 AI 호출이 한곳을 거치도록 만들어야 합니다.

실무 시나리오 3가지 살펴보기

아래는 가상의 사례입니다. 다만 AI를 업무에 쓰는 회사라면 한 번쯤 본 장면일 것입니다. 누구도 규칙을 어기려고 하지 않았다는 점에 주목해 주세요.

시나리오 1) 배포 전날, 설정 파일을 통째로 붙여 넣은 개발자

배포를 하루 앞둔 백엔드 개발자 A씨는 연동 오류를 잡으려고 에러 로그와 설정 파일을 코딩 어시스턴트에 그대로 붙여 넣었습니다. 설정 파일에는 운영 환경의 API_KEY와 SECRET_KEY가 들어 있었습니다. 시간에 쫓기는 상황이라 키를 지우고 보낼 여유는 없었습니다.

	Gateway가 없을 때	AI Keeper를 거칠 때
요청	키가 들어 있는 원문이 외부 모델로 전송됨	인증정보 형식을 찾아 전송을 멈춤
개발자 화면	평소와 같은 답변	"인증정보가 포함되어 처리할 수 없습니다" 안내
보안팀 확인	기록 없음	차단 사유와 건수가 이력에 남음

AI Keeper를 도입할 경우, A씨가 따로 배워야 할 도구는 없습니다. AI Keeper는 OpenAI·Anthropic 호환 API를 제공해서 Cursor, LangChain 같은 도구는 엔드포인트 URL만 바꾸면 Gateway를 거칩니다. 개발자 개인 API 키 대신 Gateway의 중앙 키를 쓰도록 하면, 팀마다 키가 흩어져 관리되지 않는 문제도 줄일 수 있습니다.

시나리오 2) 사내 문서 챗봇이 꺼내 온 고객 명단

영업지원팀 B씨는 사내 문서 검색 챗봇에 “지난 분기 대형 고객 미팅 이슈 정리해 줘”라고 입력했습니다. 챗봇은 답을 만들기 위해 미팅록을 찾아 본문을 질문과 함께 외부 모델에 보냈습니다. 그 미팅록에는 고객 담당자의 이메일과 아직 공개하지 않은 프로젝트 코드명이 적혀 있었습니다.

	Gateway가 없을 때	AI Keeper를 거칠 때
검색된 문서	검사 없이 질문과 함께 전송	직접 입력한 질문과 같은 규칙으로 검사
고객 이메일	원문 그대로 전송	[REDACTED_Email_1]로 바꿔서 전송
프로젝트 코드명	원문 그대로 전송	회사가 등록한 금칙어로 가림
B씨가 받는 답	미팅 이슈 요약	같은 내용의 요약

이 경우에는 요청을 막을 필요가 없습니다. 이메일 주소와 코드명이 빠져도 미팅 이슈를 요약하는 데는 지장이 없기 때문입니다. 그래서 해당 부분만 가려서 보내고, B씨는 평소처럼 결과를 받습니다. 권한이 있는 사용자에게만 답변 속 가림 표기를 원래 값으로 복원해 보여 주는 설정도 있으며, 기본값은 꺼져 있습니다.

시나리오 3) 같은 주에 들어온 비용 문의와 감사 요청

IT운영팀 C씨는 월말에 메일 두 통을 받았습니다. 재무팀은 이번 달 AI 비용이 왜 늘었는지 물었고, 보안팀은 지난달 외부 AI로 나간 요청 내역을 요청했습니다. 확인해 보니 한 팀의 에이전트가 오류 때문에 같은 요청을 계속 호출하고 있었고, 모델별 사용 내역은 클라우드 콘솔 세 곳에 나뉘어 있었습니다.

	Gateway가 없을 때	AI Keeper를 거칠 때
비용 파악	청구서를 받은 뒤 콘솔별로 직접 집계	팀·서비스·사용자별 사용량과 비용을 한곳에서 확인
반복 호출	월말까지 모름	토큰 예산이나 지출 상한에 걸려 Gateway에서 멈춤
감사 자료	도구마다 로그 형식이 달라 맞추기 어려움	프롬프트, 응답, 정책 적용 내역, 토큰 사용량이 한곳에 기록됨

비용은 재무팀, 기록은 보안팀 소관이라 보통 따로 대응합니다. 그런데 두 요청에 필요한 데이터는 모두 AI 호출 기록에서 나옵니다. 호출이 한곳을 거친다면 같은 자료로 두 요청에 모두 답할 수 있습니다.

AI Gateway와 AI Keeper

AI Gateway는 사내 AI 플랫폼과 AI 모델 사이에 두는 공통 관문입니다. 챗봇, 코딩 어시스턴트, 에이전트가 보내는 요청이 이곳을 거쳐 모델로 전달됩니다. AI Keeper는 이 Gateway에 회사의 보호 규칙을 적용하는 기업용 AI 거버넌스 플랫폼입니다.

AI Keeper 핵심 기능 세 가지

기능	하는 일
마스킹	개인정보, 기밀, 금칙어를 회사 규칙에 따라 가리거나, 인증정보가 담긴 요청은 전송을 멈춥니다.
라우팅	외부 Cloud AI와 사내 모델을 하나의 Gateway로 모으고, 팀·서비스·사용자별로 쓸 수 있는 모델을 정합니다.
비용 관리	가상 키, 토큰 예산, 지출 상한을 두고 사용량을 모니터링·예측합니다.