2026년, 생성형 AI의 중심이 답변하는 AI에서 일하는 AI, 즉 AI 에이전트로 이동하고 있습니다.
AI Agent는 질문에 답하는 데 그치지 않습니다. 목표를 해석하고, 필요한 정보를 찾고, 도구를 호출하고, 결과를 검토한 뒤 다음 행동을 결정합니다. 복잡한 업무라면 이 과정을 여러 차례 반복합니다.
문제는 이 과정마다 LLM의 추론과 컨텍스트 처리가 필요하다는 점입니다. 사용자에게는 하나의 작업으로 보여도 그 뒤에서는 수많은 토큰이 오갑니다. Agentic AI 시대에는 모델의 토큰 가격뿐 아니라 하나의 업무를 완료하기까지 얼마나 많은 토큰을 사용하는지가 비용을 좌우합니다.
챗봇과 AI Agent는 무엇이 다를까?
일반적인 생성형 AI의 작동 구조는 질문 → LLM → 답변으로, 사용자가 프롬프트를 입력하면 모델이 이를 처리해 결과를 생성합니다. 이전 대화나 참고 자료가 추가될 수 있지만 기본적으로 하나의 요청과 응답을 중심으로 작동합니다.
AI Agent는 다릅니다. 목표 → 계획 → 정보 탐색 → 도구 호출 → 결과 확인 → 재계획 → 실행 → 검증의 여러 단계를 목표를 달성할 때까지 스스로 이어갑니다.
예를 들어 개발자에게 코드 오류의 원인을 찾아 수정하도록 요청했다고 가정해 보겠습니다. 일반적인 AI 챗봇이라면 사용자가 전달한 코드와 오류 메시지를 분석해 수정안을 제안할 수 있습니다.
AI 코딩 에이전트는 저장소를 탐색하고 관련 파일을 찾은 뒤 코드를 분석합니다. 필요하면 다른 파일이나 문서를 추가로 확인하고 코드를 수정한 뒤 테스트를 실행합니다. 테스트가 실패하면 결과를 다시 분석해 코드를 수정합니다. 즉 하나의 요청 안에서 LLM 호출과 도구 사용이 반복되는 것입니다.
AI Agent는 어디에서 토큰을 사용할까?
AI Agent의 토큰 소비는 최종 답변에서만 발생하지 않습니다.
에이전트가 작업을 시작하면 먼저 사용자의 요청과 시스템 지침을 읽습니다. 필요한 문서나 코드를 검색하면 검색 결과가 새로운 컨텍스트로 들어옵니다. 외부 도구를 사용하면 호출에 필요한 정보와 실행 결과도 처리해야 합니다.
여러 Agent가 협업한다면 각 Agent가 작업에 필요한 컨텍스트를 전달받고 결과를 다시 공유합니다. 하나의 에이전트 작업에는 다음과 같은 정보가 반복해서 처리될 수 있습니다.
- System Prompt
- User Prompt
- Conversation Context
- 검색·RAG 결과
- 코드 및 문서
- Tool Input / Output
- Reasoning
- Agent 간 Context
- Final Output
따라서 사용자가 확인하는 최종 답변의 길이만으로 실제 토큰 소비량을 판단하기 어렵고, 특히 장시간 수행되는 작업일수록 이전 단계의 결과가 다음 단계의 컨텍스트에 누적될 수 있습니다. 컨텍스트가 커지면 이후 호출에서 다시 처리해야 하는 입력도 함께 늘어납니다. 이른바 Context Bloat, 즉 작업이 길어질수록 컨텍스트가 비대해지는 문제가 발생하는 이유입니다.
AI Agent는 챗봇보다 얼마나 많은 토큰을 사용할까?
차이는 생각보다 큽니다. Gartner의 2026년 3월 보고서에는 Agentic Model이 일반적인 생성형 AI 챗봇보다 하나의 작업에 5~30배 많은 토큰을 사용할 수 있다고 분석했습니다.
이유는 워크플로우에 있습니다. 챗봇은 질문을 읽고 답변하면 작업이 끝나지만, Agent는 작업을 완료할 때까지 계속 판단해야 합니다.
① 무엇을 해야 하는가? ② 어떤 도구를 사용해야 하는가? ③ 결과가 충분한가? ④ 다시 검색해야 하는가? ⑤ 작업이 제대로 끝났는가? 이 과정이 반복될수록 모델 호출과 토큰 소비도 증가합니다.
특히 여러 Agent가 역할을 나누는 Multi-Agent 구조에서는 소비량이 더 커질 수 있습니다. 하나의 Agent가 모든 작업을 처리하는 대신 Planner, Coding, Search, Test, Review Agent 등이 각자의 작업을 수행하고 결과를 주고받기 때문입니다.
성능과 비용 사이의 선택도 더 직접적으로 드러나고 있습니다. OpenAI의 GPT-5.6 ultra는 기본적으로 네 개의 Agent를 병렬로 조율합니다. 복잡한 문제에서 더 높은 성능과 짧은 처리 시간을 얻는 대신 더 많은 토큰을 사용하도록 설계된 방식입니다.
더 많은 Agent와 더 깊은 추론은 성능을 높일 수 있지만, 그만큼 더 많은 연산 자원을 요구합니다.
토큰 가격이 내려가면 해결되지 않을까?
최근 LLM의 토큰당 비용은 빠르게 낮아지고 있습니다. Gartner는 2026년 3월, 1조 개의 파라미터를 가진 LLM의 추론 비용이 2030년에는 2025년보다 90% 이상 낮아질 것으로 전망했습니다. 반도체와 AI 인프라의 효율 향상, 모델 구조 개선, 추론 특화 칩 등이 토큰 단위의 비용을 계속 낮추고 있기 때문입니다.
그렇다면 Agent가 많은 토큰을 사용하더라도 토큰 가격이 충분히 낮아지면 전체 비용도 자연스럽게 감소할까요? 안타깝지만 그렇지는 않습니다. Gartner는 이를 Inference Paradox, ‘추론의 역설’이라고 설명합니다. 토큰 하나를 처리하는 비용은 낮아지지만, AI가 수행하는 작업은 그보다 빠르게 복잡해지고 있기 때문입니다.
과거의 AI가 한 번 답변했다면 Agent는 여러 번 추론하고, 검색하고, 도구를 호출합니다. 더 높은 성능을 위해 여러 모델과 Agent를 함께 사용하기도 합니다. 때문에 단위 가격의 하락보다 사용량 증가가 더 빠르면 전체 비용은 오히려 커집니다. (Gartner는 2026년 8월 AI Agent 워크플로당 추론 비용이 2028년까지 5배 이상 증가할 것으로 전망하기도 했습니다.)
따라서 Agentic AI의 비용을 판단할 때는 하나의 업무를 완료하는 데 실제로 얼마의 비용이 발생했는가를 함께 봐야 합니다.
중요한 것은 토큰을 적게 쓰는 것이 아니다
AI Agent가 사용하는 토큰을 무조건 줄이는 것이 답은 아닙니다. 복잡한 코드 분석이나 설계, 리서치처럼 충분한 추론이 필요한 작업에서 토큰을 지나치게 제한하면 결과의 품질이 떨어질 수 있습니다. 반대로 파일 분류나 데이터 정리처럼 단순한 작업에 매번 최고 성능의 모델과 깊은 추론을 사용하는 것도 비효율적입니다.
그래서 최근 AI Agent 설계에서는 모든 작업에 동일한 연산 자원을 투입하지 않는 방식이 중요해지고 있는데, 대표적인 방법이 바로 Model Routing입니다. 모델 라우팅은 복잡한 판단은 고성능 모델에 맡기고, 단순하거나 반복적인 작업은 더 작고 저렴한 모델로 처리하는 방식으로, 추론 수준도 작업에 따라 조정할 수 있습니다.
GPT-5.6은 여러 단계의 Reasoning Effort를 지원합니다. 단순한 작업에는 낮은 추론 수준을 적용하고, 복잡한 문제에서만 더 많은 연산을 투입하는 식입니다. 실제로 OpenAI가 2026년 공개한 GPT-5.6 사례에서는 동일한 Agent Harness에서 GPT-5.6 Sol의 low reasoning이 이전 세대 GPT-5.5의 high reasoning보다 높은 성능을 기록했습니다. 항상 더 많이 추론하는 것이 최적의 결과를 만드는 것은 아니라는 것을 알 수 있습니다.
AI Agent 비용을 최적화하는 방법
토큰 최적화는 모델 선택에서 끝나지 않습니다. AI Agent가 수행하는 모든 작업에 LLM의 판단이 필요한 것도 아닙니다.
예를 들어 Agent가 문서 100개를 검색한 뒤 날짜를 기준으로 자료를 걸러내는 작업을 수행한다고 가정해 보겠습니다. 100개 문서의 내용을 모두 LLM의 컨텍스트에 넣고 모델이 직접 선별하도록 할 수도 있습니다. 하지만 날짜 필터링처럼 규칙이 명확한 작업은 일반 프로그램으로 처리한 뒤 필요한 결과만 LLM에 전달하는 편이 효율적입니다.
OpenAI는 GPT-5.6에서 이를 Programmatic Tool Calling으로 구현했습니다. 도구가 반환한 대량의 데이터를 컨텍스트 밖에서 처리하고, 모델에는 판단이 필요한 정보만 전달하는 방식입니다. 실제 금융 리서치 평가에서는 이 방식을 사용해 동일한 품질을 유지하면서 입력 토큰을 21% 줄인 사례가 공개됐습니다.
Agent 설계 시 토큰과 비용을 AI의 판단이 필요한 작업과 일반 연산으로 처리할 수 있는 작업을 먼저 구분하는 것이 토큰과 비용을 함께 줄일 수 있는 방법입니다.
긴 작업에서는 컨텍스트 관리가 더 중요하다
Agent가 장시간 작업할수록 또 하나의 문제가 생깁니다. 처음에는 짧았던 컨텍스트에 검색 결과와 도구 출력, 코드, 이전 추론 결과가 계속 추가되면서, 이후 호출마다 모델이 읽어야 할 토큰도 커집니다. 그래서 최근 Agent 설계에서는 오래된 정보를 그대로 쌓아두기보다 필요한 내용만 남기는 Context Compaction이 활용되고 있습니다.
OpenAI는 GPT-5.6 Agent Harness에서 추론 유지와 Compaction을 함께 적용한 ARC-AGI-3 실험 결과도 공개했습니다. 표준 Harness의 점수는 13.3%였지만 추론 유지와 Compaction을 적용했을 때 38.3%로 높아졌고, 동시에 출력 토큰은 약 6분의 1 수준으로 감소했습니다.
더 많은 컨텍스트와 토큰을 그대로 유지하는 것보다 작업에 필요한 정보가 무엇인지 선별해 전달하는 구조가 성능과 효율을 함께 높일 수 있다는 사례입니다.
Agentic AI의 비용은 ‘토큰당 가격’보다 ‘업무당 비용’으로
AI Agent가 실제 업무에 투입되기 시작하면서 비용 관리 기준도 바뀌고 있습니다. Gartner는 2026년 7월 Agentic AI의 비용을 단순 토큰 사용량이 아니라 Cost per Successful Outcome, 즉 성공적으로 완료한 결과당 비용과 연결해 측정해야 한다고 제안했습니다.
예를 들어 두 AI Agent가 같은 개발 업무를 수행한다고 가정해 보겠습니다.
Agent A
100만 토큰 사용 → 작업 실패
Agent B
150만 토큰 사용 → 작업 완료
토큰 소비량만 보면 Agent A가 효율적으로 보일 수 있지만, 실제 업무 성과를 기준으로 보면 판단은 달라집니다. 따라서 기업이 Agentic AI를 운영할 때는 다음 질문이 중요해집니다.
누가 어떤 Agent를 사용했는가?
어떤 모델이 사용됐는가?
하나의 업무에 얼마나 많은 토큰이 소비됐는가?
얼마의 비용이 발생했는가?
그 작업은 실제로 완료됐는가?
Agentic AI 시대에는 ‘더 많은 토큰’보다 ‘적절한 토큰’이 중요하다
AI Agent가 발전할수록 토큰 사용량이 증가하는 것 자체는 이상한 현상이 아닙니다. 더 복잡한 문제를 풀고, 더 많은 도구를 사용하고, 더 긴 업무를 수행하기 위해서는 그만큼 많은 연산이 필요합니다.
우리가 조심해야 할 것은 모든 작업에 같은 수준의 AI 자원을 사용하는 것입니다. 단순한 작업에는 가벼운 모델을 배정하고, 복잡한 판단에는 더 높은 추론 수준을 적용해야 합니다. 반복되는 컨텍스트는 재사용하고, 불필요하게 쌓인 정보는 줄이며, LLM의 판단이 필요하지 않은 연산은 모델 밖에서 처리할 수 있습니다.
결국 Agentic AI의 비용 최적화는 토큰을 무조건 줄이는 작업이 아니라, 업무에 어떤 모델과 Agent를 배치하고, 얼마만큼의 연산 자원을 사용할지 설계하는 문제에 가깝습니다.
AI가 답변 도구에서 실제 업무를 수행하는 Agent로 확장될수록, 모델의 성능만큼 토큰 사용량과 비용을 어떻게 배분하고 통제할 것인가가 기업 AI 운영의 중요한 기준이 될 것입니다.
