Code Intelligence는 최근 AI 자동화 소프트웨어 테스트의 선두주자로서 Spark를 출시했습니다. Spark는 인간의 개입 없이도 낯선 코드에서 버그와 취약점을 자동으로 식별할 수 있는 세계 최초의 AI 테스트 에이전트 입니다.
Spark는 소프트웨어 개발 초기 단계에서 버그를 탐지하고 이를 수정하는 과정까지 소프트웨어 테스트를 완전히 자동화하는 것을 목표로 하며, 이는 화이트박스 퍼즈 테스트와 같은 고급 보안 테스트 기술에 대한 접근 장벽을 크게 낮출 수 있습니다. 예를 들어 코드베이스가 10만 줄에 달하는 경우, Spark는 수작업으로 테스트를 진행하는 시간을 최대 1,000시간까지 절약할 수 있습니다.
1시간 만에 실질적인 취약점을 발견하고 코드 커버리지를 45% 향상한 Spark
Spark는 최종 베타 테스트 단계에서 WolfSSL이라는 오픈소스 암호화 라이브러리의 취약점을 발견하며 그 성능을 입증했습니다. WolfSSL은 임베디드 기기와 IoT 시스템 개발에 널리 사용되는 라이브러리입니다.
Spark는 8개의 오픈소스 프로젝트를 대상으로 각각 1시간 동안 퍼징 테스트를 수행했으며, 이 프로젝트들은 기존에 OSS-Fuzz를 통해 지속적으로 퍼징되던 것들입니다. Spark는 단 1시간의 자동화된 퍼징 테스트를 통해 44.7% 높은 코드 커버리지를 달성하며 3개의 문제를 식별했습니다. 또한 이 중 2개의 프로젝트에서는 코드 커버리지가 70%를 초과하는 놀라운 결과를 보여줬습니다.
Spark의 가장 큰 강점은 최소한의 인간 개입으로 작동한다는 점입니다. AI 테스트 에이전트 를 실행하기 위해 단 한 줄의 명령어를 입력하는 것만으로 코드 분석, 테스트 케이스 생성, 실행 등 모든 중요한 작업을 자동으로 처리합니다.
Fuzz Testing에서 AI의 필요성
화이트박스 퍼즈 테스트는 소프트웨어의 심각한 버그와 취약점을 식별하는 데 있어 가장 효과적인 방법 중 하나로 알려져 있습니다. Google과 Microsoft와 같은 주요 기술 기업들은 이 방법을 활용해 수천 건의 문제를 발견하고 있습니다. 하지만 기존 퍼즈 테스트는 설정, 유지보수, 결과 분석에 많은 수작업과 시간이 필요해 높은 진입 장벽을 가지고 있습니다. 테스트 대상 선정, 관련 퍼즈 테스트 구현, 테스트 실행, 그리고 발견된 문제를 해결하는 과정도 세심하게 처리해야 합니다.
하지만 대규모 언어 모델(LLMs)의 코딩 및 추론 능력이 빠르게 발전하면서 자동화가 퍼즈 테스트의 판도를 바꾸고 있습니다. AI 테스트 자동화 도구는 이러한 복잡하고 시간이 많이 드는 과정을 처리할 수 있어, 개발자가 테스트 생성의 세부 작업 대신 문제 해결과 혁신에 집중할 수 있도록 돕습니다.
Spark가 퍼즈 테스트를 자동화하는 과정
Code Intelligence의 Spark를 사용하면 화이트박스 퍼즈 테스트를 빠르고 쉽게 수행할 수 있습니다:
- 테스트 목표 설정 - 달성하고자 하는 코드 커버리지 비율을 정합니다.
- Spark를 실행합니다.
- 코드에 숨겨진 문제와 취약점을 확인합니다.
Spark는 단 2분도 안 되는 시간 안에 3,000개의 테스트 케이스를 생성하여 5개의 퍼즈 테스트 후보를 검사했습니다. 이 과정에서 2개의 문제를 찾아냈고, 코드 커버리지는 79.51%에 달했습니다.
Spark는 실행 후 다음과 같은 방식으로 작업을 진행합니다:
- 코드베이스를 분석하여 핵심 함수와 API를 영향도 지표를 기반으로 식별 및 우선 순위화
- 정적 코드 분석 및 대규모 언어 모델을 활용해 특정 기능을 타겟으로 최적화된 퍼즈 테스트 생성
- 테스트를 실행하여 정확성을 검증하고 최대 코드 커버리지 달성
- 문제를 플래그로 표시하고, 코드 위치, 스택 트레이스, 디버깅을 위한 트리거 입력 등 세부 정보 제공
마무리
Code Intelligence의 Spark는 기존 화이트박스 퍼즈 테스트의 복잡하고 많은 노력을 요구하는 과정을 완전 자동화하여 소프트웨어 테스트 분야에 획기적인 변화를 가져옵니다. 최소한의 인력 개입으로 코드 분석, 최적화된 테스트 케이스 생성, 그리고 주요 취약점 식별을 모두 수행하며, 개발자들이 보안 테스트를 접근하는 방식을 혁신적으로 변화시키고 있습니다.
WolfSSL과 같은 널리 사용되는 오픈소스 소프트웨어에서 실제 문제를 찾아낸 것 역시 Spark의 가능성을 여실히 보여주는 사례입니다. Spark는 세계 최초의 AI 테스트 에이전트 로써 실제 취약점을 독립적으로 발견하고 코드 커버리지를 크게 향상시키며, 지능형 자동화 소프트웨어 테스트의 가능성을 입증하고 있습니다.
보다 안전하고 효율적인 소프트웨어 개발, Spark와 함께 시작해보세요.
