BeSTCon 2025 후기: ‘관심사’에서 ‘도입 대상’이 된 AI 테스트 자동화

지난 10월 21일 Apptest.ai는 삼성동 코엑스에서 열린 BeSTCon 2025에서 발표와 부스 운영을 진행했습니다. 

BeSTCon은 한국SW테스팅협회와 전자신문이 공동 주최하는 행사로, 매년 500명 이상이 참석하는 국내 최대 규모의 SW테스팅 컨퍼런스입니다. Apptest.ai는 이 행사에 지속적으로 참여해왔으며, 올해는 김경민 선임 매니저가 “AI 자동화 테스팅 성공 적용 사례와 앞으로의 발전 가능성”을 주제로 발표했습니다.

이번 행사에서 가장 강하게 느낀 점은 하나였습니다. AI 기반 테스트 자동화는 이제 ‘관심사’가 아니라 ‘도입 대상’이 되었다는 것. 특히 수동 테스트의 한계를 경험한 팀일수록 자동화 ROI를 빠르게 계산하고, 바로 다음 단계로 넘어가는 흐름이 뚜렷했습니다.

수동 테스트, 왜 한계에 부딪히는가

현장에서 가장 많이 나온 이야기는 수동 테스트의 병목이었습니다. 릴리스 주기가 짧아질수록 같은 시나리오를 반복 검증해야 하는데, 사람이 직접 하다 보면 누락이 생기기 쉽습니다. 피로가 쌓이면 정확도도 흔들립니다. 여러 디바이스에서 동일 시나리오를 재현하는 것도 쉽지 않습니다.

문제가 발생했을 때는 더 복잡해집니다. 어떤 경로와 조건에서 문제가 발생했는지, 재현 과정을 문서화하는 데만 상당한 시간이 들어갑니다.

Apptest.ai가 제안하는 방향은 단순합니다. 반복 업무는 자동화하고, 그 시간을 더 중요한 의사결정에 쓰는 것. 코드 작성 없이 테스트를 자동화하고, 한 번 실행으로 여러 디바이스에서 병렬 실행해 시간을 줄이며, 필요할 때 즉시 실행해 회귀 테스트를 루틴화합니다.

실전 사례가 말해주는 것

이번 발표에서는 이론보다 “지금 실제로 돌아가는 구현”을 중심으로 공유했습니다.

첫째, 요일과 시간대별로 다른 콘텐츠가 노출되는 서비스의 경우, 서버에 저장된 데이터를 Ptero에서 불러와 해당 타이밍에 정보가 제대로 노출되는지 자동 검증하는 테스트를 구성했습니다. 운영 데이터와 화면 노출의 일치 여부를 주기적으로 확인해야 하는 서비스에서 유용합니다.

둘째, 신작 VOD 검색 테스트는 VOD 정보를 CSV로 서버에 업로드하면 자동으로 검색하고 결과 일치 여부까지 검증합니다. 데이터가 자주 바뀌는 서비스에서는 이 방식이 테스트 유지보수 비용을 크게 낮춥니다.

셋째, QR 코드 기능은 특정 채널에서 QR 코드가 노출되면 자동으로 읽어 결과값을 저장하고, 다음 단계에서 그 값이 맞는지 검증하도록 구성했습니다. 단순히 “인식했는가”를 넘어 “인식 결과가 정확한가”까지 확인합니다.

넷째, 영상, 음향 이상 감지 테스트는 시청 중 RGB 이상이나 음량 급변이 감지되면 자동으로 오류를 판단합니다. 사람의 눈과 귀에 의존하던 주관적 점검을 기준화할 수 있다는 점이 핵심입니다.

Ankylo, 기존 문서를 버리지 않는다

이번 발표에서 가장 반응이 좋았던 것은 GenAI 기반 Ankylo였습니다. 핵심은 “AI를 쓴다”가 아니라, 이미 회사에 쌓여 있는 테스트 케이스 문서를 그대로 활용한다는 점입니다.

Excel로 작성된 TC 문서를 업로드하면 AI가 시나리오를 생성하고, 테스트 실행 중 각 단계별 Pass/Fail을 판정합니다. 판정 근거를 실시간으로 제공하고, Fail 발생 시 사유와 재현 경로를 포함한 분석까지 제공합니다.

“사내에 이미 있는 TC 문서를 버리지 않고 자동화로 연결한다”는 메시지가 현장에서 특히 잘 전달됐습니다. 자동화 도입 장벽이 낮아지고 PoC 전환 속도가 빨라지는 이유이기도 합니다.

금융, 자동차, 커머스에서 문의가 많았던 이유

부스를 운영하며 흥미로웠던 점은 관심 산업군이 비교적 명확했다는 것입니다. 금융, 자동차, 커머스 업계에서 문의가 유독 많았습니다.

공통점은 간단합니다. 장애 비용이 크고 품질 이슈가 고객 신뢰로 바로 연결됩니다. 릴리스 빈도가 높아 회귀 테스트 부담이 누적되고, 운영 환경 변수가 많아 테스트 재현과 문서화 비용이 커집니다.

이번 행사를 계기로 같은 업계 내 여러 기업과 연결됐고, 실제 PoC가 진행되고 있습니다. 일부는 이미 협업을 시작했습니다. 고객이 늘어나며 레퍼런스가 쌓이고, 그 레퍼런스가 또 다음 고객을 부르는 흐름도 만들어지고 있습니다.

앞으로 준비하고 있는 것들

데스크탑 테스트 시나리오 작성 기능이 출시되었습니다. 모바일을 넘어 데스크탑 환경까지 확장하는 방향입니다. 추가로, Agent 기반 시나리오 자동 작성 기능도 개발 중이며, 일부 고객사와는 이미 협업 및 PoC를 진행하고 있습니다.

마무리

이번 컨퍼런스에서 확인한 점은 분명합니다. AI 자동화 테스팅에 대한 니즈는 생각보다 크고, 지금은 ‘도입을 결정하는 시점’에 와 있습니다. 수동 테스트의 한계를 경험한 조직일수록 자동화의 가치를 빠르게 이해했고, 질문도 기능보다 “어떻게 적용해 ROI를 극대화할 것인가”에 집중돼 있었습니다.

BeSTCon(Better Software Testing Conference, 베스트콘)은 2014년부터 SW테스팅을 주제로 국내 전문가들이 모이는 대표 행사입니다. 그 자리에서 Apptest.ai의 적용 사례와 방향성을 공유할 수 있어 의미가 있었습니다.

궁금한 점이 있으시면 언제든 contact@apptest.ai로 연락 주세요.