전체
테스트뮤 AI, 케인 CLI에 소스-투-버딕트 루프 도입… 모든 요구사항을 이식 가능한 증거와 함께 출시 결정까지 연결
세계 최초의 에이전틱 AI 기반 품질 엔지니어링 플랫폼인 테스트뮤 AI(TestMu AI, 옛 람다테스트(LambdaTest))는 자연어 테스트 도구 케인 CLI(Kane CLI)에 소스-투-버딕트 루프(source-to-verdict loop)를 도입했다.
브라우저 자동화 도구에서 발전해 온 케인 CLI를 기반으로 하는 이 루프는 제품 요구사항을 출시 결정까지 연결하며, 테스트를 작성하고 로컬 브라우저에서 실행한 뒤 증거를 수집하고 실제 실행 결과를 바탕으로 커버리지를 측정해 최종 판정을 내린다.
AI 에이전트가 테스트를 작성하고 실행하며 수정하는 시대에는 녹색 체크 표시만으로는 더 이상 충분하지 않다. 아무것도 검증하지 않는 단계도 통과하고, 몇 주 전에 변경된 사양을 기준으로 작성된 테스트도 통과하며, 실제로 클릭이 이뤄지지 않았는데도 에이전트가 ‘완료’라고 말하면 통과로 처리된다. 근거 없는 녹색 표시와 검증을 거쳐 얻은 녹색 표시는 모든 대시보드에서 같은 색으로 나타나며, 수치는 올라가지만 위험은 줄어들지 않는다. 케인 CLI는 이러한 격차를 해소한다. 요구사항을 판정까지 연결하고 그 모든 단계를 증명한다.
하나의 루프. 소스에서 판정까지
이제 케인 CLI에 테스트 스크립트를 전달하는 것이 아니라 요구사항을 전달한다. 다음 9개 단계가 하나의 추적 가능한 흐름을 구성한다.
소스 → 비즈니스 사용 사례 → 시나리오 → 인수 기준 → test.md → 실행 → 증거 → 커버리지 → 판정
전반부에서는 AI가 테스트 엔지니어링을 수행하고, 후반부에서는 그에 대한 증거를 제시한다. 마지막에 나오는 수치는 시스템에서 직접 읽어낸 값으로, 사람이 입력하거나 추정한 값이 아니다.
· 무엇이든 입력할 수 있다: 케인 CLI에 PRD, Jira 티켓, Confluence 사양, Figma 프레임 또는 데모 영상을 지정하면 이를 컨텍스트로 가져온다. Figma 노드나 mp4 파일을 요구사항 소스로 받아들이는 다른 도구는 없다.
· AI가 테스트를 설계하고, 필요한 경우 질문한다: 비즈니스 사용 사례를 추출하고 각각을 시나리오로 나눈 뒤 모든 시나리오를 인수 기준에 연결한다. 두 소스의 내용이 일치하지 않으면 추측하지 않고 작업을 중단한 뒤 어느 소스가 최신인지 묻는다.
· 자체 커버리지 맵을 포함한 읽을 수 있는 테스트: 결과물은 사람이 편집할 수 있는 일반 마크다운 형식의 test.md이며, 각 단계에는 어떤 기준을 입증하는지가 명시된다. 추적성은 테스트 옆의 별도 스프레드시트가 아니라 테스트 자체에 내장돼 있다.
· 실제 브라우저에서의 결정론적 실행: 테스트 작성은 유연하고 의도 중심으로 이뤄지지만, 실행 시에는 LLM의 개입 없이 기록된 실행을 재현하므로 매번 동일하게 작동한다. 자동 복구는 제품이 실제로 변경된 경우에만 작동하며, 50단계를 초과하는 플로도 실행할 수 있다.
· 실행당 하나의 .evidence 패키지: 단순한 스크린샷과 로그가 아니라 에이전트의 작업 경로, HAR 형식의 네트워크 기록, 불일치가 발생한 지점의 DOM, 콘솔, 영상, 실패에 대한 근본 원인 분석을 포함한 전체 실행 기록이다. 이 패키지는 단계별 페이지로 열리며, L0는 최소 정보, L1은 커버리지와 품질 신호, L3는 서명, 증명 및 파일별 해시를 제공한다.
· 모든 체크 표시에는 세 가지 점수가 따른다. 증거 기반(Evidence-backed, 실제 통과였는가), 정당성(legitimacy, 에이전트가 실제로 수행했는가 - 아무 동작도 하지 않은 클릭은 legit:false로 표시됨), 결정론성(determinism, 동일한 결과가 재현되는가)이다.
· 낮아질 수 있는 커버리지 수치: 커버리지는 실행 도구가 주장하는 값이 아니라 패키지에서 계산된다. 엄격 모드에서는 이후 변경된 사양을 기준으로 통과한 테스트의 등급을 낮춘다. 상승했을 때 신뢰할 수 있는 커버리지 비율은 하락할 수도 있는 비율뿐이다.
· 다음 사람이 서명한다: 커버리지, 신뢰도, 검증되지 않은 기준 및 오래된 소스가 하나의 출시 또는 보류 판정으로 종합되며, 증거 링크와 함께 풀 리퀘스트의 필수 검사 항목으로 게시된다. 기계는 증거를 제시하고, 사람은 결정을 내린다.
무디트 싱(Mudit Singh) 테스트뮤 AI 공동창업자 겸 성장 부문 책임자는 “이제 소프트웨어는 에이전트가 테스트를 작성하고 실행하며 문제가 발생한 부분을 수정하는 과정에 참여한 상태로 출시된다. 녹색 체크 표시는 사람이 모든 코드를 직접 읽던 시대를 위해 만들어진 것이며, 에이전트가 그 과정에 참여하는 환경을 견디도록 설계된 것은 아니다. 케인 CLI는 요구사항을 출시 결정까지 연결하고 그 과정을 모두 보여주며, 팀원과 에이전트, 감사인이 모두 이를 바탕으로 조치를 취할 수 있는 기록을 남긴다”고 말했다.
.evidence는 개방형이다. 이 패키지는 대시보드 안에 갇혀 있지 않으며, 일반 YAML과 마크다운 형식으로 구성돼 버전 관리가 가능하고 Git에서 차이 비교가 가능하며 사람, 에이전트, 감사인이 모두 읽을 수 있다. 팀은 케인 CLI 자체를 도입하지 않고도 이를 사용할 수 있으며, 패키지는 CTRF와 JUnit 같은 CI 형식으로 변환할 수 있다. 이를 테스트 증거의 PDF라고 생각하면 된다.
테스트뮤 AI 소개
테스트뮤 AI(TestMu AI, 옛 람다테스트)는 세계 최초의 에이전틱 AI 기반 품질 엔지니어링 플랫폼으로, 자율 테스트 역량과 실제 환경 검증을 결합해 AI 우선 시대에 팀이 확신을 갖고 소프트웨어를 구축, 테스트 및 출시할 수 있도록 지원한다. 자세한 내용은 www.testmuai.com에서 확인할 수 있다.
이 보도자료는 해당 기업에서 원하는 언어로 작성한 원문을 한국어로 번역한 것이다. 그러므로 번역문의 정확한 사실 확인을 위해서는 원문 대조 절차를 거쳐야 한다. 처음 작성된 원문만이 공식적인 효력을 갖는 발표로 인정되며 모든 법적 책임은 원문에 한해 유효하다.
브라우저 자동화 도구에서 발전해 온 케인 CLI를 기반으로 하는 이 루프는 제품 요구사항을 출시 결정까지 연결하며, 테스트를 작성하고 로컬 브라우저에서 실행한 뒤 증거를 수집하고 실제 실행 결과를 바탕으로 커버리지를 측정해 최종 판정을 내린다.
AI 에이전트가 테스트를 작성하고 실행하며 수정하는 시대에는 녹색 체크 표시만으로는 더 이상 충분하지 않다. 아무것도 검증하지 않는 단계도 통과하고, 몇 주 전에 변경된 사양을 기준으로 작성된 테스트도 통과하며, 실제로 클릭이 이뤄지지 않았는데도 에이전트가 ‘완료’라고 말하면 통과로 처리된다. 근거 없는 녹색 표시와 검증을 거쳐 얻은 녹색 표시는 모든 대시보드에서 같은 색으로 나타나며, 수치는 올라가지만 위험은 줄어들지 않는다. 케인 CLI는 이러한 격차를 해소한다. 요구사항을 판정까지 연결하고 그 모든 단계를 증명한다.
하나의 루프. 소스에서 판정까지
이제 케인 CLI에 테스트 스크립트를 전달하는 것이 아니라 요구사항을 전달한다. 다음 9개 단계가 하나의 추적 가능한 흐름을 구성한다.
소스 → 비즈니스 사용 사례 → 시나리오 → 인수 기준 → test.md → 실행 → 증거 → 커버리지 → 판정
전반부에서는 AI가 테스트 엔지니어링을 수행하고, 후반부에서는 그에 대한 증거를 제시한다. 마지막에 나오는 수치는 시스템에서 직접 읽어낸 값으로, 사람이 입력하거나 추정한 값이 아니다.
· 무엇이든 입력할 수 있다: 케인 CLI에 PRD, Jira 티켓, Confluence 사양, Figma 프레임 또는 데모 영상을 지정하면 이를 컨텍스트로 가져온다. Figma 노드나 mp4 파일을 요구사항 소스로 받아들이는 다른 도구는 없다.
· AI가 테스트를 설계하고, 필요한 경우 질문한다: 비즈니스 사용 사례를 추출하고 각각을 시나리오로 나눈 뒤 모든 시나리오를 인수 기준에 연결한다. 두 소스의 내용이 일치하지 않으면 추측하지 않고 작업을 중단한 뒤 어느 소스가 최신인지 묻는다.
· 자체 커버리지 맵을 포함한 읽을 수 있는 테스트: 결과물은 사람이 편집할 수 있는 일반 마크다운 형식의 test.md이며, 각 단계에는 어떤 기준을 입증하는지가 명시된다. 추적성은 테스트 옆의 별도 스프레드시트가 아니라 테스트 자체에 내장돼 있다.
· 실제 브라우저에서의 결정론적 실행: 테스트 작성은 유연하고 의도 중심으로 이뤄지지만, 실행 시에는 LLM의 개입 없이 기록된 실행을 재현하므로 매번 동일하게 작동한다. 자동 복구는 제품이 실제로 변경된 경우에만 작동하며, 50단계를 초과하는 플로도 실행할 수 있다.
· 실행당 하나의 .evidence 패키지: 단순한 스크린샷과 로그가 아니라 에이전트의 작업 경로, HAR 형식의 네트워크 기록, 불일치가 발생한 지점의 DOM, 콘솔, 영상, 실패에 대한 근본 원인 분석을 포함한 전체 실행 기록이다. 이 패키지는 단계별 페이지로 열리며, L0는 최소 정보, L1은 커버리지와 품질 신호, L3는 서명, 증명 및 파일별 해시를 제공한다.
· 모든 체크 표시에는 세 가지 점수가 따른다. 증거 기반(Evidence-backed, 실제 통과였는가), 정당성(legitimacy, 에이전트가 실제로 수행했는가 - 아무 동작도 하지 않은 클릭은 legit:false로 표시됨), 결정론성(determinism, 동일한 결과가 재현되는가)이다.
· 낮아질 수 있는 커버리지 수치: 커버리지는 실행 도구가 주장하는 값이 아니라 패키지에서 계산된다. 엄격 모드에서는 이후 변경된 사양을 기준으로 통과한 테스트의 등급을 낮춘다. 상승했을 때 신뢰할 수 있는 커버리지 비율은 하락할 수도 있는 비율뿐이다.
· 다음 사람이 서명한다: 커버리지, 신뢰도, 검증되지 않은 기준 및 오래된 소스가 하나의 출시 또는 보류 판정으로 종합되며, 증거 링크와 함께 풀 리퀘스트의 필수 검사 항목으로 게시된다. 기계는 증거를 제시하고, 사람은 결정을 내린다.
무디트 싱(Mudit Singh) 테스트뮤 AI 공동창업자 겸 성장 부문 책임자는 “이제 소프트웨어는 에이전트가 테스트를 작성하고 실행하며 문제가 발생한 부분을 수정하는 과정에 참여한 상태로 출시된다. 녹색 체크 표시는 사람이 모든 코드를 직접 읽던 시대를 위해 만들어진 것이며, 에이전트가 그 과정에 참여하는 환경을 견디도록 설계된 것은 아니다. 케인 CLI는 요구사항을 출시 결정까지 연결하고 그 과정을 모두 보여주며, 팀원과 에이전트, 감사인이 모두 이를 바탕으로 조치를 취할 수 있는 기록을 남긴다”고 말했다.
.evidence는 개방형이다. 이 패키지는 대시보드 안에 갇혀 있지 않으며, 일반 YAML과 마크다운 형식으로 구성돼 버전 관리가 가능하고 Git에서 차이 비교가 가능하며 사람, 에이전트, 감사인이 모두 읽을 수 있다. 팀은 케인 CLI 자체를 도입하지 않고도 이를 사용할 수 있으며, 패키지는 CTRF와 JUnit 같은 CI 형식으로 변환할 수 있다. 이를 테스트 증거의 PDF라고 생각하면 된다.
테스트뮤 AI 소개
테스트뮤 AI(TestMu AI, 옛 람다테스트)는 세계 최초의 에이전틱 AI 기반 품질 엔지니어링 플랫폼으로, 자율 테스트 역량과 실제 환경 검증을 결합해 AI 우선 시대에 팀이 확신을 갖고 소프트웨어를 구축, 테스트 및 출시할 수 있도록 지원한다. 자세한 내용은 www.testmuai.com에서 확인할 수 있다.
이 보도자료는 해당 기업에서 원하는 언어로 작성한 원문을 한국어로 번역한 것이다. 그러므로 번역문의 정확한 사실 확인을 위해서는 원문 대조 절차를 거쳐야 한다. 처음 작성된 원문만이 공식적인 효력을 갖는 발표로 인정되며 모든 법적 책임은 원문에 한해 유효하다.
공유하기