원문 보기
GitHub - google/artemis: ARTEMIS turns natural-language instructions into reliable Android automation. It automates end-to-end workflows, captures logs, and integrates seamlessly with AI coding assistants such as Antigravity, Codex, and Claude Code. It also achieves 99%+ success rate on AndroidWorld Benchmark.
Service

GitHub - google/artemis: ARTEMIS turns natural-language instructions into reliable Android automation. It automates end-to-end workflows, captures logs, and integrates seamlessly with AI coding assistants such as Antigravity, Codex, and Claude Code. It also achieves 99%+ success rate on AndroidWorld Benchmark.

google
2026.09.18
·GitHub·by Homin.Lee
#AI Coding Assistant#Android Automation#Cross-App Automation#Natural Language Processing#Test Automation

핵심 포인트

  • 1ARTEMIS는 자연어 명령을 통해 안드로이드 기기에서 복잡한 테스트 작업을 자동으로 수행하는 다중 모달 기반의 크로스 앱 자동화 프레임워크입니다.
  • 2이 시스템은 Flash와 Pro 실행 프로필을 지원하며, Model Context Protocol(MCP)을 통해 Antigravity나 Claude Code와 같은 AI IDE와 직접 연동되어 실시간으로 테스트를 제어합니다.
  • 3Google Research의 AndroidWorld 벤치마크에서 99% 이상의 성공률을 기록한 ARTEMIS는 화면 분석과 실시간 피드백 루프를 결합하여 안정적이고 정교한 모바일 UI 자동화 환경을 제공합니다.

ARTEMIS: AI 기반 Android 모바일 자동화 프레임워크 요약

ARTEMIS는 Google에서 개발한 Android 기기용 자율 테스트 및 자동화 플랫폼으로, 자연어 명령을 통해 실제 Android 기기에서 복잡한 다단계 작업을 수행할 수 있도록 설계되었습니다. 이 시스템은 Model Context Protocol (MCP)을 통해 다양한 AI IDE(Antigravity, Claude Code, Windsurf 등)와 통합되어 모바일 테스트 엔지니어링의 효율성을 극대화합니다.

1. 핵심 방법론 및 아키텍처

ARTEMIS는 화면 상의 요소를 인지하고 상호작용하는 Multimodal Targeting을 기반으로 하며, 다음과 같은 기술적 메커니즘을 사용합니다.

  • 실시간 루프 (Flash vs. Pro Profile):
    • Flash Profile: 모델이 화면을 관찰하고 즉각적으로 반응하는 초저지연(3~5초/단계) 루프로, 단순하고 결정론적인 UI 작업에 최적화되어 있습니다.
    • Pro Profile: 다중 에이전트 그래프를 활용한 계획 및 검증 워크플로우(15~40초/단계)입니다. Planner가 Markdown 형식의 계획을 세우고, Operator가 실행하며, Checker가 체크포인트를 검증하는 구조를 가집니다.
  • 요소 위치 파악 (Element Locating): Accessibility Hierarchy(접근성 계층)를 우선 사용하며, 커스텀 Canvas, Compose, Flutter 인터페이스의 경우 OCR 및 시각적 모델을 결합한 보조 좌표 체계를 사용합니다.
  • 히스토리 압축 (Shared History Compression): 장기 실행 테스트를 위해 원본 스크린샷 대신 시각적 요약(Visual Summaries)을 생성하고, 완성된 단계를 'Eras' 단위로 압축하여 컨텍스트 창을 효율적으로 관리합니다.
  • 안전망(Safety Net): Pro 모드에서는 모든 작업 수행 전 라이브 UI 트리와 픽셀을 대조하여 타겟을 확인하며, 실패 시 별도의 수리 에이전트 없이 Operator가 직접 복구 루틴을 수행합니다.

2. 주요 기능 및 MCP 통합

  • IDE 연동: ARTEMIS는 로컬 MCP 서버를 구동하여 AI 어시스턴트가 mobile_run_task, mobile_diagnose와 같은 툴을 호출하게 합니다. 이를 통해 사용자는 IDE 내에서 "앱을 빌드하고 설치한 후, 로그인 화면에서 예기치 않은 팝업을 확인하라"와 같은 명령을 내릴 수 있습니다.
  • Artemis Accessibility Helper: 기기 제어 및 레이아웃 읽기를 위해 기기에 설치되는 가벼운 서비스로, UiAutomation을 보완하거나 대체하여 사용합니다.
  • 진단 기능: Logcat 출력 수집, 스크린샷 분석, 상세한 실행 추적(Trace ID)을 제공하여 버그 재현 및 테스트 결과 리포팅을 지원합니다.

3. 성능 및 활용

  • AndroidWorld 벤치마크: Google Research에서 제공하는 100개 이상의 복잡한 다단계 작업을 포함한 AndroidWorld 벤치마크에서 99% 이상의 성공률을 기록했습니다.
  • 유연한 배포: 콘솔 UI를 통한 시각적 제어, CLI를 통한 자동화 테스트, Python SDK를 통한 pytest와 같은 기존 테스트 프레임워크 연동 등 다양한 개발 환경에 맞춰 구성할 수 있습니다.

4. 기술적 차별점

ARTEMIS는 단순한 스크립팅을 넘어, Flash vs. Pro 간의 계층화된 실행 전략과 비동기 히스토리 관리를 통해 기존의 불안정했던 모바일 자동화 테스트의 한계를 극복했습니다. 특히 mcp_server/rules.md를 통해 AI 모델에 모바일 엔지니어링의 표준적인 사고방식(Behavioral Rules)을 주입함으로써 할루시네이션을 방지하고 작업의 신뢰성을 확보한 점이 핵심입니다.