Jev Ultrafast는 브라우저 자동화 작업을 위한 고속·고효율 에이전트로, LLM의 연산 횟수를 최소화하고 브라우저와의 상호작용 속도를 극대화하는 데 중점을 둔 시스템입니다.

핵심 방법론 및 기술적 특징

1. 동적 인덱싱된 액션 공간 (Dynamic, Indexed Action Space)
Jev는 브라우저의 상태를 구조화된 엘리먼트 테이블(Element Table)로 변환합니다. 모든 관측 시점에 현재 상호작용 가능한 요소들이 인덱싱되며, LLM은 전체 스크린샷이 아닌 이 구조화된 텍스트 데이터를 입력받아 작업합니다. 이는 컨텍스트 창을 효율적으로 사용하고, 모델이 불필요한 영역을 처리하지 않게 합니다.

2. 2단계 의사결정 구조 (Two-Stage Decision Loop)
에이전트는 1회의 네트워크 왕복(Round Trip) 동안 두 가지 결정을 내립니다:

• Operation Head: CLICK, TYPE_TEXT, SELECT, SCROLL 등 가능한 동작을 예측합니다.
• Target Head: [1], [2]와 같이 인덱싱된 요소 중 동작을 수행할 대상을 선택합니다.

TYPE_TEXT 작업이 필요한 경우에만 별도의 소형 LLM(Text-helper)이 텍스트를 생성하며, 이는 전체적인 레이턴시를 획기적으로 줄여줍니다.

3. 상태 동기화 및 실행 안정성 (Execution Guards)

• Atomic Snapshot: DOM 노드의 이름, 값, 텍스트를 원자적으로(Atomically) 읽어오며, 실제 DOM 노드에 대한 참조를 유지합니다.
• Geometry Validation: 클릭이나 입력을 실행하기 전, 요소의 위치와 가려짐(Occlusion) 여부를 검증합니다.
• Freshness Guards: 페이지가 변경되거나 애니메이션이 진행 중일 때, 예측된 동작이 stale(무효화)되지 않도록 브라우저 통신을 제어합니다.

4. 성능 최적화

• 브라우저 프로토콜 호출 최소화: 기존 모델 대비 브라우저 프로토콜 호출 횟수를 $1,092 \rightarrow 101$로 대폭 감소시켜, Google Flights와 같은 복잡한 작업에서 7.1초 만에 목표를 달성하는 성능을 보였습니다.
• 비동기 처리: Focus 에뮬레이션을 통해 백그라운드 탭의 애니메이션 쓰로틀링(Throttling)을 방지하고, 렌더링 유지 및 오프스크린 콘텐츠는 모델 입력에서 제외하여 처리 속도를 높였습니다.

요약

Jev Ultrafast는 화면 전체를 처리하는 대신 구조화된 DOM 정보를 통한 타겟팅과 동적 액션 헤드 기반의 추론을 결합하여, 기존의 스크린샷 기반 Agent보다 훨씬 빠른 속도와 정확도를 제공합니다. 이는 특히 실시간 브라우저 작업에서 모델 호출 비용과 레이턴시를 동시에 절감해야 하는 환경에 최적화된 설계입니다.