MatrAIx는 AI 시스템 및 인터랙티브 제품을 평가하기 위해 이질적인 사용자군을 시뮬레이션하는 인구 규모의 페르소나 기반 인프라입니다. 본 시스템은 일반적이거나 교체 가능한 사용자 모델이 아닌, 실제 사람을 반영한 정교한 페르소나를 LLM 에이전트로 인스턴스화하여 재현 가능한 평가 환경을 제공하는 것을 목표로 합니다.

핵심 방법론 및 기술적 상세

1. Persona 체계 및 데이터셋:
   • 1,290개의 범주형 차원으로 구성된 공유 스키마를 바탕으로 배경, 심리, 능력, 행동을 포괄합니다.
   • 의존성 인식(dependency-aware) 합성 생성과 증거 기반의 인간 접지(human grounding) 기법을 결합하여 100만 개의 페르소나 코어셋을 구축하였습니다. 이는 연구 목적으로 Hugging Face를 통해 공개되어 있습니다.

2. 평가 환경(Environments):
   • MatrAIx는 다음과 같은 4가지의 서로 다른 환경에서 에이전트를 테스트합니다:
     • Survey: 설문 조사 기반의 데이터 수집 및 태도 분석.
     • AI Chatbot: 대화형 인터페이스를 통한 상호작용 및 지원 품질 평가.
     • Web: Playwright 등을 활용한 웹 브라우저 상의 작업 자동화 평가.
     • App: macOS 및 iOS 환경을 포함한 데스크톱 및 모바일 네이티브 애플리케이션 제어 평가.

3. 작업 파이프라인(Task Pipeline):
   • 각 작업은 task.toml, instruction.md, input/, verifier 등으로 정의되는 공유 계약(contract)을 따릅니다.
   • Harbor 시스템을 통해 에이전트와 모델을 고정(pin)하고, 정의된 레시피(YAML)에 따라 대규모 배포 및 실행이 가능합니다.
   • Telemetry: 개별 에이전트의 응답 및 작업 궤적을 하위 그룹(subgroup) 및 전체 인구 수준의 통계적 발견과 연결하여 분석합니다.

4. 기술적 구현:
   • 시스템은 Docker 및 uv를 통한 파이썬 환경 관리(Python 3.12)를 기반으로 하며, 사용자 정의 태스크 개발을 위한 CLI 도구(generate_application_job.py)와 시각적 관찰을 위한 Playground 인터페이스(React 기반 frontend와 API backend)를 제공합니다.

결론 및 활용

MatrAIx는 실제 사람을 대체하는 것이 아니라, 대규모 시뮬레이션을 통해 시스템의 스트레스 테스트를 수행하고 가설을 생성하는 데 특화된 연구 도구입니다. 이 인프라는 연구자들이 특정 페르소나 코호트를 샘플링하여 다양한 제품군에서 일관된 평가를 수행할 수 있게 함으로써, AI의 신뢰성과 성능을 인구통계학적 관점에서 입증할 수 있도록 돕습니다.