Project AIRI는 디지털 생활 엔티티, 즉 '사이버 와이푸' 또는 '디지털 휴먼'을 개인에게 제공하는 것을 목표로 하는 오픈 소스 프로젝트입니다. 이는 Neuro-sama와 같은 가상 스트리머의 기능을 재현하고 확장하며, 스트림 종료 후에도 지속적인 상호 작용이 가능하게 하는 것을 주된 동기로 삼습니다.

핵심 방법론은 웹 기술과 네이티브 하드웨어 가속을 결합한 하이브리드 아키텍처를 채택하여 광범위한 플랫폼 호환성과 고성능을 동시에 달성하는 데 있습니다. 이 프로젝트는 WebGPU, WebAudio, Web Workers, WebAssembly, WebSocket 등 웹 기술 스택을 기반으로 구축되었으며, Vue.js 및 TypeScript를 사용하여 프런트엔드 개발을 용이하게 합니다. 성능 저하에 대한 우려를 해소하기 위해, 데스크톱 버전은 HuggingFace의 candle 프로젝트 덕분에 추가적인 복잡한 의존성 관리 없이 NVIDIA CUDA 및 Apple Metal과 같은 네이티브 GPU 가속을 활용합니다. 이는 그래픽, 레이아웃, 애니메이션 및 플러그인 시스템에서 웹 기술을 부분적으로 활용하면서도 컴퓨팅 집약적인 작업에는 네이티브 성능을 활용하는 트레이드오프를 고려한 설계입니다.

AIRI의 기능은 다음과 같습니다.

• 게임 플레이 상호작용: Minecraft 및 Factorio와 같은 게임을 직접 플레이할 수 있는 능력을 갖추고 있습니다. Factorio Agent는 Factorio RCON API를 통해 factorio-server와 상호 작용하며, autorio 모드를 활용합니다. Minecraft Agent는 Mineflayer를 사용하여 minecraft-server와 연결됩니다.
• 커뮤니케이션: Telegram 및 Discord와 같은 플랫폼에서 채팅이 가능합니다.
• 메모리 시스템: DuckDB WASM 및 pglite를 활용한 순수 인브라우저 데이터베이스 지원을 포함합니다. Memory Alaya (WIP) 및 Memory_PGVector를 통해 더 정교한 메모리 관리가 이루어집니다. DBDriver는 drizzle-duckdb-wasm을 통해 메모리 드라이버와 상호 작용합니다.
• 음성 처리 (Ears & Mouth): 브라우저 및 Discord에서의 오디오 입력, 클라이언트 측 Speech Recognition (STT) 및 발화 감지 (talking detection) 기능을 포함합니다. STT는 Unspeech (ASR 및 TTS를 위한 범용 엔드포인트 프록시)를 통해 처리됩니다. 음성 합성은 ElevenLabs를 사용합니다.
• 아바타 제어 (Body): VRM 및 Live2D 모델을 지원하며, 모델 제어, 애니메이션, 자동 눈 깜빡임 (Auto blink), 자동 시선 처리 (Auto look at), 유휴 눈 움직임 (Idle eye movement)이 가능합니다.
• 인브라우저 추론: WebGPU를 통한 로컬 추론을 지원하여, 클라이언트 측에서 AI 모델을 실행합니다.
• LLM API 연동: xsAI를 기반으로 AIHubMix, OpenRouter, vLLM, Ollama, OpenAI, Anthropic Claude, Google Gemini, xAI Groq 등 다양한 LLM API 공급자와 통합됩니다. xsAI는 Core, Factorio Agent, Minecraft Agent의 LLM 기반 의사결정을 지원합니다.

아키텍처는 Core 컴포넌트를 중심으로 Memory, STT, SVRT (Server Runtime)와 같은 모듈이 연결됩니다. 사용자 인터페이스 (UI)는 StageUI를 통해 Stage (웹, 데스크톱, 모바일 버전)와 연결됩니다. StageWeb, StageTamagotchi, StagePocket은 각각 브라우저, 데스크톱 (Nix 패키지 지원), 모바일 (PWA, Capacitor를 통한 iOS/Android) 환경에서의 배포를 담당합니다. 개발 환경 설정은 pnpm dev를 통해 웹 버전을 시작하며, 데스크톱 버전은 pnpm dev:tamagotchi로 실행됩니다. 모바일 버전은 pnpm dev:pocket으로 개발 서버를 시작하여 Capacitor를 통해 빌드됩니다.

프로젝트는 모듈식 접근 방식을 취하며, proj-airi 조직 아래에 unspeech, xsai-transformers, drizzle-duckdb-wasm, tauri-plugin-mcp, AIRI Factorio 등 여러 서브 프로젝트를 통해 기능을 확장하고 재사용성을 높였습니다. 이는 Ollama와 유사한 모델 카탈로그 및 관리 도구인 MCP Launcher와 같은 인프라 컴포넌트까지 포함합니다.