GitHub - open-jarvis/OpenJarvis: Personal AI, On Personal Devices
핵심 포인트
- 1OpenJarvis는 클라우드 API에 의존하는 Personal AI의 한계를 극복하고 로컬 환경에서 실행되는 AI를 위한 오픈 소스 소프트웨어 스택입니다.
- 2이 프레임워크는 온디바이스 에이전트 구축을 위한 공유 프리미티브, 에너지 효율성 등을 고려한 평가 방식, 그리고 로컬 트레이스 데이터를 활용한 학습 루프를 핵심 아이디어로 합니다.
- 3궁극적으로 OpenJarvis는 PyTorch와 같이 로컬에서 기본적으로 작동하며 필요할 때만 클라우드를 사용하는 개인 AI 에이전트를 개발하기 위한 연구 플랫폼이자 생산 기반을 목표로 합니다.
OpenJarvis는 클라우드 API에 의존하는 기존 Personal AI 에이전트의 한계를 극복하고, 개인 장치에서 Local-first AI를 구현하기 위한 프레임워크입니다. 이 프로젝트는 Intelligence Per Watt 연구를 통해 Local 언어 모델이 단일 턴(single-turn) 채팅 및 추론 쿼리의 88.7%를 처리할 수 있으며, 2023년부터 2025년까지 지능 효율성이 5.3배 향상될 것으로 예측하는 등 하드웨어와 모델이 이미 준비되어 있음을 강조합니다. OpenJarvis의 목표는 진정으로 필요할 때만 클라우드를 호출하고 기본적으로 로컬에서 실행되는 Personal AI 에이전트를 구축할 수 있도록 하는 것입니다.
OpenJarvis는 다음 세 가지 핵심 아이디어를 중심으로 구축된 Opinionated Framework입니다.
- Shared primitives for building on-device agents: 온디바이스(on-device) 에이전트를 구축하기 위한 공유된 기본 구성 요소를 제공합니다. 이는 개발자가 Local AI 시스템을 효율적으로 개발하고 배포할 수 있도록 하는 표준화된 도구, API 또는 모듈 세트를 의미합니다. 프레임워크는 장치별 최적화, 효율적인 데이터 처리, 모델 로딩 및 에이전트 오케스트레이션과 같은 공통 기능을 추상화하여 개발 복잡성을 줄입니다.
- Evaluations that treat energy, FLOPs, latency, and dollar cost as first-class constraints alongside accuracy: 기존 AI 평가 방식이 정확도(accuracy)에만 치우치는 경향과 달리, OpenJarvis는 실제 운영 환경에서의 제약 조건을 중요하게 다룹니다.
- Energy (에너지): 배터리 구동 장치에 필수적인 전력 소비량을 평가합니다.
- FLOPs (Floating Point Operations): 연산 복잡도를 측정하여 실행 시간 및 에너지 소비에 미치는 영향을 분석합니다.
- Latency (지연 시간): 실시간 애플리케이션에 중요한 AI 모델의 출력 생성 시간을 측정합니다.
- Dollar cost (비용): 하드웨어 구매 비용이나 클라우드 폴백(fallback) 사용 시 발생하는 비용을 고려합니다.
- Accuracy (정확도): 여전히 중요하지만, 위의 다른 제약 조건들과 균형을 맞춰 다중 목적 최적화(multi-objective optimization) 관점에서 모델을 평가합니다. 이는 다양한 메트릭에 걸친 Pareto front 분석을 통해 최적의 모델을 선택하고 배포하는 것을 가능하게 합니다.
- Learning loop that improves models using local trace data: AI 모델의 지속적인 개선을 위한 피드백 루프(feedback loop)를 구현합니다. 이는 AI 에이전트가 로컬에서 실행될 때 생성되는 데이터(예: 사용자 상호 작용, 모델 출력, 오류, 성능 지표 등)인 Local trace data를 활용합니다. 이 데이터는 모델을 특정 장치 및 사용자에게 맞게 미세 조정(fine-tune), 적응(adapt) 또는 더 나은 모델을 선택하는 데 사용됩니다. 이를 통해 민감한 데이터를 클라우드로 전송할 필요 없이 AI가 시간이 지남에 따라 더욱 개인화되고 효율적으로 작동하도록 합니다.
OpenJarvis는 PyTorch와 같이 연구 플랫폼이자 Local AI를 위한 프로덕션 기반(production foundation)을 목표로 합니다. 설치는 git clone, uv sync를 통해 Core framework를 설치하고, Ollama, vLLM, SGLang, 또는 llama.cpp와 같은 Local inference backend가 필요합니다. jarvis init 명령어를 통해 하드웨어 자동 감지 및 구성 설정을 할 수 있습니다. 개발을 위해서는 Rust 설치와 Rust extension 빌드가 필요합니다.
이 프로젝트는 Hazy Research와 Stanford SAIL의 Scaling Intelligence Lab에서 Intelligence Per Watt 연구의 일환으로 개발되었습니다. 라이선스는 Apache 2.0을 따릅니다.