GitHub - huggingface/lerobot: 🤗 LeRobot: Making AI for Robotics more accessible with end-to-end learning

LeRobot은 PyTorch를 기반으로 실제 로보틱스를 위한 모델, 데이터셋 및 도구를 제공하여, 로보틱스 AI 분야의 접근성을 낮추고 공유 가능한 데이터셋과 사전 훈련된 모델을 통해 기여 및 활용을 용이하게 하는 것을 목표로 합니다.

핵심 방법론 (Core Methodology) 및 주요 특징:

하드웨어 추상화 및 표준화된 제어 인터페이스 (Hardware Abstraction and Standardized Control Interface):

LeRobot은 하드웨어 독립적인(hardware-agnostic) Python-native 인터페이스인 Robot 클래스를 제공하여 다양한 로봇 플랫폼(예: SO100, LeKiwi, Koch, HopeJR, OMX, EarthRover, Reachy2, Gamepads, Keyboards, Phones, OpenARM, Unitree G1)에 걸쳐 제어 로직을 표준화합니다. 이 Robot 인터페이스는 하드웨어 특성과 제어 로직을 분리하여 사용자가 robot.connect(), robot.get_observation(), robot.send_action(action)과 같은 통일된 API를 통해 다양한 로봇과 상호작용할 수 있도록 합니다. 사용자는 이 인터페이스를 쉽게 확장하여 자신만의 로봇을 통합하고 LeRobot의 데이터 수집, 훈련 및 시각화 도구를 활용할 수 있습니다. 이는 로봇 하드웨어의 이질성(heterogeneity) 문제를 해결하여 연구 및 개발의 이식성(portability)을 크게 향상시킵니다.

표준화된 로봇 데이터셋 형식 (Standardized Robotic Dataset Format):

로보틱스 분야의 고질적인 데이터 파편화(data fragmentation) 문제를 해결하기 위해 LeRobot은 Hugging Face Hub에 호스팅되는 LeRobotDataset 형식을 도입합니다. 이 형식은 시각 정보(visual information)를 위해 동기화된(synchronized) MP4 비디오(또는 이미지)와 상태(state) 및 액션(action) 데이터를 위한 Parquet 파일을 조합하여 사용합니다. 이 구조는 대규모 로봇 데이터셋의 효율적인 저장, 스트리밍 및 시각화를 가능하게 합니다. 또한, LeRobotDataset은 에피소드 삭제, 인덱스/비율에 따른 데이터 분할, 특징 추가/제거, 여러 데이터셋 병합과 같은 데이터 관리 도구를 제공합니다. 이는 로봇 데이터의 접근성, 공유 가능성 및 재현성(reproducibility)을 극대화합니다.

최첨단 정책 모델 (State-of-the-Art Policy Models):

LeRobot은 실제 환경으로 전이(transfer) 가능한 최첨단 정책 모델을 순수 PyTorch로 구현하여 제공합니다. 이는 모방 학습(Imitation Learning) 모델(예: ACT, Diffusion, VQ-BeT), 강화 학습(Reinforcement Learning) 모델(예: HIL-SERL, TDMPC & QC-FQL) 및 시각-언어-액션(Vision-Language-Action, VLA) 모델(예: Pi0.5, GR00T N1.5, SmolVLA, XVLA)을 포함합니다. lerobot-train 명령어를 통해 --policy 및 --dataset.repo_id를 설정함으로써 정책 훈련을 간소화합니다. LeRobot은 훈련 과정의 계측(instrumentation) 및 검사(inspection)를 위한 도구를 제공하며, 사용자가 자신의 정책을 쉽게 구현하고 Hugging Face Hub에 공유할 수 있도록 지원합니다.

통합된 추론 및 평가 프레임워크 (Unified Inference and Evaluation Framework):

LeRobot은 시뮬레이션 환경과 실제 하드웨어 모두에서 정책을 평가할 수 있는 통일된 lerobot-eval 스크립트를 제공합니다. LIBERO, MetaWorld와 같은 표준 벤치마크를 지원하며, 사용자는 EnvHub Documentation을 따라 자신만의 시뮬레이션 환경이나 벤치마크를 구현하고 Hugging Face Hub를 통해 배포할 수 있습니다. 이 프레임워크는 훈련된 모델의 성능을 객관적으로 측정하고 다양한 환경에서 일반화(generalization) 능력을 검증하는 데 필수적인 도구를 제공합니다.