ML Intern은 Hugging Face 생태계를 활용하여 머신러닝 관련 코드를 자율적으로 연구하고, 작성하며, 배포하는 데 중점을 둔 ML 인턴 에이전트입니다. 이 에이전트는 Hugging Face의 문서, 논문, 데이터셋, 클라우드 컴퓨팅 자원에 깊이 접근할 수 있는 능력을 가지고 있습니다.

핵심 방법론 및 아키텍처

ML Intern의 핵심은 복잡한 작업을 자율적으로 수행하기 위한 정교한 아키텍처와 반복적인 Agentic Loop에 있습니다.

1. Operation Submission and Routing: 사용자의 입력은 submission_loop를 통해 처리됩니다. 이 루프는 user_input, exec_approval 등 다양한 Operation을 event_queue에서 받아 해당 핸들러(run_agent, compact 등)로 라우팅합니다.

2. Agentic Loop (Handlers.run_agent()): 에이전트의 주요 로직은 최대 300회 반복되는 Agentic Loop 내에서 실행됩니다. 이 루프는 다음 단계를 포함합니다:
   • LLM Call: ContextManager에 저장된 현재 메시지 히스토리와 ToolRouter를 통해 사용 가능한 tool specifications을 기반으로 litellm.acompletion()을 호출하여 LLM(Large Language Model)로부터 응답을 생성합니다.
   • Tool Call Parsing: LLM 응답에서 tool_calls[]를 파싱합니다. 만약 tool_calls가 없다면, 에이전트는 작업을 완료한 것으로 간주하고 루프를 종료합니다.
   • Approval Check: 파싱된 tool_calls 중 jobs, sandbox 사용 또는 파괴적인 작업을 포함하는 경우 사용자 승인(Approval check)을 요청합니다.
   • Tool Execution: 승인된 tool_call은 ToolRouter를 통해 실행됩니다.
   • Result Integration: ToolRouter의 실행 결과는 ContextManager에 추가되어 다음 LLM 호출을 위한 새로운 컨텍스트를 형성합니다.
   • Repetition: tool_calls가 존재하고 실행되었다면, 에이전트는 다음 반복을 위해 루프를 계속합니다.

3. 주요 구성 요소:
   • ContextManager: 이 구성 요소는 에이전트의 세션 상태와 메시지 히스토리(litellm.Message[] 형태)를 관리합니다. 컨텍스트의 길이가 일정 기준(170k 토큰)을 초과하면 자동 압축(auto-compaction) 기능을 수행하여 효율성을 유지합니다. 또한 모든 세션은 Hugging Face Hub에 private 데이터셋으로 자동 업로드됩니다.
   • ToolRouter: 에이전트가 다양한 외부 시스템과 상호작용할 수 있도록 하는 핵심 모듈입니다. 다음을 포함한 광범위한 도구에 접근 권한을 제공합니다:
     • Hugging Face 문서 및 연구 자료 검색
     • Hugging Face repository, dataset, job, paper 접근
     • GitHub 코드 검색
     • Sandbox (Hugging Face Space 기반 클라우드 환경) 및 로컬 파일 시스템 도구 (bash, read, write, edit)
     • Planning 도구
     • MCP (Multi-party Computation Protocol) 서버 도구
   • Doom Loop Detector: 에이전트가 반복적인 tool patterns에 빠지는 것을 감지하고, 이를 해결하기 위한 corrective prompts를 LLM에 주입하여 무한 루프를 방지하는 안전 장치입니다.

사용법 및 기능

ML Intern은 ml-intern CLI 명령을 통해 접근할 수 있습니다. interactive mode (채팅 세션) 또는 headless mode (단일 프롬프트, 자동 승인)로 실행할 수 있습니다. 다양한 모델 (Anthropic/Claude, OpenAI/GPT, Ollama/Llama, vLLM/Llama)을 --model 옵션을 통해 선택할 수 있으며, LOCAL_LLM_BASE_URL 및 *_BASE_URL 환경 변수를 사용하여 로컬 모델을 지원합니다.

CLI 도구 runtime은 기본적으로 로컬 파일 시스템(bash, read, write, edit)을 사용하지만, --sandbox-tools 옵션을 통해 HF Space sandbox tools(sandbox_create 등)를 사용할 수 있습니다. Sandbox 도구는 원격 코드 테스트 및 GPU 자원 요청에 유용하며, HF_TOKEN이 필요합니다.

모든 세션의 실행 추적(traces)은 Claude Code JSONL format으로 사용자의 private Hugging Face 데이터셋에 자동 업로드되며, HF Agent Trace Viewer를 통해 확인 및 관리할 수 있습니다. CLI config를 통해 추적 공유를 옵트아웃하거나 대상 저장소를 변경할 수 있습니다.

알림 게이트웨이

ML Intern은 Slack과 같은 one-way notification gateway를 지원하여 에이전트의 상태 업데이트(승인 필요, 에러 발생, 턴 완료 등)를 외부 서비스로 전송할 수 있습니다. 이는 SLACK_BOT_TOKEN, SLACK_CHANNEL_ID와 같은 환경 변수 또는 cli_agent_config.json을 통해 설정됩니다.

개발

새로운 내장 도구는 agent/core/tools.py 파일을 수정하여 추가할 수 있으며, ToolSpec 객체를 정의하여 name, description, parameters, handler를 지정합니다. MCP Servers는 configs/cli_agent_config.json을 통해 설정하며, transport, url, headers와 같은 정보를 제공합니다. 개발 시 ruff를 이용한 pre-commit checks (코드 포맷팅 및 린팅)가 권장됩니다.