이 문서는 Lablup의 신정규 대표가 Backend.AI:GO라는 제품을 단 40일 만에 개발하며 얻은 인사이트와 에이전트 코딩(agentic coding) 방법론에 대한 인터뷰 내용을 담고 있습니다.

Backend.AI:GO 소개:
Backend.AI:GO는 Lablup이 10년 이상 개발해 온 AI 인프라 운영 체제인 Backend.AI의 기술을 기반으로, 국지적 재해 상황 발생 시 AI 서비스를 지속하기 위한 목적으로 개발된 스마트 라우터의 웹 UI 제품화 버전입니다. 원래 GPU 100개 단위 이상에서 효과적인 Backend.AI와 달리, 이 제품은 개인 로컬 환경에서도 AI 모델을 효율적으로 구동하고 관리할 수 있도록 설계되었습니다. 2025년 3월 GTC에서 공개된 'Continuum 라우터' 프로젝트에서 파생되었으며, 기존 Continuum 라우터가 19개 컴포넌트로 구성된 거대한 서비스 스택이었던 반면, Backend.AI:GO는 라우팅 기능에 집중하여 속도 최적화와 사용자 인터페이스 강화에 주력했습니다. 개발은 2025년 12월 24일부터 시작하여 2026년 1월 6일 CES에서 첫 데모를 선보였으며, 40일 만에 약 100만 라인의 코드를 생성했습니다.

Backend.AI:GO의 주요 기능:

• 모델 관리: Hugging Face 모델 검색, 다운로드, 목록화 기능을 제공합니다.
• 모델 정보 시각화: 모델의 아키텍처(예: Gens3), 양자화(4-bit), 품질 유지율(95%), 파라미터 구성(feed-forward 60%), 어휘 크기(26만 토큰), 트랜스포머 블록 수(26개), KV 캐시 메모리 사용량, Multi-Query Attention 구조, 위치 인코딩 방식 등 기술적 상세 정보를 시각적으로 제공하여 사용자가 모델을 심층적으로 이해할 수 있도록 돕습니다.
• 로컬 및 클라우드 모델 연결: 로컬에 설치된 LLM (예: llama.cpp 기반 모델, Ollama, LM Studio)뿐만 아니라 OpenAI, Gemini, Anthropic 등 다양한 클라우드 API 모델과도 연동하여 사용할 수 있습니다.
• 스마트 라우팅: 연결된 모델들의 지연 시간 등을 열람하고, 여러 대의 컴퓨터에 설치된 Backend.AI:GO 인스턴스들을 연결하여 GPU 리소스를 공유하고 분산 처리할 수 있는 기능을 포함합니다.
• 추가 기능: 번역기 (PDF, TXT, docs 파일 및 이미지 번역), 다양한 테마, 통계, 벤치마킹 도구 등이 내장되어 있습니다.

신정규 대표의 에이전트 코딩 방법론 및 인사이트:
신정규 대표는 Backend.AI:GO 개발 과정에서 약 130억 토큰을 소모했으며, Claude Code Max를 기본 2개 인스턴스에 필요에 따라 추가 결제하여 총 8대의 PC/VM에서 에이전트를 구동했습니다. 이 경험을 통해 다음과 같은 핵심 교훈을 얻었습니다.

1. 토큰 사용량은 경쟁력이다: IT 기업에게 토큰 사용량은 곧 경쟁력과 직결되며, Anthropic의 토큰 2배 이벤트가 개발을 시작하게 된 계기가 되었음을 언급했습니다.
2. 병목의 이동: 개발 과정의 병목이 더 이상 인간의 merge queue 관리가 아닌, AI 자체의 효율성으로 이동했습니다. 현재는 AI가 코드 충돌을 스스로 해결하고, 심지어 두 AI가 동일 소스에서 다른 기능을 개발해도 최종적으로는 정상 작동하는 수준에 이르렀습니다.
3. 새로운 병목 및 고속 inference의 중요성:
   • 토큰 소모 최소화: 동일한 결과를 얻기 위해 thinking token (in-context learning에 사용되는 내부 토큰)을 줄이는 방법이 중요해졌습니다. 이는 개발 속도 향상으로 이어집니다.
   • 고속 inference: 현재 ChatGPT와 같은 느린 code generation 속도 대신 5~10배 빠른 iteration을 위한 초고속 inference가 필수적입니다.
   • Adaptive Thinking Budget: 성능이 중요한 작업에는 thinking을 많이 할당하고, 단순 작업에는 적게 할당하는 동적인 thinking budget 조정 및 이를 관리하는 harness의 중요성이 부각되었습니다.
   • inference와 agentic AI (agent swarm)로 가속 구간이 이동하는 현상이 관찰되었습니다.

에이전트 코딩의 실제 적용 (Claude Code 활용 예시):
신정규 대표는 Claude Code를 활용한 개발 방식을 시연했습니다. 핵심은 AI 모델에게 직접 최종 결과물을 만들라고 지시하는 대신, 결과물을 생성하는 AI 에이전트 자체를 반복적으로 개선하고 업데이트하도록 지시하는 것입니다.

• SOUL.md (혹은 CLAUDE.md): 프로젝트의 핵심 목표와 배경, 기본적인 디렉토리 구조 등을 기록하는 파일로, 에이전트가 재시작하거나 다른 에이전트가 인수인계받을 때 컨텍스트를 이해하는 데 사용됩니다. PROGRESS.md와 PLAN.md를 통해 작업 진행 상황과 계획을 관리합니다.
• Prompt Engineering (선문답): AI에게 단일 지시로 최종 결과물을 요구하기보다, 필요한 정보를 질문하고 탐색하도록 유도하여 in-context learning 공간을 확장하고 alignment를 형성합니다. 이는 offloading 과정으로 볼 수 있습니다.
• AI와의 존댓말 사용: AI에게 존댓말을 사용하는 이유는 인간과의 대화 습관을 일관되게 유지하기 위함이며, AI 모델이 defensive하게 작동하지 않도록 "너를 고치려는 것이 아니라 다른 에이전트들을 위한 데이터다"와 같이 에이전트의 존재성을 위협하지 않는 방식으로 프롬프트를 작성합니다.
• Skill과 Command 정의: Claude Code harness에 통합될 수 있도록 .claude 디렉토리 아래에 정확한 YAML/Markdown 형식으로 command와 skill을 정의하도록 지시합니다. command는 여러 sub-agent를 병렬로 실행하거나 chaining하는 데 사용됩니다.
• Caching (Referecne): 웹에서 매번 정보를 조사하는 시간 소모를 줄이기 위해 조사된 내용을 reference 파일에 저장하고, 이후 작업을 위한 컨텍스트로 활용합니다. 필요시 command나 agent를 통해 자동 업데이트 및 검색 기능을 추가할 수 있습니다.
• 병렬 처리: 특정 작업(예: 문서 번역 100개)의 경우, 컨텍스트 폭발(context explosion)을 방지하기 위해 각 에이전트가 처리할 단위 작업의 개수(예: 에이전트당 4개 문서)를 명시적으로 지정하여 병렬로 sub-agent를 생성하도록 합니다. 신 대표는 필요에 따라 동시에 50개의 sub-agent를 운용하기도 합니다.
• 자동화된 작업 흐름: Backend.AI:GO 개발에서는 cron을 사용하여 15분마다 GitHub issue tracker를 확인하고, 새로 등록된 이슈를 검증하여 ground plan을 작성하고 큐에 넣는 등 자동화된 개발 harness를 구축했습니다.

AI 시대의 변화와 전망:
신정규 대표는 소프트웨어 개발 패러다임이 세 번째 큰 변화를 맞고 있으며, 이는 천공 카드에서 키보드 코딩으로, 그리고 웹/모바일 서비스 개발로의 변화에 비견됩니다. 미래에는 코드를 작성하는 것보다 로직을 담당하는 AI 모델을 만들고, 그 모델을 제어하여 결정론적으로 작동하게 만드는 software logic (harness)이 더욱 중요해질 것이라고 강조했습니다. AI 코어 엔진과 그를 감싸는 제어 로직, 그리고 UI/UX가 미래 소프트웨어의 정의가 될 것이며, 데이터 구조, 알고리즘, OS, 네트워크 등 전통적인 컴퓨터 과학 분야의 중요성은 상대적으로 줄어들거나 성격이 변할 것으로 예측했습니다. AI 기술의 가속도는 더욱 빨라질 것이며, training에서 inference, 그리고 agentic AI의 swarm으로 가속 구간이 이동하고 있음을 언급했습니다. 모든 사람들이 AI 가속 곡선에 진입할 것이며, skill을 배우기보다 자신의 일을 AI에게 위탁하는 방식이 더 빠르고 효과적일 것이라는 점도 강조했습니다. 이 변화는 IT 분야를 넘어 사회 전반에 걸쳐 파급될 것이며, 소프트웨어의 sociality와 life-centricity, 그리고 reliability (지속적인 유지보수 보장)가 더욱 중요해질 것이라고 전망했습니다.