LangSmith Agent Builder now in Public Beta

LangSmith Agent Builder는 코딩 없이 프로덕션Ready 에이전트를 구축할 수 있도록 지원하는 도구이다. 이는 전통적인 AI 워크플로우 빌더와는 다르게 동작한다. 워크플로우는 각 작업을 완료하기 위해 사용자가 단계별 접근 방식을 정의해야 하며, 작은 구성 요소들이 LLM에 위임된다. 이는 고정된 경로를 따르고 초기 단계에서 엣지 케이스에 대한 많은 고려가 필요하다.

반면, 에이전트는 동적이다. 에이전트는 즉석에서 추론하고 새로운 정보에 적응한다. LangSmith는 에이전트가 넓은 범위의 생산성 유스 케이스에서 워크플로우보다 뛰어나다고 강조한다. 에이전트는 적절한 단계를 스스로 파악하며, 모든 도구, 액션 또는 시퀀스를 미리 매핑할 필요가 없다. 심지어 에이전트는 자체적으로 계획을 수립하고 복잡한 작업을 Subagent에 위임할 수도 있다. 또한, 에이전트는 작업을 완료할 때까지 Tool을 Loop에서 호출하여 장기간에 걸쳐 작동하며, 여러 도구에서 검색을 수행하고, 발견 사항을 통합하며, 필요한 것을 얻을 때까지 작업을 계속할 수 있다. 에이전트는 사용자의 피드백을 통해 개선되며, 단기 메모리를 사용하여 대화 전반에 걸쳐 작업을 정확하게 실행하거나, 장기 메모리를 사용하여 피드백과 선호도를 캡처하고 시간이 지남에 따라 개선되어 안정적으로 좋은 결과를 제공할 수 있다.

핵심 방법론 (Core Methodology): 에이전트 중심 아키텍처

LangSmith Agent Builder의 핵심은 LLM(Large Language Model)이 중심이 되는 에이전트 기반 아키텍처이다. 이는 기존의 'If-This-Then-That' 방식의 워크플로우를 넘어 LLM의 추론 능력과 유연성을 최대한 활용한다.

동적 추론 및 적응 (Dynamic Reasoning and Adaptation):

* 전통적인 워크플로우가 미리 정해진 규칙(rule-based)이나 절차(procedural)에 따라 실행되는 것과 달리, 에이전트는 LLM을 컨트롤러(controller)로 사용하여 실시간으로 다음 행동을 결정한다.
* 에이전트는 당면한 문제, 현재 상태, 사용 가능한 도구(tool), 그리고 목표를 LLM의 입력으로 제공한다. LLM은 이 정보를 바탕으로 '생각(thought)' 과정을 거쳐 최적의 '행동(action)'을 추론한다. 이는 "ReAct (Reasoning and Acting)" 또는 유사한 프레임워크와 유사하게 LLM이 추론 과정(reasoning)과 행동 결정(acting)을 반복하는 구조를 가진다.
* 새로운 정보나 환경 변화에 직면했을 때, 에이전트는 LLM의 적응성(adaptability) 덕분에 기존의 계획을 수정하거나 새로운 접근 방식을 즉석에서 생성할 수 있다.

반복적인 도구 호출 (Iterative Tool Calling):

* 에이전트는 단일 실행으로 작업을 끝내는 것이 아니라, 목표 달성까지 여러 번의 도구 호출을 반복한다.
* 각 반복에서 LLM은 다음 도구 호출의 필요성, 호출할 도구, 그리고 도구에 전달할 매개변수(parameters)를 결정한다. 도구 실행 결과(observation)는 다시 LLM의 입력으로 피드백되어 다음 추론 및 행동 결정에 사용된다. 이 루프는 목표가 달성되었다고 판단되거나, 더 이상 진행할 수 없을 때까지 계속된다.
* 이러한 반복적인 프로세스를 통해 에이전트는 복잡한 정보 수집, 분석 및 합성을 수행할 수 있으며, 이는 정해진 경로를 따르는 워크플로우 빌더로는 불가능한 깊이 있는 연구 및 작업 수행을 가능하게 한다.

메모리 및 학습 (Memory and Learning):

* 단기 메모리 (Short-term Memory): 에이전트는 현재 대화의 맥락을 유지하여 사용자의 지시를 정확히 이해하고 이전 상호작용을 기반으로 응답할 수 있다. 이는 컨텍스트 윈도우(context window) 또는 채팅 히스토리(chat history)를 활용하는 방식이다.
* 장기 메모리 (Long-term Memory): 에이전트는 사용자의 피드백, 선호도, 그리고 성공적인 패턴을 장기적으로 저장하고 활용할 수 있다. 이는 시스템 프롬프트(system prompt)를 동적으로 업데이트하거나, 임베딩(embedding) 기반의 벡터 데이터베이스(vector database)를 통해 과거 경험을 검색하여 LLM에 제공하는 방식으로 구현될 수 있다. 이를 통해 에이전트는 시간이 지남에 따라 성능이 향상된다.

에이전트 구축 에이전트 (Agent-Building Agent):

* Agent Builder는 내부적으로 또 다른 에이전트(메타-에이전트)를 활용하여 사용자의 자연어 명령을 기반으로 새로운 에이전트를 구축한다.
* 이 메타-에이전트는 사용자의 아이디어를 해석하고, 필요한 Prompts를 생성하며, 적절한 Tool을 선택하고 구성하여 최종 에이전트를 배포한다. 이는 복잡한 Agent Engineering 원칙을 비전문가도 쉽게 활용할 수 있도록 돕는다.

LangSmith Agent Builder는 채팅을 통해 에이전트 생성을 유도하며, 초기 아이디어부터 배포된 에이전트까지 상세한 Prompt를 생성하고 필요한 Tool을 선택한다.

베타 릴리스의 새로운 기능:

* Bring your own tools: 외부 API 및 내부 시스템을 MCP 서버를 통해 연결하여 에이전트에서 활용할 수 있다.
* Workspace agents: 워크스페이스 내에서 에이전트를 찾아보고, 복사하고, 사용자 정의할 수 있다.
* Multi-model support: OpenAI 및 Anthropic 모델 중에서 작업 및 선호도에 따라 선택할 수 있다.
* Programmatic invocation: API를 통해 에이전트를 호출하여 기존 워크플로우 및 시스템에 임베딩할 수 있다.
* Simplified UI: Agent Builder가 LangSmith 내 별도의 탭으로 이동하여 누구나 쉽게 에이전트를 생성하고 관리할 수 있게 되었다.

LangSmith Agent Builder가 해결하는 과제:

* AI 채택의 어려움: 효과적인 LLM Prompt 작성의 전문성, 워크플로우 자동화 도구의 가파른 학습 곡선, 그리고 어떤 작업을 안정적으로 자동화할 수 있는지 파악하기 어려운 문제들을 해결한다. 이로 인해 많은 사람들이 목적 지향적인 에이전트 대신 반복적인 LLM 채팅에 의존하는 경향이 있었다.
* 기술 팀의 요구사항: 속도, 보안 및 직원 자율성 간의 균형을 맞춘다. 직원들이 자신만의 에이전트를 사용자 정의할 수 있는 유연성을 제공하면서도 적절한 Guardrails를 통해 보안을 유지한다.

사용자 경험:

* "관리자처럼 작동": 사용자는 에이전트가 무엇을 해야 하는지 설명하고, 적절한 Tool을 승인하며, 에이전트가 자체적으로 접근 방식을 파악하도록 한다. Agent Builder는 복잡한 Prompt를 작성하는 데 도움을 주며, 에이전트는 장기 메모리를 통해 피드백으로부터 학습한다.
* 자연어 업데이트: 에이전트의 기능을 확장하거나 수정해야 할 때, Agent Builder에 자연어로 지시하면 된다. 에이전트는 지침을 시스템 Prompt에 저장하여 워크플로우를 재구축할 필요가 없다.
* 보안적인 재활용 및 확장: 새로운 Agent Workspace는 팀원들이 복제하고 사용자 정의할 수 있는 템플릿을 생성할 수 있게 한다. 기술 팀은 MCP 서버를 통해 내부 Tool에 대한 보안 액세스를 제공할 수 있으며, 비기술 팀은 승인된 Tool을 기반으로 구축하고 OAuth를 사용하여 인증할 수 있어 IT 지원 없이 에이전트 변경이 가능하다.

구축 사례:

* 역할별 연구 에이전트 (Role-specific research agents):
* Sales: 달력 검토, 참가자 목록 생성, 관련 뉴스 검색, 과거 상호작용 및 메모 찾기, 그리고 매일 아침 보고서 전송을 통해 고객 통화를 위한 일일 연구 보고서를 생성한다.
* Marketing: GTM(Go-to-Market) 전략에 영향을 미치는 경쟁사 뉴스, 발표, 이벤트 및 제품 출시에 대한 주간 업데이트를 통해 몇 시간의 연구를 몇 분의 백그라운드 작업으로 단축하고 Slack 채널로 알림을 보낸다.
* Recruiting: 매일 대상 프로필에 맞는 후보자를 검색하고, 중요한 기준에 따라 우선순위를 지정하며, 검토 및 승인할 수 있는 아웃바운드 메시지를 작성하도록 에이전트에게 지시한다.
* 환경 정보 추적 프로젝트로 전환 (Turning ambient information into tracked projects):
* Product and engineering: Slack 메시지에서 버그 관련 내용이 있을 때 Linear 이슈를 생성하거나 업데이트하고, 관련 정보(Slack, Salesforce, Gong)를 기반으로 범위, 우선순위 및 담당자를 채운다.
* Customer support: Pylon 티켓의 주간 요약, 추세 및 각 개인에게 맞춤화된 실행 항목을 팀 Slack 또는 이메일로 전송한다.
* Developer Education: GitHub 기여를 모니터링하고 저장소 변경 사항을 기반으로 새로운 문서에 대한 권장 사항을 얻는다.
* 커뮤니케이션 및 시간 절약 비서 (Communication and time-saving assistants):
* Email: 수신 메시지를 읽고, 라벨링하고, 우선순위를 지정하고, 회신 초안을 작성하는 이메일 비서를 생성하여 고우선순위 메시지에 응답하고 받은 편지함의 혼란을 정리한다.
* Calendar: 달력을 모니터링하고 지정된 임계값을 초과하는 회의가 있을 때 집중 시간을 차단하는 에이전트를 구축하여 매일 최소 두 시간의 집중 시간을 확보한다.
* Slack: 활성 Slack 채널에 대한 요약 보고서를 일일(또는 원하는 주기)로 받아 지속적인 컨텍스트 전환 없이 정보를 파악한다.

LangSmith는 에이전트 빌더가 더 많은 사람들이 사용함에 따라 지속적으로 학습하고 있으며, 사용자 커뮤니티로부터 피드백을 통해 개선하고 있다.