Skip to content
뉴스레터2026.10.29

← 지난 발행

에이전트가 에이전트를 만든다

발송일 2026.10.29

설계부터 학습까지 스스로 진화하는 AI, 현실 업무 성공률은 아직 33%

AI 에이전트라고 하면 보통 사용자가 목표를 주고, 모델이 검색·파일 읽기·코드 실행·브라우저 조작 같은 도구를 활용해 여러 단계를 수행하는 시스템을 떠올립니다. 하지만 여기에도 사람이 설계해야 하는 영역은 꽤 많습니다. 어떤 에이전트를 둘지, 어떤 도구를 연결할지, 어떤 순서로 실행할지, 실패하면 어느 단계로 돌아갈지 같은 에이전트 아키텍처와 워크플로는 여전히 사람이 미리 정하는 경우가 많았죠. 그렇다면 업무 자동화의 다음 단계는 단순히 “AI가 일을 대신하는 것”이 아니라, “AI가 어떻게 일할지까지 스스로 설계하고 개선하는 것”일까요?

💡 이번 주 뉴스레터 요약

  • 설계하는 에이전트: ADAS와 AutoAgent를 통해 에이전트 구조와 워크플로 자체가 자동화되는 흐름을 살펴봅니다.
  • 스스로 개선하는 에이전트: MUSE와 Agent Lightning을 중심으로 경험을 쌓고 학습하며 성능을 높이는 방식을 비교합니다.
  • **현실 업무에서는 아직 간극이 크다: ** ClawBench에서 가장 높은 성능을 보인 Claude Sonnet 4.6도 실제 웹 업무 성공률은 33.3%였습니다.

사람이 에이전트를 설계하던 단계에서, 에이전트가 에이전트를 설계하는 단계로

이 흐름의 중요한 출발점 중 하나가 ICLR 2025에 발표된 Automated Design of Agentic Systems, ADAS입니다. 기존 에이전트 연구에서는 사람이 역할, 프롬프트, 도구, 에이전트 간 연결 구조를 설계한 뒤 성능을 높이는 경우가 많았습니다. ADAS는 여기서 한 단계 더 나아가 “어떤 에이전트 구조가 가장 잘 작동하는가?” 자체를 AI가 탐색하도록 만듭니다. 예를 들어 사람이 프롬프트, 도구 사용 방식, 여러 에이전트의 역할과 실행 순서를 직접 정하는 대신, Meta-Agent가 이런 요소를 다르게 조합한 에이전트 코드를 여러 개 생성하고 실제 성능을 비교해 더 나은 구조를 찾아갑니다.

연구진이 제안한 Meta Agent Search에서는 Meta-Agent가 새로운 에이전트를 코드로 생성하고, 실제 태스크에서 성능을 평가한 뒤 결과가 좋은 에이전트를 archive에 저장합니다. 이후 Meta-Agent는 이전에 발견한 설계를 참고해 다시 새로운 구조를 제안합니다. 즉 `에이전트 생성 → 평가 → archive → 다음 에이전트 생성`이라는 반복적인 탐색 과정이 만들어집니다. 연구진은 ARC를 비롯해 reading comprehension, math, science, multi-task problem solving에서 이를 평가했습니다. ARC(Abstraction and Reasoning Corpus)는 몇 개의 색상 격자 예시를 보고 숨은 변환 규칙을 찾아, 새 입력에 대한 출력을 맞히는 추론 벤치마크입니다. 이 평가에서 발견된 에이전트가 다른 도메인과 모델에도 전이될 수 있는지를 확인했습니다.

Meta-Agent가 새로운 에이전트를 생성·평가하고 이전 설계를 archive에 축적하는 Meta Agent Search | 출처: Hu et al., Automated Design of Agentic Systems (ICLR 2025), Fig. 1

2026년 ACL Findings에 발표된 AutoAgent는 이 흐름을 조금 다른 방향으로 확장합니다. ADAS가 더 나은 에이전트 아키텍처를 자동 탐색하는 데 초점을 맞춘다면, AutoAgent는 사용자가 자연어만으로 에이전트를 생성하고 배포하는 zero-code 환경을 지향합니다. 내부적으로 도구·에이전트·워크플로를 동적으로 생성하거나 수정하며, 연구진은 이를 하나의 Agent Operating System으로 설명합니다.

즉, 업무 자동화의 추상화 수준이 올라가고 있는 셈입니다. 과거에는 사람이 워크플로를 코드로 구현했다면, 이제는 “이 업무를 처리할 에이전트를 만들어줘”라는 자연어 요청 자체가 시스템 설계의 입력이 되는 방향입니다.

한 번 만든 에이전트도 더 이상 고정돼 있지 않다

설계 자동화 다음에 등장하는 질문은 “에이전트가 실제로 일한 경험은 어디로 가는가?”입니다. 일반적인 에이전트는 하나의 태스크 안에서는 이전 도구 호출이나 관측 결과를 컨텍스트로 활용할 수 있지만, 실행이 끝난 뒤 그 경험이 다음 태스크에서의 행동 방식까지 바꾸지는 않습니다.

ACL 2026 Findings의 MUSE는 이 문제를 “Self-Evolving Agent”관점에서 다룹니다. MUSE의 핵심은 autonomous post-execution critique입니다. 각 하위 태스크가 끝난 뒤 실행 로그를 분석해 성공 전략과 실패 원인을 structured insight로 만들고, 이를 계층형 메모리에 저장합니다. 이후 장기 워크플로에서는 이 메모리를 다시 검색해 orchestration에 활용합니다. 별도의 모델 파라미터 업데이트 없이도, 실행 과정에서 축적된 경험을 이용해 에이전트의 행동을 점진적으로 바꾸는 방식이죠.

연구진은 장기 업무 벤치마크인 TAC에서 MUSE를 평가했습니다. TAC는 업무를 여러 중간 checkpoint로 나누고, 최종 완수 여부뿐 아니라 중간 단계를 얼마나 완료했는지도 반영하는 partial completion score를 사용합니다. 같은 Gemini-2.5 Flash 기반에서 어려운 태스크만 모아 비교했을 때, 메모리가 없는 MUSE는 23.65%, 메모리를 적용한 MUSE는 33.41%를 기록했습니다. 실행 경험을 메모리로 쌓는 구조 자체가 성능을 끌어올린 셈입니다.

여러 애플리케이션을 오가며 장기 업무를 수행하고, 실행 경험을 축적해 지속적으로 개선되는 MUSE | 출처: Yang et al., MUSE (ACL Findings 2026), Fig. 1

여기서 말하는 ‘학습’은 모델 파라미터를 업데이트하는 training과는 조금 다릅니다. MUSE는 test-time에 경험을 메모리로 축적해 행동을 개선하는 비파라메트릭 방식에 가깝습니다. 그렇다면 실제 모델 자체도 에이전트 환경에서 계속 학습시킬 수 있을까요?

메모리를 쌓는 것을 넘어, 실제 에이전트를 RL로 학습시키기

2026년 8월 공개된 Agent Lightning v1.0은 이 지점에서 출발합니다. 기존 Agentic RL에서는 에이전트의 interaction loop를 RL framework 내부에 다시 구현해야 하는 경우가 많았습니다. 하지만 실제 코딩 에이전트나 범용 에이전트에는 컨텍스트 관리, 도구 protocol, orchestration 등을 담당하는 별도의 Agent Harness가 있고, 이를 학습 프레임워크에 다시 구현하면 실제 배포 환경과 학습 환경 사이에 차이가 생길 수 있습니다.

Agent Lightning이 제안하는 Harnessed Agentic RL에서는 실제 배포에 사용하는 Harness가 학습에도 그대로 참여합니다. 에이전트와 모델 사이에 OpenAI-compatible LLM proxy를 두고 모델 호출을 관찰해 롤아웃과 학습 샘플을 구성하기 때문에, 기존 Harness 코드를 크게 바꾸지 않고 RL과 연결할 수 있습니다.

**📌Agent Harness: ** 에이전트를 둘러싸고 컨텍스트 관리, 도구 호출, 실행 순서 등을 담당하는 실행 환경

기존 Agentic RL과 실제 Agent Harness가 직접 학습에 참여하는 Harnessed Agentic RL의 차이 | 출처: He et al., Agent Lightning v1.0 (2026), Fig. 1

실험에서는 Qwen3.5-9B를 강화학습의 대상이 되는 기반 모델로 사용하고, mini-SWE-agent를 저장소 탐색·코드 수정·테스트 실행 등을 담당하는 코딩 에이전트 Harness로 구성했습니다. 약 6,000개의 학습 샘플로 Qwen3.5-9B를 학습한 결과, SWE-bench Verified의 Pass@1은 41.8%에서 56.4%로 14.6%p 상승했습니다.

MUSE와 Agent Lightning을 나란히 보면 Self-Evolving Agent 연구의 두 방향이 보입니다. 모델은 그대로 두고 경험을 메모리와 스킬로 쌓는 방향, 그리고 실제 실행 궤적으로 모델 자체를 강화학습으로 업데이트하는 방향입니다.

그런데 현실 업무를 맡기면 얼마나 잘할까?

여기까지의 연구는 공통적으로 에이전트를 어떻게 더 잘 설계하고, 경험에서 배우고, 학습시킬 것인가에 초점을 맞춥니다. 그렇다면 지금의 에이전트를 실제 업무 환경에 투입하면 어느 정도까지 일을 맡길 수 있을까요?

이 질문을 현실의 웹 환경에서 검증한 연구가 2026년 Findings of EMNLP에 발표된 ClawBench입니다. ClawBench는 AI 에이전트를 정적인 benchmark 사이트가 아니라 실제로 운영 중인 웹사이트에 투입했습니다.

구매, 예약, 입사지원 등 일상과 업무에서 반복되는 153개 태스크를 144개 live platform, 15개 category에 걸쳐 구성했습니다. 사용자 문서에서 정보를 찾아 여러 단계의 form을 작성하거나, 서로 다른 페이지를 오가며 워크플로를 완수해야 하는 과제도 포함됩니다. 실제 부작용을 막기 위해 마지막 submission request만 interception layer에서 차단했습니다.

실제 production website에서 everyday online task를 수행하도록 설계된 ClawBench | 출처: Zhang et al., ClawBench (Findings of EMNLP 2026)

8개의 frontier model을 평가한 결과, 가장 높은 성능을 보인 Claude Sonnet 4.6도 전체 태스크의 33.3%만 완료했습니다.

흥미로운 점은 ClawBench의 태스크 자체가 최첨단 연구 문제처럼 보이지 않는다는 것입니다. 제품을 구매하고, 예약 정보를 입력하고, 입사지원서를 제출하는 일은 사람이 웹에서 매일 수행하는 평범한 작업입니다. 하지만 에이전트 입장에서는 사용자 문서에서 정확한 정보를 찾고, 동적으로 변하는 웹 UI를 해석하고, 긴 워크플로에서 이전 상태를 유지하며, 여러 필드를 오류 없이 입력해야 합니다.

결국 특정 reasoning benchmark에서 높은 성능을 보이는 것과 실제 업무 워크플로를 안정적으로 끝내는 것은 아직 같은 문제가 아닙니다.

업무 자동화의 단위가 바뀌고 있습니다

이 연구들을 하나의 흐름으로 놓고 보면 Agentic AI에서 자동화되는 대상이 어떻게 확장되고 있는지 보입니다.

자동화의 범위가 Task Execution에서 Agent Design, Experience Refinement, Agent Training까지 확장되고 있는 셈입니다.

다만 ClawBench가 보여주듯 자율성이 높아졌다고 곧바로 신뢰할 수 있는 업무 자동화가 완성되는 것은 아닙니다. 에이전트가 스스로 워크플로를 설계하고 학습할수록 어떤 목표를 최적화할지, 어떤 도구와 데이터에 접근할 수 있는지, 실패를 어떻게 평가할지, 어느 단계에서 human-in-the-loop를 둘지가 오히려 더 중요한 설계 문제가 됩니다.

아직 현실 업무에서는 갈 길이 멉니다. 하지만 에이전트 연구의 경쟁 기준이 단순히 “이 태스크를 수행할 수 있는가?”에서 “얼마나 적은 인간 개입으로 스스로 설계하고, 경험하고, 개선할 수 있는가?”로 넓어지고 있다는 점은 분명해 보입니다.


AI 자동화의 다음 단계는 업무 자체의 자동화를 넘어, ‘업무를 자동화하는 방법’의 자동화일지도 모릅니다.

이 글에 의견 남기기