Plurai Simulation

Plurai Simulation 리뷰: AI 에이전트의 결함을 사용자가 아니라 시뮬레이션에서 먼저 찾아내다

대부분의 AI 에이전트 테스트는 채팅 기록에 점수를 매깁니다. 기록에는 환불 완료, 예약 변경 완료, 티켓 생성 완료라고 적혀 있습니다. 그런데 환불이 정말 실행됐을까요? 예약이 시스템에서 정말 바뀌었을까요? 아니면 에이전트가 자신감 넘치는 문장을 쓴 것뿐일까요? 이 간극이 바로 프로덕션 에이전트가 조용히 실패하는 지점이며, Plurai Simulation은 정확히 그 간극을 메우기 위해 만들어졌습니다.

Plurai Simulation은 2026년 11월 12일 Product Hunt에 출시되어 357표를 받으며 그날 1위를 차지했습니다. Plurai 팀의 창업자는 이전에 자율주행 시뮬레이션을 만들며, 자동차가 실제 도로에 나가기 전에 수백만 마일의 시뮬레이션 주행으로 신뢰를 얻는 방식을 만들었습니다. Plurai는 같은 아이디어를 AI 에이전트에 적용합니다. 에이전트를 시뮬레이션 세상에서 연습시키고, 최악의 실패를 그곳에서 찾아 고친 뒤에야 사용자를 만나게 하는 것입니다.

Plurai Simulation이란?

Plurai Simulation은 Plurai가 “AI 에이전트를 위한 재귀적 자기 개선 계층”이라고 부르는 플랫폼의 시뮬레이션 부분입니다. 그 발상은 하나의 루프입니다. Simulation이 에이전트가 어디서 어떻게 고장 나는지 찾아내고, 사후 훈련(Post-training)이 에이전트를 더 좋고 더 저렴하게 만들며, 모든 실행이 다음 실행에 반영됩니다. Product Hunt에 출시된 것이 바로 이 Simulation이며, 지금 모든 개발자가 사용할 수 있습니다.

실제 동작 방식은 이렇습니다. Plurai는 에이전트를 구축된 그대로 읽어 시뮬레이션 세상, 즉 에이전트와 그 주변 모든 것의 디지털 트윈에 연결합니다. 에이전트가 호출하는 도구, 위임하는 서브 에이전트, 근거로 삼는 지식이 코드에서 재구성되어 하나의 일관된 세계 상태를 공유합니다. 이후 에이전트는 프로덕션에 절대 닿지 않는 샌드박스 안에서 실제 작업, 워크플로, 대화를 실행합니다. 까다로운 페르소나가 간단한 것부터 극단적인 것까지 모든 흐름을 훑고, 자동 평가는 에이전트가 무슨 말을 했는지가 아니라 세상에 실제로 무슨 일을 했는지를 검사합니다.

Plurai Simulation의 핵심 기능

1. 코드에서 구축되는 에이전트의 디지털 트윈

Plurai는 에이전트를 구축된 그대로 매핑한 뒤 그 주변 세상을 모킹합니다. 호출하는 도구, 위임하는 서브 에이전트, 근거로 삼는 지식 베이스입니다. 모킹해야 할 것은 모킹하고, 중요한 것은 라이브 상태로 둡니다. 예를 들어 검색 시스템이 그렇습니다. 이미 사용 중인 코딩 에이전트에서 리포지토리를 지정하면 하나의 명령으로 트윈이 만들어집니다. 이후 실행에서는 재사용되며, 에이전트에 큰 변경이 있을 때만 다시 연결하면 됩니다.

2. 모든 흐름을 파고드는 페르소나

예의 바른 가짜 사용자가 아니라, Plurai는 간단한 것부터 극단적인 것까지 모든 흐름을 훑는 합성 페르소나를 투입합니다. 논쟁하고, 마음을 바꾸고, 불완전한 정보를 주고, 실제 사용자가 상태가 안 좋은 날에 밟을 엣지 케이스를 시도합니다. Plurai에 따르면 손으로 쓴 테스트보다 프로덕션 엣지 케이스 커버리지가 15배 넓어지는 이유는, 시나리오가 누군가의 추측 목록이 아니라 에이전트 자체의 실제 행동에서 나오기 때문입니다.

3. 에이전트가 한 일을 평가하는 방식

기존 에이전트 테스트는 대화에 점수를 매깁니다. Plurai는 세계 상태에 점수를 매깁니다. 환불이 정말 발급됐는지, 예약이 정말 변경됐는지, 기록이 정말 업데이트됐는지 말입니다. 각 시나리오는 일관되게 동작하는지 확인하기 위해 여러 번 실행되며, 모든 평가는 답변이 얼마나 설득력 있게 들렸는지가 아니라 실제로 무슨 일이 일어났는지를 기준으로 채점됩니다.

4. 모든 실패에 검증된 수정안이 함께 제공

Simulation이 실패를 찾으면 보고서만 내는 것으로 끝나지 않습니다. 각 버그는 그것을 증명하는 대화 기록과 수정안과 함께 이미 사용 중인 코딩 에이전트로 돌아오며, 수정안은 검증된 것으로 인정되기 전에 세 번 다시 실행됩니다. Plurai 팀에 따르면 Simulation을 사용하는 팀은 에이전트 실패율을 82퍼센트 줄였습니다.

5. 프로덕션 실패를 정확히 고장 난 단계부터 재생

프로덕션에서 문제가 생기면 Plurai는 그 실패를 정확히 고장 난 단계부터 재생합니다. 그 이후 에이전트가 바뀌었더라도 말입니다. 모호한 사용자 불만이 재현하고, 고치고, 고쳐졌음을 증명할 수 있는 사례로 바뀌어, 자신의 머신에서는 절대 재현되지 않던 버그가 아니게 됩니다.

사용 방법

시작은 Claude Code, Codex, GitHub Copilot에서 하나의 명령을 실행하거나, Simulation 연결 페이지에서 무료로 시작하는 것뿐입니다. Plurai는 리포지토리에서 에이전트를 읽어 디지털 트윈을 연결한 뒤 시나리오를 실행합니다. 한 번의 실행이란 모든 시나리오를 에이전트에 대해 한 번씩 통과시키고 모든 평가에 점수를 매기는 것이며, 각 시나리오는 일관성을 확인하기 위해 여러 번 실행됩니다. 실패는 증거와 수정안과 함께 돌아오고, 수정안은 다시 실행해 검증되며, 개선된 에이전트는 루프로 돌아갑니다. 플랫폼의 나머지 절반인 사후 훈련은 Simulation이 배운 것을 더 작고 저렴한 나만의 모델로 바꾸며, Plurai에 따르면 Claude Haiku-5.5보다 비용이 44배 낮고 정확도는 10퍼센트 더 높습니다.

Plurai Simulation은 누구에게 적합한가?

• 고객 대면 에이전트를 출시하는 팀: 지원, 여행, 금융, 운영 에이전트에서는 한 번의 오작동이 실제 돈이나 신뢰를 잃게 합니다.
• 에이전트가 실제 도구를 호출하는 개발자: 에이전트가 예약, 환불, 등록, 업데이트를 한다면, 말했다는 것이 아니라 실제로 실행했는지를 알아야 합니다.
• 손으로 쓴 평가를 대체하고 싶은 팀: 테스트 목록이 사용자가 무엇을 할지에 대한 추측에 불과하다면, Simulation은 에이전트 자체에서 어려운 케이스를 생성합니다.
• 자신만의 지능을 소유하고 싶은 기업: Simulation과 사후 훈련은 모델을 계속 빌리는 것이 아니라, 자신의 실패로 조율한 자신의 모델을 갖고 싶은 팀을 위해 만들어졌습니다.
• 규제를 받거나 위험이 큰 제품: 에이전트의 실수가 컴플라이언스 문제로 이어지는 경우, 수정에 대한 재현 가능한 증명은 합격한 테스트보다 가치가 큽니다.

가격

Simulation은 무료로 시작할 수 있습니다. 무료 플랜은 0달러이며 1회성 12,300 크레딧, 2개의 에이전트 설정, 7개의 시나리오, 3회의 실행, 10시간의 샌드박스가 포함되고, 초과 요금도 없고 청구도 없습니다. Base 플랜은 월 60달러이며 매월 28,710 크레딧, 3개의 에이전트 설정, 14개의 시나리오, 월 20회 실행, 월 20건의 트레이스 분석, 월 30시간의 샌드박스가 포함되고, 초과분은 크레딧당 0.02달러입니다. Business 플랜은 월 210달러이며 매월 65,570 크레딧, 28개의 시나리오, 월 60회 실행, 40건의 트레이스 분석, 100시간의 샌드박스가 포함되고, 초과분은 크레딧당 0.015달러입니다. 멤버는 모든 플랜에서 무료이며, 언제든 취소하고 무료 플랜으로 돌아갈 수 있습니다. Plurai는 소형 평가 모델도 별도로 판매하며, Starter에는 100만 토큰 무료분과 전용 개인 엔드포인트 1개가 포함되고, Enterprise에는 온프레미스 배포, 기업용 싱글 사인온, 맞춤형 SLA, 화이트 글로브 서비스가 있습니다.

장점과 단점

장점

• 에이전트가 무슨 말을 했는지가 아니라 세상에 무슨 일을 했는지를 테스트해, 프로덕션에서 실제로 피해를 주는 실패 모드를 잡아냅니다.
• 모든 실패에 검증된 수정안이 함께 제공되며, 세 번 다시 실행된 뒤에야 채택되므로 스스로 해석해야 하는 보고서만이 아닙니다.
• 프로덕션 실패를 에이전트가 바뀐 뒤에도 정확히 고장 난 단계부터 재생할 수 있습니다.
• 무료 플랜이 실용적이고, 멤버는 모든 플랜에서 무료입니다.
• 사후 훈련으로 이어지는 루프를 통해 추론 비용을 크게 절감할 수 있습니다.
• SOC 컴플라이언스 독립 검증을 받았고, NVIDIA 인프라 위에 구축됐습니다.

단점

• 크레딧 기반 요금은 예산 관리가 필요합니다. 길고 수다스러운 에이전트일수록 Sim 크레딧과 샌드박스 시간을 더 많이 씁니다.
• 코드에 실제 에이전트가 있는 팀을 위해 만들어졌으며, 도구가 없는 단순한 프롬프트뿐인 에이전트에는 대부분의 기능이 불필요합니다.
• 실패율 82퍼센트 감소 같은 가장 눈에 띄는 숫자는 독립 벤치마크가 아니라 Plurai 팀 자체의 발표입니다.
• 사후 훈련은 별도 요금의 다른 제품이라, 완전한 루프는 Simulation 단독보다 비쌉니다.

최종 평가

Plurai Simulation은 에이전트 개발에서 가장 어려운 질문에 대한 지금까지 가장 설득력 있는 답입니다. 사용자가 에이전트의 결함을 발견하기 전에, 어떻게 그것이 동작한다는 것을 알 수 있을까요? 에이전트의 세상을 재구성하고, 까다로운 페르소나를 풀어놓고, 실제로 일어난 일로 채점하고, 검증된 수정안을 건네줌으로써 에이전트 테스트를 대화 기록 검토에서 엔지니어링으로 바꿉니다. 무료 플랜은 실제 에이전트로 시험해 보기에 충분한 양이며, 팀이 보고한 82퍼센트의 실패율 감소는 월 60달러 Base 플랜을 몇 배로 정당화하는 결과입니다. 실제 시스템에 닿는 에이전트를 출시한다면 Simulation은 다음 사고 이후가 아니라 다음 출시 전에 워크플로에 넣어야 합니다.