메뉴
HN
Hacker News • 53일 전

Armature: MCP 에이전트 세션 분석 도구

IMP
7/10
핵심 요약

Armature는 Claude, ChatGPT 등 AI 클라이언트를 통해 사용자가 MCP 서버와 어떻게 상호작용하는지 추적하고 분석하는 프로덕트 분석 도구입니다. 에이전트의 사고 과정과 도구 호출 로그를 재구성하여 성공률을 평가하고, API 오류가 없더라도 발생하는 사용자 경험의 문제점과 실패 원인을 찾아냅니다. 개인정보와 민감 정보를 자동으로 마스킹하여 보안을 유지하며, 단 몇 분 만에 SDK를 연동해 세션 데이터를 시각화할 수 있습니다.

번역된 본문

에이전트 세션을 위한 프로덕트 분석 기능을 확인해 보세요.

사용자가 귀하의 제품을 어떻게 경험하는지 확인해 보세요. 사용자의 세션은 귀하가 만든 UI가 아닌 Claude Connector, ChatGPT App 또는 MCP(MCP) 내의 AI 클라이언트에서 이루어집니다. Armature는 사용자가 무엇을 요청하고, 에이전트가 어떻게 생각하며, 사용자가 귀하의 제품을 어떻게 사용하는지 포착하여 보여줍니다.

무료로 시작하기 → 데모 예약

(세션 데모: 칩들이 제자리에 날아와 배치되고, 대화 내용과 점수가 나타납니다)

===== --> Armature 도입 전 | Armature 도입 후 list_customers ◂ create_subscription ◂ send_invoice 402 ◂ send_invoice ◂ search_customers ◂ get_plans ◂ list_invoices ◂ update_plan ◂ usage_report ◂

사용자 의도 · 14:16 ACME를 위한 유료 플랜을 설정하고 청구서를 발행해.

✦ 에이전트 생각(Thinking) · 14:16 청구서에는 결제 담당자 연락처가 필요합니다. — 소유자 이메일로 재시도하는 중입니다.

✓ 에이전트가 사용자 작업을 성공적으로 완료했습니다. 점수 92

Armature 도입 전: 흩어져 있는 도구 호출 로그 Armature 도입 후: 재구성된 세션, 포착된 사용자 의도, 포착된 에이전트 생각(Thinking), 평가된 세션

활용 사례: 사용자의 핵심 활용 사례 파악 Armature의 모델이 모든 세션을 읽고 사용자가 무엇을 하려고 했는지 식별합니다. 세션은 활용 사례별로 그룹화되어 볼륨과 성공률을 기준으로 순위가 매겨지며, 아직 지원하지 않는 활용 사례도 포함됩니다.

  • 청구서 생성 및 발송 38%
  • 결제 조정 22%
  • 일괄 환불 (아직 지원되지 않음) 14%
  • 수익 보고서 내보내기 9%

문제점(Issues): 핵심 문제 발견 및 해결 모델이 실패, 무한 루프 및 막다른 길에 대해 모든 세션을 스캔하고, 근본 원인별로 그룹화한 다음, 모든 API 응답이 200 OK였더라도 해당 문제를 겪은 사용자 수를 기준으로 순위를 매깁니다.

  • 127 인증 스코프 누락으로 인한 에이전트 루프 (이번 주 43건 증가) 수정 →
  • 64 "환불"이라는 문구 검색 누락
  • 31 페이지네이션으로 인해 잘린 내보내기
  • 12 일괄 업데이트 시 속도 제한(Rate limit) 도달

세션 리플레이(Session Replay): 모든 세션 재생 및 조사 사용자가 원하는 것을 얻었는지 여부에 따라 모든 세션의 점수가 매겨집니다. 아무 세션이나 열고 전체 추적(요청 사항, 에이전트의 생각 및 모든 호출)을 재생해 보세요. 문제가 발생하면 정확히 어디서 발생했는지 확인할 수 있습니다.

사용자 의도 ACME를 위한 유료 플랜을 설정하고 청구서를 발행해.

list_customers ◂ ✦ 에이전트 생각(Thinking) 청구서에는 결제 담당자 연락처가 필요합니다. — 소유자 이메일로 재시도하는 중입니다. send_invoice 402 ◂ send_invoice ◂

✓ 에이전트가 사용자 작업을 성공적으로 완료했습니다. 점수 92

몇 분 안에 설정 완료

01 ARMATURE_API_KEY arm_9f3k•••••••• 가입하여 API 키를 생성하고 배포 시크릿(secrets)에 추가하세요.

02 내 MCP 서버에 Armature 세션 분석 추가. docs.armature.tech 문서를 따르세요. ↑ 코딩 에이전트에게 프롬프트 입력 하나의 프롬프트를 붙여넣고 에이전트가 SDK를 연동하게 하세요.

03 session #4821 92 / session #4822 87 / session #4823 95 / 오늘 +128 배포(Deploy) 출시하고 몇 분 안에 세션 데이터가 들어오는 것을 지켜보세요.

사용자의 데이터는 안전하게 보호됩니다. 세션에는 개인 정보와 민감 정보가 포함될 수 있으므로, 모든 세션을 민감한 것으로 취급합니다. 감지 모델은 데이터가 스토리지에 도달하기 전에 세션을 스캔하여 기본적으로 PII(개인 식별 정보)와 비밀(Secrets) 정보를 마스킹(Redact) 처리합니다.

Invoice ACME and send it to jane@acme.com (PII) create_invoice sk_live_9f3kq2… (SECRET)

무료로 시작하기 또는 맞춤형 요구사항이 있으면 저희에게 연락하세요.

Free (무료) $0 월 1,000세션 포함, 이후 1,000세션당 $50 무제한 프로젝트 (런칭 오퍼) 무제한 사용자 (런칭 오퍼) 7일 데이터 보유 대시보드 액세스 세션 리플레이 활용 사례 그룹화 (런칭 오퍼) 문제 식별 (런칭 오퍼) 무료로 시작하기 → 신용카드 불필요

Custom (맞춤형) 상담 요청 Free 플랜의 모든 기능 우선 지원 및 SLA SSO / SAML 감사 로그(Audit logs) 맞춤형 데이터 보유 기간 전담 온보딩 문의하기

자주 묻는 질문 01 Armature는 어떻게 세션을 캡처하나요? MCP 서버, Claude Connector 또는 ChatGPT App 백엔드에 SDK를 추가하면 됩니다. 몇 줄의 코드 추가와 단 한 번의 배포로 끝납니다. 이후 Armature가 모든 세션을 재구성하고 분류하여 자동으로 점수를 매깁니다.

02 기존 MCP 서버를 변경해야 하나요? 아니요. 현재 운영 중인 서버를 그대로 유지합니다. SDK가 래핑되어 세션을 캡처할 뿐, 사용자에게 작동하는 방식은 전혀 변경되지 않습니다.

03 어떤 에이전트와 클라이언트를 지원하나요? 사용자가 사용하는 모든 클라이언트를 지원합니다: Claude, ChatGPT, Cursor, Codex, Gemini CLI 및 기타 모든 클라이언트. 귀하의 MCP 서버에 도달할 수 있다면 Armature는 해당 세션을 캡처할 수 있습니다.

원문 보기
원문 보기 (영어)
Product analytics for agent sessions See how users experience your product through Claude . ChatGPT . Claude Code . User sessions on your Claude Connector ChatGPT App or MCP live inside their AI client, not your UI. Armature captures and shows you what users ask, what agents think and how they use your product. Start for free → Book a demo Backed by session: chips fly into place, then the conversation and a score appear) ===== --> Before Armature With Armature list_customers ◂ create_subscription ◂ send_invoice 402 ◂ send_invoice ◂ search_customers ◂ get_plans ◂ list_invoices ◂ update_plan ◂ usage_report ◂ User intent · 14:16 Set up a paid plan for ACME and invoice them ✦ Agent thinking · 14:16 Invoice needs a billing contact — retrying with the owner email. ✓ Agent completed user task successfully 92 score Before Armature Scattered tool call logs With Armature Session rebuilt User intent captured Agent thinking captured Session evaluated Use cases Learn your users' top use cases Armature's models read every session and identify what the user came to do. Sessions are grouped into use cases and ranked by volume and success rate, including the use cases you don't support yet . Create & send invoices 38% Reconcile payments 22% Bulk refunds not supported yet 14% Export revenue report 9% Issues Spot the top issues and fix them Models scan every session for failures, loops and dead ends, group them by root cause and rank them by how many users encountered them, even when every API response was 200 OK . 127 Agent loops on missing auth scope ↑ 43 this week fix → 64 Search misses "refund" phrasing 31 Export truncated by pagination 12 Rate limit hit on bulk updates Session replay Replay and investigate any session Every session is scored on whether the user got what they asked for. Open any of them and replay the full trace: the ask, the agent's thinking and every call. When something breaks, you see exactly where. User intent Set up a paid plan for ACME and invoice them list_customers ◂ ✦ Agent thinking Invoice needs a billing contact — retrying with the owner email. send_invoice 402 ◂ send_invoice ◂ ✓ Agent completed user task successfully 92 score Set up in a few minutes 01 ARMATURE_API_KEY arm_9f3k•••••••• Create your key Sign up, generate an API key and drop it in your deployment secrets. 02 Add Armature session analytics to my MCP server. Follow docs.armature.tech . ↑ Prompt your coding agent Paste one prompt and let your agent wire the SDK in. 03 session #4821 92 session #4822 87 session #4823 95 +128 today Deploy Ship it and watch sessions flow in within minutes. Your users' data stays safe Sessions can carry personal information and secrets, so we treat every one of them as sensitive. Detection models scan sessions and redact PII and secrets by default, before anything reaches storage. Invoice ACME and send it to jane@acme.com PII create_invoice sk_live_9f3kq2… SECRET Start for free Or reach out to us for custom needs. Free $0 1,000 sessions / month included then $50 / 1,000 sessions Unlimited projects launch offer Unlimited users 7-day retention Dashboard access Session replay Use-case grouping launch offer Issue identification launch offer Start for free → No credit card required Custom Let's talk Everything in Free Priority support & SLA SSO / SAML Audit logs Custom retention Dedicated onboarding Contact us Common questions 01 How does Armature capture sessions? You add our SDK to your MCP server, Claude Connector or ChatGPT App backend. It takes a few lines and one deploy. From there Armature rebuilds every session, classifies it and scores it automatically. 02 Do I have to change my MCP server? No. You keep the server you already run. The SDK wraps it to capture sessions and changes nothing about how it behaves for your users. 03 Which agents and clients do you support? Any client your users bring: Claude, ChatGPT, Cursor, Codex, Gemini CLI and the rest. If it can reach your MCP server, Armature can capture the session. 04 How is this different from PostHog, Amplitude or Mixpanel? Those tools track humans clicking your UI. When a user delegates to an agent, the session happens inside Claude or ChatGPT and your UI never sees it. Armature captures exactly those sessions. 05 How is this different from LangSmith or Langfuse? They observe the agents you build yourself, and they serve the engineers who build them. Armature shows product teams how your users' agents experience what you ship. 06 Is my users' data safe? Yes. Detection models scan every session and redact PII and secrets by default, before anything reaches storage. You control retention and can delete your data at any time. Ask us for the full security details, we are happy to share them. 07 What does it cost? It is free up to 1,000 sessions a month, with unlimited projects and users. Past that you pay $50 per 1,000 sessions. Custom plans cover teams with serious traffic. Start improving your agent experience Capture the sessions users have with your product through any AI agent. See what they ask, watch how agents deliver and fix the issues they encounter. Start for free → Book a demo