메뉴
HN
Hacker News 46일 전

켈렛(Kelet): LLM 앱 근본 원인 분석 에이전트

IMP
7/10
핵심 요약

LLM 앱과 AI 에이전트의 프로덕션 환경 오류를 자동으로 추적해 원인을 규명하고 해결책을 제시하는 도구입니다. 개발자가 일일히 로그를 뒤지며 문제를 추측하는 대신, 오류의 근본 원인을 짚어내고 즉시 적용 가능한 프롬프트 수정안을 제공합니다. 오픈텔레메트리(OTEL)와 주요 프레임워크(LangChain 등)를 5분 만에 연동할 수 있는 것이 큰 장점입니다.

번역된 본문

런칭 기간 동안 무료로 제공됩니다.

프로덕션 환경에서 에이전트를 디버깅할 때 더 이상 요술 수정구슬이 필요하지 않습니다. Kelet(켈렛)은 LLM 앱과 AI 에이전트의 프로덕션 환경 오류를 추적합니다. 근본 원인을 찾아내고 해결책을 제공하므로, 여러분은 제품을 배포(Ship)하는 데만 집중하면 됩니다.

데모 신청 | 에이전트 연결하기 → 신용카드 불필요. 5분 안에 첫 에이전트를 연결하세요.

[지원 플랫폼] OpenTelemetry, Langfuse, Mixpanel, OpenAI, Anthropic, LangChain, pydantic AI SDK, CrewAI, Strands, Agno, Mastra, PostHog

[console.kelet.ai 대시보드]

  • 한눈에 보기: 미해결 이슈, 에이전트 건강 상태, AI가 생성한 요약 리포트
  • 이슈: 모든 실패 패턴이 증거와 함께 분류되며, 즉시 배포 가능한 프롬프트 수정안 제공
  • 세션: 모든 트레이스(Trace)를 검사하여 정확히 어느 단계에서 왜 문제가 발생했는지 확인

[검증된 성과]

  • 월드클래스 AI 엔지니어링 팀들이 프로덕션 환경에서 실사용 중
  • 33,000개 이상의 세션 분석 완료
  • 단순 데모가 아닌 실제 프로덕션 AI 에이전트에서의 실패 사례 탐지
  • 디자인 파트너 배포 결과: 팀 중 73%가 아무도 눈치채지 못한 오류를 Kelet이 발견함
  • 파일럿 기간 중 synthetic signal(가상 신호) 설정 없이도 문제를 탐지함
  • 중앙값 14.3분: 트레이스 수집부터 프롬프트 수정안 제공까지 소요 시간

[근본 원인 분석(RCA) + 해결책] 추측은 없습니다. 철저한 증거 기반입니다.

이런 경험 있으신가요? 에이전트가 실패합니다. 트레이스 로그를 스크롤합니다. 원인을 추측하고 수정합니다. 이 과정을 반복합니다. 이것이 여러분 엔지니어링 주의 30%를 차지합니다. 그저 다른 대시보드를 하나 더 추가한다고 이 문제가 해결되지 않습니다.

Kelet은 지속적으로 실제 조사를 수행합니다.

[작동 방식]

  1. 트레이스 및 신호 수집: 몇 분 안에 에이전트 스택에 연결하세요. 모든 에이전트 상호작용, 신호, 사용자 피드백이 자동으로 유입됩니다.
  2. 실패 원인 정확히 파악: Kelet이 여러분 대신 모든 트레이스를 분석합니다. 직관이 아닌 증거에 기반하여 근본 원인을 몇 분 안에 찾아냅니다.
  3. 수정안 배포 및 유지 확인: 근본 원인에서 프롬프트 수정안까지, 그리고 적용 전후의 안정성 측정치를 제공합니다. Kelet은 실제 세션을 대상으로 수정안을 테스트하고 그 결과를 보여줍니다. 배포 후의 불확실성을 없애줍니다. // 모든 실수가 자동으로 교훈이 됩니다. [지속적인 학습(Continuous Learning)] 트레이스 & 신호 수집 → 근본 원인 조사 → 수정 효과 검증

[자주 묻는 질문(FAQ)]

Q: Kelet이 실제로 하는 일은 무엇인가요? Kelet은 프로덕션 환경의 AI 에이전트 트레이스와 신호를 읽고, 수천 개의 세션에 걸쳐 실패 패턴을 클러스터링하며, 증거가 포함된 근본 원인을 찾아냅니다. 가설 대신 실제 수정안을 배포할 수 있도록 도와줍니다. 모든 실패를 자동으로 조사하는 탐정이라고 생각하시면 됩니다.

Q: 어떤 종류의 AI 에이전트 및 LLM 애플리케이션에서 작동하나요? 코드를 직접 제어할 수 있는 모든 에이전트나 LLM 애플케이션에 적용 가능합니다. 에이전트 루프(agentic loops), 멀티스텝 워크플로, RAG 파이프라인, 챗봇, 자율 에이전트 등이 포함됩니다. 직접 구축하고 배포한다면 Kelet이 개선을 도울 수 있습니다. 여기에는 LangChain, LangGraph, PydanticAI, Mastra, CrewAI, AutoGen, LlamaIndex, Haystack, Semantic Kernel을 사용한 에이전트나 OpenAI, Anthropic, Gemini API에 직접 구축한 에이전트가 모두 포함됩니다.

Kelet이 적합하지 않은 두 가지 경우가 있습니다. 타사가 제작한 AI 도구(Cursor, Claude Code, Copilot 등)를 사용하는 경우, 당신은 개발자가 아닌 사용자이므로 Kelet의 대상이 아닙니다. 마찬가지로 기존 에이전트 플랫폼 내에서 스킬이나 플러그인을 구축 중이라면, 제어할 수 없는 인프라를 확장하는 것이므로 Kelet이 모니터링할 수 없습니다. 하지만 LLM SDK나 프레임워크를 사용해 자체 에이전트를 구축 중이라면 Kelet이 바로 여러분을 위한 도구입니다.

Q: 연동에 얼마나 걸리나요? 단 5분입니다. Kelet 인스톨러 스킬을 사용하거나, 수동으로 pip install kelet / npm install kelet로 설치한 뒤 에이전트 코드에 두 줄만 추가하면 트레이스 수집이 시작됩니다. Kelet은 완벽하게 OpenTelemetry(OTEL)를 준수하므로, OTEL이 적용된 에이전트라면 인프라 변경 없이도 바로 사용할 수 있습니다.

원문 보기
원문 보기 (영어)
Free during launch Debugging your agent in prod shouldn't require a crystal ball. Kelet tracks down production failures in LLM apps and AI agents. It finds the root cause and hands you the fix. You just ship. Book a demo Connect your agent → No credit card required. Connect your first agent in 5 minutes. Works with OpenTelemetry Langfuse Mixpanel OpenAI Anthropic LangChain pydantic AI SDK CrewAI Strands Agno Mastra PostHog OpenTelemetry Langfuse Mixpanel OpenAI Anthropic LangChain pydantic AI SDK CrewAI Strands Agno Mastra PostHog OpenTelemetry Langfuse Mixpanel OpenAI Anthropic LangChain pydantic AI SDK CrewAI Strands Agno Mastra PostHog console.kelet.ai Dashboard Open issues, agent health, and AI-generated brief at a glance. Issues Every failure pattern classified, with evidence and a prompt patch ready to ship. Sessions Inspect any trace. See exactly which step broke, and why. Open issues, agent health, and AI-generated brief at a glance. Every failure pattern classified, with evidence and a prompt patch ready to ship. Inspect any trace. See exactly which step broke, and why. Trusted by world-class AI engineering teams · live in production 33K+ Sessions analyzed. Failures found. Production AI agents. Not demos. Across design partner deployments 73% of teams had failures nobody noticed. Kelet did. Of pilot cohort — before any synthetic signals were configured 14.3 min Median · from trace ingestion to prompt patch Root Cause Analysis (RCA) + fix. No guesses. Evidence-backed. Sound familiar? Your agent fails. You scroll traces. You guess a fix. Repeat. That's 30% of your engineering week. Another dashboard won't fix that. Kelet actually investigates. Constantly. How it works We collect your traces and signals. Connect to your agent's stack in minutes. Every agent interaction, signal, and user feedback flows in automatically. Know exactly why your agent failed. Kelet reads every trace so you don't have to. Root causes surface in minutes, backed by evidence — not gut feeling. Ship the fix. Know it held. From root cause to prompt patch — with before/after reliability measurements. Kelet runs the patch against real sessions and shows you the before/after. No more flying blind after a deploy. // Every mistake becomes a lesson. Automatically. CONTINUOUS LEARNING for GSAP group animation) --> Collect traces & signals Investigate root cause Fix with proof it held FAQ Common questions What does Kelet actually do? Kelet reads your production AI agent traces and signals, clusters failure patterns across thousands of sessions, and surfaces root causes with evidence — so you ship fixes instead of hypotheses. Think of it as a detective that investigates every failure automatically. What kinds of AI agents and LLM applications does Kelet work with? Any agent or LLM application where you own the code — agentic loops, multi-step workflows, RAG pipelines, chatbots, autonomous agents. If you built it and you ship it, Kelet can help you improve it. That includes agents built with LangChain, LangGraph, PydanticAI, Mastra, CrewAI, AutoGen, LlamaIndex, Haystack, Semantic Kernel, or directly on the OpenAI, Anthropic, or Gemini APIs. Two situations where Kelet is not the right fit: If you use AI tools built by others (Cursor, Claude Code, Copilot as a developer), you're a user, not a builder — Kelet isn't designed for your use case. Similarly, if you're building a skill or plugin inside an existing agentic platform, you're extending infrastructure you don't control, and Kelet can't instrument that. But if you're building your own agent using any LLM SDK or framework — you own that agent, and Kelet is exactly for you. How long does integration take? Five minutes. Install via the Kelet installer skill — or `pip install kelet` / `npm install kelet` if you prefer to do it manually — add two lines to your agent code, and traces start flowing. Kelet is fully OpenTelemetry-compliant — any OTEL-instrumented agent works out of the box, no infrastructure changes needed. Where does Kelet actually run? On Kelet's servers. Once you install Kelet — via the SDK or the installer skill — traces and signals start flowing to our infrastructure automatically. It's SOC 2 certified and runs 24/7, continuously ingesting your traces, finding failure patterns, building hypotheses, and proposing targeted fixes. The LLM tokens powering that analysis don't touch your model API bill — Kelet covers them. You pay Kelet based on usage. See kelet.ai/pricing. Is Kelet a skill or a service? A service. Kelet is an agent that runs on Kelet's servers around the clock — not a plugin you invoke, not something you run manually. The installer skill is just how you connect it. Once connected, Kelet works continuously: reading your traces, clustering failure patterns across thousands of sessions, building root cause hypotheses, and proposing targeted fixes. You don't run it. It runs for you. What are "signals" and why do they matter? Signals are probabilistic hints that something went wrong in a session: a thumbs-down rating, a user editing AI output, an abandoned conversation, or a synthetic LLM-as-judge check you configure. They tell Kelet where to look in your traces — not verdicts, but clues that guide the investigation. How is Kelet different from Langfuse, Arize, Logfire, or other observability tools? Those tools show you traces. Kelet reads them for you. Observability platforms are thermometers — they report symptoms. Kelet is the doctor that diagnoses root causes and generates targeted prompt patches. You no longer need to scroll thousands of traces manually. How does Kelet actually find root causes? Kelet works like a detective. Every session leaves a trail — LLM calls, tool invocations, retrieval steps, every agent hop. Kelet uses signals as clues: a thumbs-down, an edited AI response, an abandoned conversation, a synthetic LLM-judge flag. It follows each thread through your traces, cross-references patterns across thousands of sessions, and builds a root cause hypothesis backed by evidence. Same process a senior engineer would run manually — automated, at scale, on every failure at once. Do I need a lot of traffic to get value? No. Teams typically see their first real failure patterns with as few as 200+ sessions and 3+ signals configured. Not sure which signals to set up? Kelet's AI walks you through it — no guesswork, no manual configuration. And if you're starting from zero, synthetic signal presets (LLM-as-judge evaluators) generate signal from day one, before real user feedback accumulates. Does Kelet handle multi-agent architectures? Yes. Kelet handles multi-agent sessions natively. Credit assignment identifies exactly which agent in a chain caused a failure — so you know what to fix, not just that something is broken. Is Kelet built to scale? Yes — Kelet was architected for production scale from day one. The team behind Kelet includes ex-Kubernetes maintainers and cloud-native infrastructure veterans with 15+ years of open-source systems work. Kelet handles millions of traces, concurrent agent fleets, and high-volume production workloads. We have built infrastructure at this scale before — Kelet is built on the same foundations. What does it cost? Free to start, no credit card required. Connect your first agent in 5 minutes. Usage-based pricing scales with volume for teams that need more. See kelet.ai/pricing for details. Is my data secure? Yes. Kelet is SOC 2 certified. All data is isolated at the database level per organization — strict row-level security, no cross-org data access, ever. Will Kelet use my data to train AI models? Never. We don't share your data or use it to train public models. What we do: Kelet automatically fine-tunes a private set of models for each sub-agent you connect — roughly a dozen per agent. They live in your account, trained on your traces, serving only your root-cause analysis. They're never shared. Frankly, they wouldn't be useful to anyone else anyway — they're cal